Hugging Face 详解决策模型接口及其在 Transformers 和 llama.cpp 中的支持

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

Meta 官方介绍，Muse Spark Open 经优化可在两台 Apple M5 Ultra Mac Studio 上以最新 MLX 框架运行，以提升先进模型的可及性。模型也支持 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp 和 Unsloth 等推理引擎，并对 AMD、Apple、Intel 和 NVIDIA 硬件做了优化。开发者还可用 PyTorch（含 TorchTitan）进行微调定制。

在 llama.cpp 中为 EmbeddingGemma 2 提供 Day-0 支持 https://huggingface.co/ggml-org/embeddinggemma-2-GGUF

决策模型现在可以在 llama.cpp 上端侧运行了。免费、快速、私密！ llama serve -hf ggml-org/Kev-4B-GGUF

Hugging Face 团队介绍 FLUX.3 Image Klein 模型发布首日即可在 Diffusers 中使用，单个模型支持文生图、多参考图生图和边界框布局控制。

Hugging Face 推出 torch-neuronx 模型支持 Space，可查询 Hub 上热门模型能否在 AWS Trainium 上原样运行，并给出复现脚本。

Hugging Face 宣布通过 PyTorch 原生后端 TorchTPU 支持 TPU，Transformers、Diffusers 和 Kernels 可原生运行，模型加载只需 device_map="tpu"，不再需要 torch_xla 或 Optimum TPU。

Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 的 MPS 后端更新，将 FP8（torch.float8_e4m3fn）带到 Mac，并通过 Metal 内核加速语言模型解码。

Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 通过 TorchNeuron 原生支持 AWS Trainium。

Meta 宣布把基于 Muse Wonder 训练的专用模型推向 Muse 和 Meta AI 用户，Personal Superintelligence Index 得分从 38% 提升到 47%。