llama.cpp v1.0.0 正式发布

在 llama.cpp 中为 EmbeddingGemma 2 提供 Day-0 支持 https://huggingface.co/ggml-org/embeddinggemma-2-GGUF

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。

Hugging Face 的 llama.cpp 团队发布 llama.cpp 和 ggml 的 v1.0.0 库，承诺今后以主版本号标识 API 和 ABI 不兼容变更，并公开语义化版本更新规则。

Hugging Face 官方博客介绍决策模型这一概念：模型接收 state 与 questions，对预定义答案直接输出概率分布而非逐 token 生成文本。

Meta 官方介绍，Muse Spark Open 经优化可在两台 Apple M5 Ultra Mac Studio 上以最新 MLX 框架运行，以提升先进模型的可及性。模型也支持 SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、llama.cpp 和 Unsloth 等推理引擎，并对 AMD、Apple、Intel 和 NVIDIA 硬件做了优化。开发者还可用 PyTorch（含 TorchTitan）进行微调定制。

决策模型现在可以在 llama.cpp 上端侧运行了。免费、快速、私密！ llama serve -hf ggml-org/Kev-4B-GGUF

今天我们发布 llama.cpp v0.9.0，接下来几周我们将朝着首个重要版本 v1.0.0 迈进 https://github.com/ggml-org/llama.cpp/releases/tag/v0.9.0

llama.cpp 可通过 ggml RPC 后端在异构设备间分布式推理，作者 Georgi Gerganov 表示这是高级设置，后续会让普通用户更容易使用。被引用的实测称，MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本以 40 tokens/sec 通过 10 GbE 运行，llama.cpp 开箱即支持。

全新的 v0.6.0 版本带来了许多好东西： - 支持 Clef（文本 + 视觉） - 对 Qwen3.8-Flash-Next 的高质量支持 - Metal 性能大幅提升 - 新增 `llama_batch_ext` API 网站也焕然一新：https://llama.app

Meta 宣布把基于 Muse Wonder 训练的专用模型推向 Muse 和 Meta AI 用户，Personal Superintelligence Index 得分从 38% 提升到 47%。