产品发布 / 更新精选
transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp
原始标题:Transformers now runs llama.cpp quants
内容摘要
Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。
内容分类AI 产品发布与更新
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hugging Face:Blog(RSS)
站内情报编号intel-95be9a7f408fb204c80c1f1c