产品发布 / 更新普通
Unsloth 发布 Inkling 2 Mini 本地运行指南,26.4B MoE 模型可在 16GB 内存运行
原始标题:Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
内容摘要
Unsloth 提供了 Thinking Machines 新发布的 Inkling 2 Mini 的本地运行支持,这是一款 Apache 2.0 的 26.4B(激活 5.4B)MoE 模型,采用 Looped Transformer 架构和 1M 上下文。该模型 DeepSWE v1.1 得分 48.2%、SWE-Bench Pro v2 (Hard) 得分 77.9%,为其尺寸中最高;GGUF 已上传至 Hugging Face,1-bit 量化仅需 9GB 内存,4-bit 需 17-18GB,可通过 Unsloth 和 llama.cpp 运行。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Unsloth (@UnslothAI)
站内情报编号intel-b1314abba2fd28203a967767