AI圈报观点 / 方法精选
SGLang 用 SSD Expert Pack 在消费级硬件上运行 DeepSeek-V4-Flash 和 Kimi-K3
原始标题：Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference： keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD， load only the experts selected by the router， and use Expert Pack la… WiCi AI Team， SGLang Team
内容摘要
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。
内容分类AI 观点与方法
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源LMSYS：Blog（Chatbot Arena 团队）
站内情报编号intel-bc9e6dee72a9c77085d0aa12