产品发布 / 更新普通
Janas-LLM 开源:从 SSD 流式读取专家权重,在 32 GB 内存笔记本上跑 80B 模型
原始标题:Janas: Run LLMs larger than RAM by streaming experts from SSD
内容摘要
Janas-LLM 发布,用 C 编写、无额外依赖,权重留在磁盘上、按 token 所需从 NVMe SSD 流式读取 MoE 专家,常驻专家存入内存缓存。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News:AI 热帖
站内情报编号intel-dd35dcbcb1d430b920630122