AI圈报
产品发布 / 更新普通

Janas-LLM 开源:从 SSD 流式读取专家权重,在 32 GB 内存笔记本上跑 80B 模型

信息来源:Hacker News:AI 热帖·
原始标题:Janas: Run LLMs larger than RAM by streaming experts from SSD

内容摘要

Janas-LLM 发布,用 C 编写、无额外依赖,权重留在磁盘上、按 token 所需从 NVMe SSD 流式读取 MoE 专家,常驻专家存入内存缓存。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News:AI 热帖
站内情报编号intel-dd35dcbcb1d430b920630122