行业动态普通
General Compute 宣布与 Positron 合作集群级部署,GPU 与专用芯片分工处理 prefill 和 decode
原始标题:Splitting prefill and decode across different silicon is one of the most sensible ideas in inference right now.
内容摘要
General Compute 宣布将 @positron_ai 作为下一个合作伙伴进行集群规模部署,硬件于 2027 年 Q1 上线,目标是让开源模型获得更快的推理。作者 Rohan Paul 解释其做法是 prefill 在 GPU 上运行、逐 token 生成交给 Positron 的内存优先硬件,对客户呈现为一个端点和一套 SLA;Positron 的芯片专注内存速度且不依赖 HBM。
内容分类人工智能行业动态
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-486a9865c5493742c8765774