产品发布 / 更新普通
DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
原始标题:DeepSeek just open sourced its high-performance, large-scale inference framework DeepInfer in Apache-2.0 license.
内容摘要
DeepSeek 开源高性能大规模推理框架 DeepInfer,采用 Apache-2.0 许可,仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时,Attention DP、平衡 CP、MoE EP + EPLB 等并行方案,以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Tianyi Cui(@tianyi)
站内情报编号intel-07b70e18dedb4531375914a2