产品发布 / 更新普通
NaceAI 发布 Drex Router:57-87ms 为每次 LLM 调用选模型
原始标题:A model decision in under 90 ms is fast enough to put a router in front of almost any LLM call.
内容摘要
@NaceAI 发布 Drex Router,一个小型路由模型,读取提示词和模型列表后约 57 到 87 ms 返回选择,基于 Gemma 的 12B 模型构建。在 1,400 道常识考题测试中准确率 87.6%,价格为每 1,000 题 $0.10;对比的 Jev Router 为 86.4%、$1.09。它还会为每个候选模型返回概率和简短理由,而不只返回模型名。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-60e35f1339b5439fecd04d2c