AI圈报
教程 / 实战普通

SGLang 如何用 Score API 与 MIS 扩展 JEV 类决策模型服务

信息来源:LMSYS:Blog(Chatbot Arena 团队)·
原始标题:Blog Scaling JEV-like Decision Models with SGLang A customer asks whether an order has shipped. An agent already has the order ID and three possible next actions: query the order-status service, search general delivery-policy documentation, or ask th... Sundara Raman Ramachandran, Chuanrui Zhu, Qing Lan, Shri Rajamanikandan Vasudevan, Jian Sheng, I-Ting Chen, Fedor Borisyuk

内容摘要

SGLang 团队介绍用 Score API 与多条目评分(MIS)服务 JEV 类决策模型:/v1/score 通过 label_token_ids 显式请求标签 token 分数,MIS 在单次请求内复用共享 query 计算并隔离各候选。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS:Blog(Chatbot Arena 团队)
站内情报编号intel-f338ff499ccf723f92e795a1