观点 / 方法普通
用 SGLang 扩展类 JEV 决策模型:Score API 与多候选评分基准
原始标题:Blog Scaling JEV-like Decision Models with SGLang A customer asks whether an order has shipped. An agent already has the order ID and three possible next actions: query the order-status service, search general delivery-policy documentation, or ask th… Sundara Raman Ramachandran, Chuanrui Zhu, Qing Lan, Shri Rajamanikandan Vasudevan, Jian Sheng, I-Ting Chen, Fedor Borisyuk
内容摘要
SGLang 团队介绍如何用 /v1/score 接口服务类 JEV 决策模型,调用方通过 label_token_ids 显式指定标签 token 分数,而非依赖生成响应的 top-k logprobs。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS:Blog(Chatbot Arena 团队)
站内情报编号intel-f338ff499ccf723f92e795a1