AI圈报
论文研究普通

研究称 AI 模型不同语言 Token 消耗最高相差 17 倍,形成隐性分词器税

信息来源:IT之家·人工智能·
原始标题:新研究称 AI 模型使用成本受不同语种影响,Token 消耗量最高可相差 17 倍

内容摘要

人工智能语言公平研究联盟上月发布研究发现,AI 模型处理不同语言时 Token 消耗量差距悬殊,最常用 20 种语言间相差 1.5 至 5 倍,某模型中最多相差 17 倍。这种隐性的分词器税推高低资源语言用户的成本,还会拖慢响应、挤占上下文窗口;文字系统而非使用人数是关键因素之一,专家呼吁实验室公布各语言评估结果并改进下一代分词器设计。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源IT之家·人工智能
站内情报编号intel-b3bae121f549ee602054972a