论文研究普通
谁获得一个 Token,它又承载了什么?大语言模型中的姓名支持不均与概念可及性差异
原始标题:Who Gets a Token, and What Does It Carry? Unequal Name Support and Concept Access in Large Language Models
内容摘要
研究揭示大语言模型对姓名的 token 化存在系统性不均:在近 50 万个名字和 12 个 LLM 分词器上,部分姓名可直接单 token 访问,另一些则被拆成多个子词,且这种差异与种族、性别相关的姓名元数据分布不均。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-9f9a3e04f92f6b6dec96f43d