AI圈报论文研究普通
Functionalizer：面向子词分词的无损功能分解预分词框架
原始标题：The Functionalizer： Lossless Functional Decomposition for Subword Tokenization
内容摘要
Functionalizer 是一种无损预分词框架，在分词前将大小写、变音符号和字符重复等拼写变化拆解为 Unicode 私有使用区中的 opcode/operand 前缀流，且完全可逆。在自然语言与代码语料上，它最多可减少 19.7% 的实际词表槽位需求；在 98M 参数 GPT-2 上，Python 代码语法有效率从 7.70% 提升至 9.12%，并减少了自然语言中的重复 n-gram。
内容分类AI 论文与研究
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源HuggingFace Daily Papers（社区热门论文）
站内情报编号intel-e6369e2ddf442a8bc8aefaa2