观点 / 方法普通
从流星雨看 tokenizer:中文三字词编码后只是 1 个 token
原始标题:看看无情的 tokenizer,它根本不关心你在流星雨下许下的愿望,它只关心"流星雨" 出现的频率。 所以你明白了么,"流星雨",在中文里即是是三个字,但编码后是 1 个 token。
内容摘要
作者以流星雨为例讲解 tokenizer 的工作方式:中文里三个字的流星雨,编码后只是 1 个 token,tokenizer 只关心词语在语料中出现的频率。引用内容对比了人类逐词组合理解语言与 AI 从编号关系逼近意义的不同起点。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:马东锡 NLP (@dongxi_nlp)
站内情报编号intel-c13eac92168abdac8c35997b