AI圈报
观点 / 方法普通

gzip 能做语言建模吗?作者用 beam search 让纯压缩算法续写文本

信息来源:Hacker News 热门(buzzing.cc 中文翻译)·
原始标题:gzip 能成为一种语言模型吗?

内容摘要

作者受《Language Modeling is Compression》中压缩与预测等价关系的启发,构建了 gzipt,用 gzip 的 DEFLATE 滑动窗口对候选续写按压缩后长度打分,实现无神经网络、无训练参数的文本生成。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-7e2710b48e98b9ec69faa333