观点 / 方法普通
gzip 能做语言建模吗?作者用 beam search 让纯压缩算法续写文本
原始标题:gzip 能成为一种语言模型吗?
内容摘要
作者受《Language Modeling is Compression》中压缩与预测等价关系的启发,构建了 gzipt,用 gzip 的 DEFLATE 滑动窗口对候选续写按压缩后长度打分,实现无神经网络、无训练参数的文本生成。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-7e2710b48e98b9ec69faa333