AI圈报
论文研究精选

Cartesia 发布 H-Net 扩缩律研究:字节级层级网络比 BPE 提升最高 3-5x 计算效率

信息来源:Cartesia 产品与研究·
原始标题:From Tokens to Bytes I: Scaling Hierarchical Networks

内容摘要

Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Cartesia 产品与研究
站内情报编号intel-ce2392ff4534b81e7a85036a