教程 / 实战普通
StableVQ:稳定向量量化分词器训练的实用指南
原始标题:StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
内容摘要
StableVQ 通过 Dynamic STE、Region VQ Loss 和 Decoupled Schedule 三项改进,解决向量量化分词器中编码器-解码器与码本训练相互纠缠导致的稳定性问题。该方法基于 shared-projection 码本构建,不引入可学习参数,在 ImageNet 上于不同码本规模和初始化设置下均提升了训练稳定性、码本利用率和重建质量。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-3490b9d95b4734d61f2519a8