论文研究普通
预训练 LLM 中的 Softmax 近似:模型敏感性与内核加速
原始标题:Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration
内容摘要
研究在十个冻结的 decoder-only 模型(0.5B-72B)上近似推理期 softmax,发现可大幅削减分配概率的位置数与行内分辨率,但对相同位置做均匀加权会带来损害,且固定分辨率预算的分配位置与预算大小同样重要。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-b377d03418acad01d4f35a3b