AI圈报
论文研究普通

研究将 SGD 优化动力学建模为渗流过程,提出方差级联与离散标度不变性

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance

内容摘要

该研究将随机梯度流(SGF)建模为渗流过程,认为架构对称性迫使子网络以离散的同步块合并,并在宏观序参量上表现为方差尖峰,类似物理相变。研究还指出这种捕获机制及标度级联在显式重尾噪声模型下同样适用于 Adam 和 AdamW。论文链接:https://arxiv.org/abs/2609.02373
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-63360cc90874d83aef174d4c