AI圈报
论文研究精选

OpenAI 发现深度学习中的深度双下降现象

信息来源:OpenAI:官网动态(RSS · 排除企业/客户案例)·
原始标题:Deep double descent

内容摘要

OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中:随着模型规模、数据量或训练时间增大,性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避,作者表示其成因尚未被充分理解,并将其列为重要的研究方向。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源OpenAI:官网动态(RSS · 排除企业/客户案例)
站内情报编号intel-18f2689b4815dce6f8d93b63