AI圈报
论文研究普通

研究:LLM 评审拖累 AutoML 搜索效果

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:New Amazon + University of Massachusetts paper finds that adding an LLM critic to a search loop has small upside, about 0.005 AUC at be...

内容摘要

Amazon 与马萨诸塞大学论文发现,在搜索循环中加入 LLM 评审收益极小、最多约 0.005 AUC,但下行风险更大。在 96 种 pipeline 配置的表格模型搜索中,Llama-3.1-8B 评审在 8 个数据集中的 7 个上低于无评审基线,最多损失 0.245 AUC;理想评审最多仅提升约 0.005 AUC,且危害在 250 种配置、20 轮后大多消退。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-1f47afb37085d7b797933929