论文研究精选
OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性
原始标题:Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming
内容摘要
OpenAI 研究团队介绍如何用自动化红队提升模型在网络、生物等高风险双用途领域的模糊鲁棒性,通过扩大攻击者模型的测试时算力迭代搜索越狱,并要求攻击在多次重复测试中成功(worst@n),生成可靠的对抗训练数据用于 RL 训练。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源OpenAI:Alignment 研究博客(RSS)
站内情报编号intel-be544ebadd24619c201809d6