论文研究普通
OpenAI 因担忧恶意应用未发布 GPT-2 完整模型
原始标题:Due to concerns about malicious applications, GPT2 will not be released (2019)
内容摘要
OpenAI 训练出 15 亿参数的 GPT-2,在多项语言建模基准上达到 SOTA,并能零样本完成阅读理解、机器翻译、问答和摘要。出于对恶意应用的担忧,OpenAI 未发布完整训练模型,仅以负责任披露实验的形式放出一个小得多的模型供研究者使用,同时发布技术论文。GPT-2 基于 Transformer,用 40GB 互联网文本、800 万网页训练,参数和数据量均为 GPT 的 10 倍以上。