行业动态普通
OpenAI、Google、Microsoft、Anthropic 将支持 robots.txt 中的 AI 抓取统一退出标准
原始标题:The biggest names in AI are backing a new way to opt out of scraping
内容摘要
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一个新标准,让发布者通过 robots.txt 中共享的 policy token 一次性声明针对多家 AI 公司的训练退出偏好。