观点 / 方法普通
kernel.org 运维者谈滥用爬虫:14 个 CPU 核心专为爬虫渲染 git 提交页面
原始标题:Creepy crawlies
内容摘要
Simon Willison 转述 Konstantin Ryabitsev 的观察:git.kernel.org 为应付滥用爬虫的"背景辐射",在 5 个地理分布节点上常年有 14 个 CPU 核心专门把 git 提交渲染成 HTML,CPU 开销超过包括 git clone 在内的所有合法访问。Willison 担忧这对提供大量可爬网页的 Datasette 也有影响。