据Slashdot报道，Linux基金会IT基础设施主任日前表示，git.kernel.org正遭受AI爬虫的严重侵扰，每天收到的约600万次请求中，绝大多数来自爬虫，合法访问仅占总量的约2%。由于爬虫持续耗尽系统资源，该平台不得不关闭部分功能，并提高匿名访问门槛。

该主任透露，目前共有5个地理分布节点，其中14个CPU核心持续将git提交渲染为HTML页面，仅用于应付爬虫。linux.git代码库约有148万次提交，并有约922个fork，爬虫会遍历大量重复的URL，给后端带来巨大压力。他表示，对于确认不包含LLM生成内容的来源，如完整的内核提交历史，作为训练数据价值极高，这正是爬虫蜂拥而至的原因。

初期，平台通过robots.txt和fail2ban依据用户代理与IP地址封禁爬虫，但爬虫随后伪装成普通浏览器，甚至扩散到整个子网。如今，爬虫来源已变为数百万随机住宅或移动IP，每个IP只发出四五个请求便消失。该主任形容爬虫如蝗群般反复冲击系统，直到服务崩溃，恢复后再次来袭。

目前，Anubis挑战可拦截66%的即时请求，但剩余33%的请求会计算数学挑战并穿过防线。粗略估算，合法流量仅占全部请求的2%。为降低压力，git.kernel.org正在关闭部分功能，以减少可抓取URL数量，并对匿名访问设置更多限制。该主任承诺，所有数据仍可供任何人下载，但可能需要通过更多验证步骤。

该主任表示，关闭功能是不得已而为之，他们理解这会带来不便。他强调，这一困境源于“代理SDK商业化”模式，AI爬虫已形成灰色产业，甚至可能利用受感染的设备发起抓取。