Cloudflare宣布9月15日起默认拦截混用型AI爬虫抓取带广告页面

全球最大的互联网基础设施提供商之一Cloudflare宣布，自2026年9月15日起，将默认拦截混用型AI爬虫在带广告的页面上抓取内容。这类爬虫同时兼具AI训练和网络搜索功能。

Cloudflare表示，页面上的广告说明网站主希望真人看到该页面，因此页面上的“注意力”应优先留给人类用户。如果同一爬虫身兼训练和搜索功能，网站主在拦截其训练行为时，也可能连带拦截该爬虫的搜索功能。

据Cloudflare估计，2025年7月，全球约30%的网络流量由机器人产生，而目前这一比例已上升至60%。此前，Cloudflare曾推出“按次付费爬取”模式，允许网站出版商向AI爬虫收取内容抓取费用。