Cloudflare CEO:机器人流量超越人类，网络未来或全面走向“付费抓取”
- 机器人流量首超人类—Cloudflare数据显示，机器人自动流量占全球HTTP请求的57.4%，人类流量降至42.6%，AI智能体推动使这一逆转提前爆发，远超此前预计的2027年底。
- 互联网走向“付费抓取”—CEO马修·普林斯认为，未来网站将全面实行数据抓取收费。Cloudflare曾推出平台允许网站拦截AI爬虫并收费，但因缺乏配套生态未获广泛关注。
- 基础设施升级支持交易—Cloudflare正开发全新协议与底层设施，以支撑高频结算与流量控制，将自动化流量从对抗转化为商业变现机遇。
- 传统巨头转向AI交互—谷歌推出AI概述和AI模式，吸引数十亿用户，显示信息获取方式正从网页浏览快速转向AI总结，进一步改变网络生态。
流量逆转提前爆发
有开发者从内部渠道得知，Cloudflare CEO 马修·普林斯近日指出，互联网已经迎来了一个极其关键的历史性拐点。根据最新统计数据，目前互联网上的机器人自动流量已经正式超越了由人类活动产生的流量，成为网络访问的绝对主力。普林斯承认，这一趋势的演进速度远超行业预期，原本预计在 2027 年底才会出现的流量逆转，在各类 AI 智能体的推动下提前爆发。群里在传，AI 智能体让这个转折点比原计划提前了两年多——57.4% 的 HTTP 请求来自机器人、爬虫和 AI 智能体，而人类用户只占 42.6%（算下来每 10 次访问里有接近 6 次是自动的，速度远超想象）。虽然统计数据仍有粗略之处，但这种自动化流量压倒人类流量的趋势已不可逆转。
付费抓取时代到来
在普林斯看来，未来的互联网生态规则势必会发生颠覆性的改变，全面走向“付费抓取”的时代将不可避免。为了应对这一变化，Cloudflare 在去年夏天就曾推出过一个服务平台，允许网站所有者对 AI 爬虫进行拦截并对数据抓取行为进行收费。不过，有开发者试用后说，由于缺乏相应的配套生态，该项目此前并未在市场上获得广泛的关注与应用。群里在传，这个服务目前基本没人用，因为交易结算和流量控制都还没建好。
基础设施升级
面对 AI 流量的井喷，Cloudflare 目前正全力开发全新的协议与底层基础设施，以支撑未来庞大的付费抓取交易所需要的高频结算与流量控制。普林斯认为，无论是被称为机器人、爬虫还是智能体，它们本质上都是同一种自动化工具，网站所有者需要从根本上转变对抗思维，将其转化为新的商业变现机遇。与此同时，传统互联网巨头也在加速将用户引向全新的 AI 交互模式。例如谷歌推出的 AI 概述和 AI 模式等功能，目前已经吸引了全球数十亿用户的使用，这进一步证明了用户获取信息的方式正在从传统的网页浏览向 AI 总结快速转变。
接下来盯着看付费抓取协议能否落地，这会让所有依赖免费爬取数据的 AI 公司都难受，而网站所有者可能因此多一条收入。