当前，主流AI工具通过爬虫技术直接抓取网站数据，以满足用户查询需求。然而，这种模式导致用户跳过原始网站、直接通过AI获取信息，使得原网站的访问量显著下降。与此同时，AI工具的频繁抓取反而消耗了大量服务器资源，令原网站面临流量被“掏空”的困境。据网络安全公司Cloudflare的统计，自2025年起，AI平台的爬虫行为对互联网生态的影响愈发明显。
Cloudflare通过追踪大型科技公司的爬虫请求次数与实际导流量的比例，提出了“抓取与回流比”这一指标。例如，当某平台的抓取与回流比为100:1时，意味着其爬虫每抓取100次内容，仅能为原网站带来1次访问。数据显示，Anthropic的这一比例表现最差，其爬虫抓取量远超实际导流量；OpenAI的情况同样不容乐观，两家公司均被指从互联网获取大量价值，却未给予相应回报。
这一现象并非孤立存在。2024年末，媒体Business Insider的调查也指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率“异常高”，直接导致原网站的流量成本和云计算支出激增。有开发者透露，其客户的云服务账单因AI爬虫活动在数月内翻倍，反映出AI公司不仅减少了内容回流，还将运营成本转嫁给了网站所有者。
从内容生产者到平台运营者，互联网生态的多个环节正因AI爬虫的普及而承受压力。原网站在失去流量优势的同时，还需承担更高的服务器负载；而AI公司则通过技术手段低成本获取数据，进一步加剧了资源分配的不平等。这一矛盾若持续发酵，或将重塑互联网内容共享的底层逻辑。
