美国大品牌对AI爬虫的访问策略研究

一项针对56家美国知名品牌的研究发现，68%的品牌未在其robots.txt文件中为任何AI爬虫制定访问规则，而新闻媒体行业封锁AI爬虫的比例高达75%，是其他行业的12倍。 这项由Clicks Dynasty于2026年10月8日进行的研究检查了七个行业（每个行业8个品牌）的robots.txt文件，追踪了针对13个指定AI爬虫的规则。研究样本基于品牌知名度选取，并非随机或具有统计代表性。 研究指出，robots.txt文件经常变动，且仅代表公开的访问请求而非强制层；除服务器拒绝访问的情况外，研究未测试防火墙等其他访问控制措施。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。