Hacker News · AI· alishaikha·· 6 小时前AI 评分44
Show HN: 哪些大网站阻止 AI 训练爬虫但允许 AI 搜索爬虫
Show HN: Which big sites block AI training crawlers but let AI search in
AI 导读
一项研究检查了 945 个知名网站的 robots.txt 规则，针对 14 种 AI 爬虫（包括 GPTBot、ClaudeBot 等）进行测试，发现 25.9% 的网站至少阻止了一种 AI 爬虫。
来源：Hacker News · AI · getkavel.com