Crawlable – 我们审计了 50 个顶级 Web 应用对 AI 爬虫的可读性

50 个顶级 Web 应用在 AI 爬虫可读性测试中平均得分 55，无一达到 90 分以上的 A 级；其中 43 个得分低于 70。大部分网站虽提供了 llms.txt 文件，但其中 35 个未通过 Crawlable 验证器，常见问题包括缺少摘要行或链接描述。14 个网站至少有一页以空 JavaScript 壳形式加载，文本仅在浏览器运行应用后才出现，影响爬虫抓取效率。