20% 的所有 "ok" 网页响应对 AI 来说并不真正可用

一篇新论文指出，约 20% 的网页返回 200（OK）状态码时实际上并未提供可用内容，而是包含空壳页面、验证码挑战或错误页面。研究测试了 10,307 个网页地址，发现超过三分之二的 200 响应属于不可用内容。论文建议网页抓取工具应直接报告实际获取内容，而非仅依赖 HTTP 状态码来判断响应是否成功。