Hugging Face Blog·· 3 小时前精选AI 评分56
Hugging Face 发布研究：LLM 能否可靠判断科研想法的新颖性？
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Hugging Face 与 AllenAI 联合发布论文《Old Ideas, Novel Problems》，构建了评估 LLM 新颖性判断能力的基准，测试了 GPT-5.1、GPT-5.4、Claude Sonnet 4.5 等六种模型。
推荐理由
研究揭示了 LLM 在评估研究新颖性时的不稳定性，提示词微调可导致准确率大幅波动，对 AI 生成想法的判断尤其脆弱。
来源：Hugging Face Blog · huggingface.co