Hugging Face Blog·· 3 小时前精选AI 评分61
Ai2 发布 Old Ideas, Novel Problems 研究,质疑 LLM 新颖性判断可靠性
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,考察 LLM 判断研究想法新颖性的可靠性。
推荐理由
这篇研究用 ICLR 2026 审稿文本构建基准,揭示提示词微调能让同一 LLM 判断准确率从 93.5% 跌到 40.9%,并公开了可复用的评测与数据 pipeline。
来源:Hugging Face Blog · huggingface.co