大模型能否可靠地判断一个科研想法是不是新的？Ai2于2026年10月27日在Hugging Face Blog发表文章，介绍研究《Old Ideas, Novel Problems》。其基准测试发现，同样的研究想法，在评估设置看似很小的变化下，也可能得到截然不同的判断。

这项研究针对的是“新颖性评判模型”：它们依据已有研究，判断一个想法是否新颖，或比较两个想法哪个更新颖。文章指出，目前这类系统没有统一构建方式，团队会自行选择模型、提示词、评估形式、推理预算，有时还会加入文献检索。这些选择都可能实质性影响结论。

研究测试了六个大模型：GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6。在一项实验中，只改动提示词中的几个词，模型识别两个想法中哪一个更新颖的准确率就变化超过50个百分点。这里衡量的是两个想法之间的比较准确率，而非所有科研评价任务的表现。

增加检索或推理也没有稳定改善判断。研究还发现，两个专门构建的新颖性评估系统，表现不如仅通过提示词进行判断的Claude Opus 4.6基线。这些是该研究测试中的结果，并不意味着检索或额外推理在所有场景下都无效。

为构建评测集，团队围绕ICLR 2026同行评审搭建了自动化流程，寻找对科研贡献原创性有较强证据支持的样本。此次随论文一同公布的还有基准、数据、代码，以及供研究者构建新评估集的自动化流程。文章同时指出，现有评判模型往往只在人类撰写的论文上验证，而实际需要评价的却是AI生成的研究想法；这也是其可靠性需要进一步检验的适用范围差异。

原始来源：Can we trust LLMs to judge whether a research idea is novel?