艾伦人工智能研究所（Ai2）10月27日发布研究《Old Ideas, Novel Problems》，考察大语言模型判断科研想法新颖性的可靠程度，结论是这类“新颖性评审”目前远不可靠。该机构同时公开了配套的基准、数据、代码，以及一套可供研究者构建新评估集的自动化流程。
研究测试了六款模型：GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6。据 Hugging Face 博客文章介绍，对同一批想法，评估设置上看似微小的改动会带来差别很大的判断。在一项实验中，仅改动提示词中的几个词，模型在判断两个想法中哪一个更新颖时的准确率变化就超过50个百分点。加入检索和额外推理并未稳定改善判断，两个专门构建的新颖性评估系统表现反而不如一个简单提示的 Claude Opus 4.6 基线。
研究团队指出，新颖性评审没有标准做法，研究团队自行选择模型、提示词、评估格式、推理预算，有时还搭配文献检索系统，这些选择会实质影响结论；而这类评审往往只在人类撰写的论文上验证，而非它们实际要评估的 AI 生成想法。
为构建评估集，团队围绕 ICLR 2026 的同行评审建立自动化流程，没有把论文录用当作新颖性的代理指标，而是从评审意见中挖掘评委明确讨论原创性的段落。高新颖性池包含154个人类撰写的想法，取自各研究领域排名前10%的录用论文，评审正面认定其新颖性且无人提出异议；低新颖性池包含145个想法，取自排名后10%的拒稿论文，评审提出原创性疑虑且无人正面认定其新颖性。在50个案例的核查中，标注者在47个案例上与抽取的新颖性信号倾向一致，且分歧均不会改变该评审是否被视为赞扬或质疑论文新颖性的归类。
这两个池构成第一个评估场景 Human-Only。团队另设 Human+Generated 场景，将同样的154个已验证人类想法与一个简单 LLM 生成器产出的154个想法配对。生成器只收到研究领域和“提出新颖想法”的指令，没有文献检索、工具、迭代或反馈。研究者把这些生成想法视为“新颖性低于人类对应想法”的弱标签，而非逐一核实的判断。作为额外检查，一名专家独立审阅了30对 Human+Generated 样本，样本严重偏向最强评审模型判断错误的案例。
Ai2 表示，其正在开发支持科学发现不同环节的 AI 系统：DataVoyager 帮助研究者探索和分析结构化数据，AutoDiscovery 生成并检验假设，Theorizer 将大量文献中的证据综合为候选科学理论，这些项目与 Asta 一起指向能协助研究者从理解已有工作走向提出、检验和改进新想法的系统。但生成想法只是挑战的一部分，系统还需要区分真正新颖的方向与大体上重新包装已有工作的方向。