Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers：LLM生成的研究想法比人类专家更具新颖性
2024年9月，来自MIT等机构的研究者通过招募100多名NLP专家，首次进行了LLM与人类专家在研究想法生成上的头对头比较。实验设计控制了混淆变量，采用双盲评审。结果显示，LLM生成的想法在新颖性上显著优于人类专家（p<0.05），但在可行性上略逊一筹。研究还发现LLM自我评估存在失败，且生成多样性不足。
发展脉络
- 首次出现Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers：LLM生成的研究想法比人类专家更具新颖性arXiv cs.AI
- 当前判断该结果对科研辅助工具市场有直接影响：LLM可作为“创意引擎”帮助研究人员突破思维定式，生成新颖研究方向。学术出版商和科研基金机构可考虑将LLM纳入项目评审或选题建议。但可行性短板意味着LLM想法仍需人类专家筛选和细化。Agent Pulse · 分析
该研究通过大规模人类实验，首次提供了LLM在研究构思能力上的统计显著证据：LLM能生成比人类专家更新颖的研究想法，但可行性稍弱。这挑战了“LLM缺乏创造力”的普遍认知，同时揭示了当前LLM在自我评估和多样性方面的局限。研究还提出了端到端评估框架，将想法执行到完整项目，以验证新颖性和可行性判断的实际影响。
实验设计：招募100+ NLP研究人员，每人撰写一个研究想法；同时使用LLM ideation agent生成想法。所有想法匿名后由另一组专家双盲评审，评估新颖性和可行性。LLM agent基于GPT-4，通过多轮提示生成想法。统计方法使用配对t检验。结果：LLM想法新颖性评分显著高于人类（p<0.05），可行性评分略低但未达显著。进一步分析发现，LLM自我评估（让LLM判断自己想法的质量）与人类评审相关性低，表明LLM缺乏可靠的自我评估能力。此外，LLM生成的想法在主题上多样性不足，倾向于重复类似模式。研究还提出了一个端到端评估流程，让研究人员实际执行选中的想法，以比较最终研究产出。
该结果对科研辅助工具市场有直接影响：LLM可作为“创意引擎”帮助研究人员突破思维定式，生成新颖研究方向。学术出版商和科研基金机构可考虑将LLM纳入项目评审或选题建议。但可行性短板意味着LLM想法仍需人类专家筛选和细化。
科研服务公司可开发“AI研究构思助手”，基于LLM生成新颖想法，再通过人类专家筛选和可行性评估。学术机构可将其用于研究生选题指导或跨学科合作建议。投资机构可关注利用AI加速科研发现的初创公司。
后续关注：1) 其他领域（如生物、物理）的类似实验是否复现结果；2) 如何提升LLM想法的可行性，例如结合领域知识库或模拟验证；3) 端到端评估结果是否支持新颖性判断的有效性；4) 商业化科研辅助工具（如Elicit、Scite）是否会集成类似功能。