2026年2月2日 · AIDev-pop
AIDev-pop：编码 Agent 的真实表现需要同时看合并、审查与提交质量
2026 年 2 月 2 日提交的研究用包含数千个开源 PR 的 AIDev-pop 比较五类编码 Agent，发现 Codex 合并率较高、Copilot 引发最多审查讨论，而提交信息质量与合并结果并不同步。
EVENT STORY
发展脉络
- 首次出现AIDev-pop：编码 Agent 的真实表现需要同时看合并、审查与提交质量arXiv cs.AI
- 当前判断代码 Agent 的团队选型会从模型排名转向与现有 review、CI 和提交规范的适配；平台必须保留任务类型与审查负担的分项数据。Agent Pulse · 分析
单一 SWE benchmark 分数无法解释 Agent 如何进入真实协作。该研究按 PR 生命周期比较任务接受、审查交流和提交质量，揭示不同产品在集成与工程表达上存在独立优势。
评测从公开开源仓库抽取 AI 生成 PR，按任务类型比较接受率、人类与自动审查讨论量、提交信息质量。结果提示这些维度并不共线：高合并率可能伴随较弱提交说明，审查讨论多也不必然代表低质量。
代码 Agent 的团队选型会从模型排名转向与现有 review、CI 和提交规范的适配；平台必须保留任务类型与审查负担的分项数据。
企业试点应按任务类别跟踪合并率、review 时间、返工和缺陷，而不是只统计生成代码量或完成 PR 数。
需要控制仓库、任务难度与使用者差异，并继续验证 PR 后续缺陷、返工、维护成本和作者选择偏差。