Jan 20, 2026 · RepoGenesis
RepoGenesis：代码 Agent 的评测从补函数走向 0 到 1 微服务仓库
2026 年 1 月 20 日提交的 RepoGenesis 包含 106 个 Python/Java 仓库、18 个领域、11 个框架、1,258 个 API 和 2,335 个测试；最佳系统 Pass@1 仅为 Python 23.67%、Java 21.45%。
EVENT STORY
Development
- First ReportRepoGenesis：代码 Agent 的评测从补函数走向 0 到 1 微服务仓库arXiv cs.AI
- Current Assessment编码 Agent 的采购与榜单会从补丁接受率转向仓库级交付、部署和验收；测试设计、架构约束与环境复现将成为比生成速度更关键的基础设施。Agent Pulse · analysis
函数补全和已有仓库修复只能覆盖软件交付的一部分。RepoGenesis 要求 Agent 从 README 生成可部署微服务，结果显示架构一致性、依赖管理和跨文件协作仍是主要短板。
基准同时使用 Pass@1、API 覆盖率和部署成功率，并以 review-rebuttal 流程验证测试质量。结果显示系统可以做到最高 73.91% API 覆盖和 100% 部署成功，却仍可能在业务测试中大量失败，证明“能启动”不等于“实现正确”。
编码 Agent 的采购与榜单会从补丁接受率转向仓库级交付、部署和验收；测试设计、架构约束与环境复现将成为比生成速度更关键的基础设施。
团队评估代码 Agent 时应提供端到端服务任务，用部署、契约测试和人工审查共同验收，避免把生成文件数量当生产力。
需要扩展到大型现有系统、数据库迁移、安全与性能要求，并验证训练集污染、测试覆盖和真实维护成本。