2026年6月11日 · DailyReport
DailyReport：17 个搜索 Agent 在日常开放任务上仍低于用户预期
2026 年 6 月 11 日提交的 DailyReport 包含 150 个开放日常搜索任务和 3,546 条关联 rubric，并对 17 个 Agent 系统做分维度、用户中心的级联评测。
EVENT STORY
发展脉络
- 首次出现DailyReport：17 个搜索 Agent 在日常开放任务上仍低于用户预期arXiv cs.AI
- 当前判断深度搜索产品需要从单一总分转向任务覆盖、证据质量、时效和用户偏好解释；开放评测也会降低厂商自定义 demo 的信息优势。Agent Pulse · 分析
搜索 Agent benchmark 常偏向专业、封闭问题，难代表用户每天提出的开放需求。DailyReport 将任务拆成子任务与细粒度 rubric，使差距可以定位到覆盖、证据和综合过程。
基准为每个开放任务设计级联 rubric，通过子任务表现归因和用户中心聚合生成分维度分数与偏好分；数据和代码公开，能够区分最终报告看似完整与关键要求实际遗漏，并定位遗漏环节。
深度搜索产品需要从单一总分转向任务覆盖、证据质量、时效和用户偏好解释；开放评测也会降低厂商自定义 demo 的信息优势。
团队选型搜索 Agent 时应使用自己的日常问题建立 rubric，按遗漏类型、证据回链和人工修订时间验收，而不是只看成文质量。
需持续更新时效性任务、控制搜索结果漂移和评分模型偏差，并验证 rubric 与真实用户满意度、复用率的相关性。