May 24, 2026 · ScaleWoB
ScaleWoB：千级可验证任务显示移动 GUI Agent 长任务成功率仅 17.82%
2026 年 5 月 24 日提交的 ScaleWoB 合成 100+ 交互环境与 1,000+ 可验证任务；五个移动 GUI Agent 平均成功率 27.92%，长任务降至 17.82%，人类达到 92.08%。
EVENT STORY
Development
- First ReportScaleWoB：千级可验证任务显示移动 GUI Agent 长任务成功率仅 17.82%arXiv cs.AI
- Current AssessmentGUI Agent 竞争会越来越依赖可规模化环境、状态重置和结果验证，而不是人工录制少量 demo；合成环境可能成为训练数据与回归基础设施。Agent Pulse · analysis
真实应用难重置、难构造奖励，限制 GUI Agent 训练和评测规模。ScaleWoB 用无需后端的高保真网页模拟移动、桌面和车载界面，降低环境成本并暴露当前能力差距。
框架由编码 Agent 生成跨平台交互环境和可验证奖励，环境通过 URL 访问、几乎零配置；公开基准包含 63 个模拟移动应用的 120 个高难任务，并验证合成环境排名可以迁移到真实应用样本。
GUI Agent 竞争会越来越依赖可规模化环境、状态重置和结果验证，而不是人工录制少量 demo；合成环境可能成为训练数据与回归基础设施。
团队可先为核心流程构建可重置数字孪生，用长任务成功率和恢复率筛选模型，再进入低权限真实网站影子测试。
需验证合成与真实界面的长期分布差异、视觉细节、登录权限和提示注入，并防止 Agent 过拟合生成器模式。