RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control：将互联网知识迁移至机器人控制的视觉-语言-动作模型
RT-2提出将视觉-语言模型（VLM）与机器人轨迹数据共同微调，通过将机器人动作编码为文本令牌，使模型同时处理自然语言和动作输出。在6000次评估试验中，RT-2展现出对未见物体的泛化能力、解释未训练指令（如按数字或图标放置物体）以及执行基础推理（如选择最小或最大物体）的能力。链式思维推理进一步支持多阶段语义推理，例如选择石头作为临时锤子。
Development
- First ReportRT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control：将互联网知识迁移至机器人控制的视觉-语言-动作模型arXiv cs.AI
- Current AssessmentRT-2展示了将互联网知识直接注入机器人控制的可行性，有望降低机器人编程成本并提升适应性。对制造业、物流和服务机器人领域具有变革潜力，使机器人能够理解自然语言指令并执行复杂任务，无需专门训练。Agent Pulse · analysis
RT-2通过将机器人动作表示为文本令牌，实现了视觉-语言模型与机器人控制的端到端融合，使机器人能够利用互联网规模的预训练知识进行泛化和语义推理。该方法在6000次试验中验证了其有效性，显著提升了机器人对新颖物体和未训练指令的响应能力。
RT-2的核心机制是将机器人动作（如关节角度、末端执行器位置）离散化为文本令牌，与自然语言响应共享相同的输出空间。模型基于预训练的视觉-语言模型（如PaLI-X或PaLM-E），在机器人轨迹数据和视觉问答等互联网任务上共同微调。评估涵盖6000次试验，包括泛化到未见物体、执行未训练指令（如“将物体放在数字3上”）以及基础推理（如“拿起最小的物体”）。链式思维推理通过中间语言步骤实现多阶段推理，例如选择能量饮料给疲劳的人。边界在于动作令牌化可能丢失连续控制精度，且依赖大规模预训练模型的计算成本。
RT-2展示了将互联网知识直接注入机器人控制的可行性，有望降低机器人编程成本并提升适应性。对制造业、物流和服务机器人领域具有变革潜力，使机器人能够理解自然语言指令并执行复杂任务，无需专门训练。
建议机器人公司评估RT-2作为通用控制框架的潜力，优先在仓储分拣和家庭服务场景中试点。可考虑与云服务商合作，提供预训练模型API，降低企业部署门槛。
未来需验证RT-2在真实物理环境中的鲁棒性，包括动态场景和长时任务。关键信号包括：在未见过的物体类别上的成功率、链式推理的准确率、以及模型对噪声传感器输入的容忍度。