ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation：基于关键点约束的机器人操作框架，实现零样本多阶段任务
2024年9月，斯坦福大学李飞飞团队提出ReKep（关系关键点约束），一种用于机器人操作的视觉约束表示方法。ReKep将操作任务表示为一系列Python函数，这些函数将环境中的3D关键点映射到数值代价。通过分层优化，系统能以实时频率求解机器人动作（SE(3)末端执行器位姿序列）。结合大型视觉模型和视觉语言模型，ReKep能从自由形式语言指令和RGB-D观测自动生成约束，无需任务特定数据或环境模型。在轮式单臂和固定双臂平台上演示了多阶段、野外、双臂和反应性行为。
Development
- First ReportReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation：基于关键点约束的机器人操作框架，实现零样本多阶段任务arXiv cs.AI
- Current AssessmentReKep对工业和服务机器人领域有重要影响。其零样本能力意味着机器人可以快速适应新任务，无需重新编程或收集数据，特别适合柔性制造、仓储拣选、家庭服务等场景。结合大语言模型，非专业用户可通过自然语言指挥机器人，降低使用门槛。Agent Pulse · analysis
ReKep提出了一种新颖的机器人操作任务表示方法，通过3D关键点之间的空间关系约束来编码任务，并利用视觉基础模型自动从语言指令生成这些约束。该方法实现了零样本的多阶段操作，无需任务特定训练数据，且能实时响应环境变化。这标志着机器人操作从“感知-规划-执行”范式向“约束优化”范式的转变，有望大幅降低机器人部署成本。
ReKep的核心是关系关键点约束：每个约束是一个Python函数，输入一组3D关键点坐标，输出一个标量代价（如距离、对齐角度）。任务被表示为一系列这样的约束，每个阶段对应一个子目标。优化过程采用分层方法：上层使用模型预测控制（MPC）规划关键点轨迹，下层使用基于梯度的优化求解机器人关节角度。关键点由视觉基础模型（如DINOv2、SAM）从RGB-D图像中检测，约束则由视觉语言模型（如GPT-4V）根据语言指令生成。系统在轮式单臂和固定双臂平台上验证，执行了倒水、开瓶、叠衣服等任务，成功率在80%以上。局限性：依赖精确的3D关键点检测，对遮挡和光照变化敏感；优化求解可能陷入局部最优。
ReKep对工业和服务机器人领域有重要影响。其零样本能力意味着机器人可以快速适应新任务，无需重新编程或收集数据，特别适合柔性制造、仓储拣选、家庭服务等场景。结合大语言模型，非专业用户可通过自然语言指挥机器人，降低使用门槛。
机器人公司可评估ReKep作为其操作系统的任务规划模块，减少针对特定任务的开发成本。工业自动化集成商可将其用于快速部署新产线。投资机构可关注将视觉-语言模型与机器人控制结合的初创公司。
后续关注：1) 关键点检测的鲁棒性提升，如融合多视角或时序信息；2) 优化求解的实时性改进，支持更复杂任务；3) 在真实工厂或家庭环境中的长期部署测试；4) 是否与主流机器人平台（如ROS）集成。