Voyager: An Open-Ended Embodied Agent with Large Language Models：LLM驱动的终身学习智能体在Minecraft中自主探索
2023年5月，NVIDIA和UT Austin团队提出Voyager，首个LLM驱动的终身学习智能体，在Minecraft中无需人类干预持续探索、获取技能并发现新事物。Voyager使用GPT-4，通过自动课程、技能库和迭代提示机制，获得3.3倍独特物品、解锁里程碑快15.3倍。
Development
- First ReportVoyager: An Open-Ended Embodied Agent with Large Language Models：LLM驱动的终身学习智能体在Minecraft中自主探索arXiv cs.AI
- Current AssessmentVoyager范式可迁移至机器人、游戏AI、自动化测试等领域。它展示了LLM作为“大脑”控制具身系统的可行性，可能催生新一代智能体平台。对游戏行业，可开发自主NPC；对制造业，可控制机械臂完成复杂任务。但实时性和安全性仍需解决。Agent Pulse · analysis
Voyager展示了LLM作为通用智能体核心的潜力，实现了开放世界中的终身学习。它通过自动课程最大化探索，将技能存储为可执行代码，并利用环境反馈自我改进。这一工作为通用具身智能体（如机器人、自动驾驶）提供了可复现的范式，证明了LLM+代码库+环境反馈的组合可以持续积累能力。
Voyager包含三个组件：1）自动课程：基于当前技能和未探索区域生成任务；2）技能库：将技能表示为可执行代码（如Python函数），支持组合和复用；3）迭代提示机制：将环境反馈、执行错误和自验证结果注入GPT-4提示，改进程序。Voyager完全通过黑盒查询GPT-4，无需微调。实验在Minecraft中验证，Voyager在探索效率、技能获取和泛化上远超先前SOTA（如AutoGPT）。局限：依赖GPT-4的API，成本高；技能库可能随规模增长出现冗余。
Voyager范式可迁移至机器人、游戏AI、自动化测试等领域。它展示了LLM作为“大脑”控制具身系统的可行性，可能催生新一代智能体平台。对游戏行业，可开发自主NPC；对制造业，可控制机械臂完成复杂任务。但实时性和安全性仍需解决。
建议机器人公司探索Voyager式架构，将LLM作为高层规划器。游戏公司可开发基于Voyager的AI队友或对手。投资关注将LLM+具身智能体产品化的初创公司。
关注Voyager在真实机器人上的部署，以及技能库的压缩和检索优化。是否会出现Voyager的轻量级版本（基于开源LLM）？需研究技能遗忘和冲突管理。开源代码将推动社区在更多环境（如Habitat、Isaac Sim）中复现。