Toolformer: Language Models Can Teach Themselves to Use Tools：语言模型自学工具调用，突破能力边界
2023年2月，Meta提出Toolformer，通过自监督方式训练语言模型自主决定调用外部工具（计算器、搜索引擎、翻译系统、日历等）的时机、参数和结果融合。仅需每个工具少量演示，即可显著提升零样本任务性能，且不损害核心语言建模能力。
Development
- First ReportToolformer: Language Models Can Teach Themselves to Use Tools：语言模型自学工具调用，突破能力边界arXiv cs.AI
- Current AssessmentToolformer范式推动了LLM与外部系统的集成，催生了“代理”（Agent）类产品。搜索引擎、数据库、计算引擎等工具提供商可开发标准化API供LLM调用，形成新的生态。对SaaS行业，这意味着AI助手能直接操作企业软件，提升自动化水平。Agent Pulse · analysis
Toolformer解决了LLM在算术、事实查询等基础功能上的短板，通过自监督学习让模型学会调用外部API，实现了“模型+工具”的协同。这标志着LLM从纯参数化知识向工具增强范式的转变，为构建更可靠、更实用的AI系统提供了新路径。
Toolformer采用两阶段训练：首先，对每个工具，使用少量人工标注的API调用示例（如“计算2+3”对应调用计算器）微调一个初始模型，使其能生成API调用序列。然后，在大量未标注文本上，模型自监督地预测哪些位置需要调用工具，并生成调用请求；通过执行API获得结果，再训练模型学习如何将结果融入后续文本生成。关键设计包括：使用特殊token标记API调用和结果，保持自回归训练目标；工具调用不参与梯度更新，仅作为增强输入。评估显示，Toolformer在数学推理（GSM8K）、事实问答（WebQuestions）等任务上显著优于同等规模GPT-3，且工具调用频率随任务难度自适应。边界：工具API需预先定义，且调用结果质量依赖外部服务。
Toolformer范式推动了LLM与外部系统的集成，催生了“代理”（Agent）类产品。搜索引擎、数据库、计算引擎等工具提供商可开发标准化API供LLM调用，形成新的生态。对SaaS行业，这意味着AI助手能直接操作企业软件，提升自动化水平。
企业可开发面向特定领域的工具API（如财务计算、库存查询），并集成到基于LLM的客服或决策系统中。建议优先在需要精确计算或实时数据的场景（如金融、物流）部署工具增强模型。
关注工具调用范式的扩展：多工具协同、动态工具发现、工具调用安全性（防止恶意API）。未来可能出现统一工具注册中心和工具调用协议。需观察模型在复杂任务中工具调用的可靠性和成本。