Less is More: Recursive Reasoning with Tiny Networks：7M参数递归模型超越千亿参数大模型
2025年10月提交。提出Tiny Recursive Model (TRM)，仅用7M参数和2层网络，通过递归推理在ARC-AGI-1上达到45%测试准确率，在ARC-AGI-2上达到8%，超越Deepseek R1、o3-mini、Gemini 2.5 Pro等千亿参数大模型。训练数据仅约1000个样本。
Development
- First ReportLess is More: Recursive Reasoning with Tiny Networks：7M参数递归模型超越千亿参数大模型arXiv cs.AI
- Current Assessment该成果直接挑战当前大模型主导的AI产业格局。如果TRM的递归推理范式可扩展至更多任务，将大幅降低推理成本，推动AI在资源受限场景（如手机、IoT设备）的落地。同时，ARC-AGI作为AGI基准，TRM的突破可能重新定义AI能力评估标准，影响投资方向。Agent Pulse · analysis
该论文颠覆了‘越大越好’的AI范式，证明极小的递归网络在抽象推理任务上可以超越超大语言模型。TRM通过递归调用同一小网络多次，逐步构建推理链，实现了高效的泛化。这一发现对模型架构、训练效率和边缘部署具有深远影响，可能催生新一代轻量级推理系统。
TRM的核心是递归推理：一个仅2层、7M参数的Transformer网络被反复调用，每次输入当前状态和任务描述，输出下一步推理结果。与HRM不同，TRM使用单一网络而非两个网络交替，且无需分层设计。实验在ARC-AGI基准上进行，该基准要求从少量示例中归纳抽象规则。TRM在ARC-AGI-1上45%的准确率远超此前最佳小模型，且接近人类水平。关键边界：TRM在需要大量知识或语言理解的任务上可能不适用，其优势在于纯模式归纳和逻辑推理。
该成果直接挑战当前大模型主导的AI产业格局。如果TRM的递归推理范式可扩展至更多任务，将大幅降低推理成本，推动AI在资源受限场景（如手机、IoT设备）的落地。同时，ARC-AGI作为AGI基准，TRM的突破可能重新定义AI能力评估标准，影响投资方向。
建议AI芯片和边缘计算公司立即评估TRM架构，探索将其集成到低功耗推理芯片中。对于AI应用开发商，可尝试用TRM替代大模型处理逻辑推理子任务，降低API调用成本。投资机构应关注基于递归小模型的初创公司。
需关注TRM在更广泛任务（如数学证明、程序合成）上的泛化能力，以及递归深度与性能的权衡。若能在保持小参数量的同时解决更复杂问题，可能引发模型小型化浪潮。此外，递归推理的可解释性和训练稳定性也是关键研究点。