Kimi k1.5: Scaling Reinforcement Learning with LLMs：强化学习驱动多模态推理，性能比肩o1
2025年1月，Moonshot AI发布Kimi k1.5多模态大模型，采用强化学习（RL）训练，无需蒙特卡洛树搜索、价值函数或过程奖励模型。通过长上下文扩展和改进的策略优化方法，在AIME上达到77.5分，MATH 500上96.2分，Codeforces上94百分位，MathVista上74.9分，匹配OpenAI o1。同时提出long2short方法，用长思维链提升短思维链模型，在AIME上达60.8分，MATH 500上94.6分，LiveCodeBench上47.3分，大幅超越GPT-4o和Claude Sonnet 3.5（最高提升550%）。
发展脉络
- 首次出现Kimi k1.5: Scaling Reinforcement Learning with LLMs：强化学习驱动多模态推理，性能比肩o1arXiv cs.AI
- 当前判断Kimi k1.5的发布标志着中国AI公司在多模态推理领域达到国际顶尖水平，直接挑战OpenAI o1。其开源策略（代码和权重公开）将加速行业应用，尤其在数学、编程、科学计算等需要深度推理的场景。long2short方法为模型部署提供了成本效益方案，可能推动更多企业采用RL训练而非单纯扩大预训练规模。Agent Pulse · 分析
Kimi k1.5证明了强化学习可以成为大模型持续扩展的新轴，突破了仅依赖预训练数据的限制。其核心贡献在于简化了RL框架，去除了复杂组件（如MCTS、价值函数），同时通过长上下文和策略优化实现SOTA。long2short方法更展示了长思维链知识向短模型迁移的实用路径，对推理效率与成本优化有直接意义。
Kimi k1.5采用基于流式扩散Transformer的RL训练框架，核心创新包括：1）长上下文扩展，支持更长的推理链以提升复杂推理能力；2）改进的策略优化方法，如PPO变体，稳定训练并提高样本效率。模型在多个数学、编程和多模态基准上达到或超越o1，且无需搜索或过程奖励。long2short方法通过知识蒸馏将长思维链模型的能力压缩到短模型，实现推理速度与精度的平衡。边界：RL训练对奖励设计敏感，且长上下文推理的计算成本较高。
Kimi k1.5的发布标志着中国AI公司在多模态推理领域达到国际顶尖水平，直接挑战OpenAI o1。其开源策略（代码和权重公开）将加速行业应用，尤其在数学、编程、科学计算等需要深度推理的场景。long2short方法为模型部署提供了成本效益方案，可能推动更多企业采用RL训练而非单纯扩大预训练规模。
建议AI基础设施团队评估Kimi k1.5的RL框架用于内部模型训练，尤其是数学和编程任务。投资可关注Moonshot AI及其生态伙伴。工程上，可尝试long2short方法优化现有推理模型，降低延迟和成本。
需关注：1）RL训练的可扩展性，包括奖励设计自动化和长上下文推理的硬件效率；2）long2short方法在其他领域（如代码生成、科学推理）的泛化能力；3）模型安全性与对齐，RL训练可能引入未预期的行为。