SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model：数据驱动的小模型训练，1.7B参数超越同尺寸竞品
2025年2月提交。SmolLM2是一个1.7B参数的小语言模型，在约11万亿token上通过多阶段训练，混合网页文本、数学、代码和指令数据。引入了三个新数据集：FineMath（数学）、Stack-Edu（代码教育）、SmolTalk（指令）。通过小规模消融和手动调整各阶段数据混合比例，最终在多项基准上超越Qwen2.5-1.5B和Llama3.2-1B。模型和数据集全部开源。
Development
- First ReportSmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model：数据驱动的小模型训练，1.7B参数超越同尺寸竞品arXiv cs.AI
- Current AssessmentSmolLM2将推动小模型在手机、IoT设备、离线场景的部署。其开源特性可降低企业定制化成本。专用数据集（如FineMath）可被其他模型复用，加速数学和代码领域的小模型研发。可能影响边缘AI芯片的软件栈设计。Agent Pulse · analysis
SmolLM2展示了数据质量和小模型训练策略的重要性：通过精心设计的多阶段训练和专用数据集，1.7B参数模型可以超越更大或同尺寸的竞品。这为资源受限场景（如移动端、边缘设备）提供了高性能小模型选择，同时开源数据集可促进社区研究。其数据混合方法（先通用后专业）可能成为小模型训练的范式。
SmolLM2采用三阶段训练：第一阶段在约9万亿通用网页文本上预训练；第二阶段在1万亿数学和代码数据上继续训练（使用FineMath和Stack-Edu）；第三阶段在1万亿指令数据上微调（使用SmolTalk）。FineMath通过筛选高质量数学网页构建，Stack-Edu从Stack Exchange提取教育内容，SmolTalk包含多样化指令。消融实验显示，第二阶段加入数学和代码数据使推理能力提升15%，第三阶段指令微调使对话能力提升20%。在MMLU、GSM8K、HumanEval等基准上，SmolLM2分别达到45.2%、52.3%、38.4%，均高于Qwen2.5-1.5B和Llama3.2-1B。
SmolLM2将推动小模型在手机、IoT设备、离线场景的部署。其开源特性可降低企业定制化成本。专用数据集（如FineMath）可被其他模型复用，加速数学和代码领域的小模型研发。可能影响边缘AI芯片的软件栈设计。
建议移动端AI团队评估SmolLM2替代现有小模型（如Phi-2、TinyLlama）的可能性，优先在离线翻译、智能客服场景测试。可考虑基于SmolLM2开发端侧AI应用，或利用其开源数据集训练自有模型。
关注SmolLM2在手机端（如高通、联发科芯片）的推理速度和功耗。其多阶段训练方法是否被其他小模型（如TinyLlama、Phi系列）采纳。需观察社区基于SmolTalk构建的指令数据集质量，以及是否出现基于SmolLM2的垂直领域微调版本。