MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies：MiniCPM：小语言模型的潜力与可扩展训练策略
2024年4月，该论文发布MiniCPM系列小语言模型（1.2B和2.4B非嵌入参数），在各自规模上达到SOTA，性能可媲美7B-13B模型。提出Warmup-Stable-Decay（WSD）学习率调度器，支持持续训练和领域自适应。通过WSD发现数据-模型缩放律中计算最优数据-模型比高于Chinchilla最优。系列包括MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128K。
Development
- First ReportMiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies：MiniCPM：小语言模型的潜力与可扩展训练策略arXiv cs.AI
- Current AssessmentMiniCPM系列对AI部署产生直接影响：1）降低推理成本，可在手机、IoT设备上运行；2）减少对高端GPU的依赖，加速AI普惠；3）MoE变体进一步压缩计算量。对云服务商，小模型可降低每token成本，吸引价格敏感客户。对开源社区，MiniCPM提供了高质量的小模型基线，促进垂直领域微调。Agent Pulse · analysis
MiniCPM证明小语言模型（<3B参数）通过精心设计的训练策略可达到大模型（7B-13B）的性能，挑战了“越大越好”的共识。WSD学习率调度器允许高效研究缩放律，并发现计算最优数据量比Chinchilla建议的更大。这对模型部署成本、边缘计算和领域定制有重大意义：小模型可在消费级硬件上运行，且训练成本更低。MiniCPM系列的开源进一步推动SLM生态。
MiniCPM采用1.2B和2.4B非嵌入参数的Transformer架构。关键创新是WSD学习率调度器：分为预热（Warmup）、稳定（Stable）和衰减（Decay）三个阶段。稳定阶段保持高学习率，衰减阶段快速降低学习率，使模型收敛到更好局部最优。WSD支持在衰减阶段前随时停止并评估，无需重新训练即可研究缩放律。实验表明，在相同计算预算下，MiniCPM-2.4B在多个基准上超越Mistral-7B、Llama-2-7B等。边界：非嵌入参数计数排除了词嵌入层，实际总参数量更大；性能评估主要基于英文和中文基准。
MiniCPM系列对AI部署产生直接影响：1）降低推理成本，可在手机、IoT设备上运行；2）减少对高端GPU的依赖，加速AI普惠；3）MoE变体进一步压缩计算量。对云服务商，小模型可降低每token成本，吸引价格敏感客户。对开源社区，MiniCPM提供了高质量的小模型基线，促进垂直领域微调。
建议边缘计算和移动端团队在目标硬件上评估MiniCPM-2.4B的准确率、首字延迟、内存与能耗，再决定是否替换更大模型。云服务商可验证托管推理需求，企业则应先用领域回归集验收微调效果。
需关注：1）MiniCPM在多语言和长上下文任务上的表现；2）WSD调度器在其他规模模型上的通用性；3）小模型在复杂推理任务上的天花板；4）与量化、剪枝等压缩技术的结合。若小模型持续逼近大模型性能，将改变模型选型策略。