Symbolic Discovery of Optimization Algorithms (Lion)：符号搜索发现高效优化器Lion，训练成本大幅降低
2023年2月，Google提出Lion优化器，通过符号程序搜索自动发现。Lion仅跟踪动量，使用符号函数更新参数，内存效率高于Adam。在ImageNet上ViT准确率提升2%，JFT预训练计算量节省5倍；扩散模型训练计算量节省2.3倍。已部署于Google搜索广告CTR模型。
发展脉络
- 首次出现Symbolic Discovery of Optimization Algorithms (Lion)：符号搜索发现高效优化器Lion，训练成本大幅降低arXiv cs.AI
- 当前判断Lion降低了深度学习训练的计算和内存成本，尤其利好大规模模型训练。对于云服务商，这意味着更低的训练成本和更高的资源利用率。对于AI公司，采用Lion可缩短模型迭代周期，降低硬件投入。其自动发现方法也为其他算法（如学习率调度、数据增强）的自动设计提供了范例。Agent Pulse · 分析
Lion通过程序搜索自动发现，而非人工设计，证明了算法自动发现的可行性。其简单性（仅需动量）和高效性（内存更少、计算更快）使其成为Adam的有力替代。在多个任务上超越Adam，尤其在大批量训练场景下优势明显，有望成为深度学习训练的新默认优化器。
Lion的更新规则为：θ_t = θ_{t-1} - lr * sign(β1 * m_{t-1} + (1-β1) * g_t)，其中m_t = β2 * m_{t-1} + (1-β2) * g_t。与Adam相比，Lion去除了二阶矩估计和偏差校正，仅维护一阶动量，且更新幅度由符号函数决定（每个参数更新幅度相同）。搜索方法：使用进化算法在代理任务（如小型CNN训练）上搜索更新规则，再迁移到大规模任务。评估覆盖图像分类（ViT、ResNet）、视觉语言对比学习（CLIP）、扩散模型、语言模型（BERT、GPT）等。关键发现：Lion性能增益随批量大小增加而增大；需要比Adam更小的学习率（约1/10）。边界：在部分小批量任务上提升不显著；符号更新可能导致参数更新方向过于激进。
Lion降低了深度学习训练的计算和内存成本，尤其利好大规模模型训练。对于云服务商，这意味着更低的训练成本和更高的资源利用率。对于AI公司，采用Lion可缩短模型迭代周期，降低硬件投入。其自动发现方法也为其他算法（如学习率调度、数据增强）的自动设计提供了范例。
AI训练平台可集成Lion作为默认优化器，降低用户训练成本。企业可评估在自有模型训练中替换Adam为Lion，预期节省20-50%训练时间。建议在视觉模型和扩散模型上优先试用。
关注Lion在更大规模模型（如LLM）上的验证，以及其变体（如结合自适应学习率）的探索。需观察社区采用率以及TensorFlow/PyTorch等框架的原生支持。自动算法发现方法可能扩展到其他领域。