Hungry Hungry Hippos: Towards Language Modeling with State Space Models：状态空间模型挑战Transformer
2022年12月，斯坦福大学等提出H3状态空间模型层，专门设计用于解决SSM在语言建模中难以回忆早期token和跨token比较的问题。在125M参数混合模型中，仅保留2个注意力层，在OpenWebText上困惑度比纯Transformer低1.0。同时提出FlashConv算法，实现2倍加速，并支持2.7B参数模型在SuperGLUE多数任务上超越Transformer。
Development
- First ReportHungry Hungry Hippos: Towards Language Modeling with State Space Models：状态空间模型挑战TransformerarXiv cs.AI
- Current AssessmentH3和FlashConv为语言模型架构提供了Transformer之外的有力选择，尤其适合需要低延迟、高吞吐的推理场景（如对话、实时翻译）。对芯片设计厂商，SSM的线性复杂度可能催生专用硬件。对云服务商，SSM可降低长序列推理成本。Agent Pulse · analysis
H3证明了状态空间模型在语言建模中可以匹配甚至超越Transformer，同时保持线性复杂度。它通过引入门控机制和移位操作，弥补了SSM在长程依赖和比较能力上的不足。FlashConv进一步解决了SSM硬件利用率低的问题，使SSM成为Transformer的高效替代方案，对长序列建模和边缘部署意义重大。
H3层包含两个SSM分支：一个用于回忆（类似卷积），一个用于比较（类似注意力），通过门控融合。在合成任务中，H3成功解决需要精确回忆和比较的任务，而标准SSM失败。在OpenWebText上，125M H3模型困惑度与Transformer相当，混合模型（2层注意力+其余H3）困惑度更低。FlashConv使用分块FFT和状态传递算法，在长序列上实现2倍训练加速。关键边界：H3在超长序列（>8K）上仍需优化，且大规模预训练效果有待进一步验证。
H3和FlashConv为语言模型架构提供了Transformer之外的有力选择，尤其适合需要低延迟、高吞吐的推理场景（如对话、实时翻译）。对芯片设计厂商，SSM的线性复杂度可能催生专用硬件。对云服务商，SSM可降低长序列推理成本。
建议LLM推理引擎团队评估H3和FlashConv在长序列场景下的加速效果，考虑将其集成到推理栈中。模型训练团队可尝试H3混合架构以降低训练成本。投资关注基于SSM架构的LLM初创公司，以及提供SSM优化硬件的厂商。
后续需关注H3在更大规模（>10B）和更多任务上的表现，以及与其他高效架构（如Mamba）的对比。安全方面，SSM的可解释性可能优于注意力，值得探索。商业上，若SSM能实现与Transformer相当的性能且成本更低，将推动LLM部署成本下降。