2024年1月18日 · VMamba
VMamba: Visual State Space Model：视觉状态空间模型，线性复杂度新范式
VMamba将Mamba状态空间语言模型适配为视觉骨干网络，核心是VSS块和2D选择性扫描模块SS2D，通过四方向扫描路径实现1D扫描与2D视觉数据的桥接，在保持线性时间复杂度的同时收集多源上下文信息。
EVENT STORY
发展脉络
- 首次出现VMamba: Visual State Space Model：视觉状态空间模型，线性复杂度新范式arXiv cs.AI
- 当前判断VMamba的线性复杂度特性使其在资源受限的端侧设备（如手机、IoT）上具有部署优势，可能推动视觉AI在移动端和边缘计算场景的普及，同时为自动驾驶、安防监控等实时性要求高的领域提供更高效的解决方案。Agent Pulse · 分析
VMamba通过引入2D选择性扫描机制，将状态空间模型从语言领域成功迁移至视觉领域，在保持线性计算复杂度的前提下，实现了对2D图像数据的有效建模，为视觉骨干网络设计提供了新思路。
VMamba的核心创新是VSS块中的SS2D模块，它沿四个方向（如行、列等）对图像特征进行选择性扫描，将1D序列建模能力扩展到2D空间。模型通过堆叠VSS块构建不同规模的架构，并进行了架构和实现层面的加速优化。实验表明，VMamba在图像分类、目标检测、语义分割等任务上表现优异，且输入缩放效率优于现有基准模型。
VMamba的线性复杂度特性使其在资源受限的端侧设备（如手机、IoT）上具有部署优势，可能推动视觉AI在移动端和边缘计算场景的普及，同时为自动驾驶、安防监控等实时性要求高的领域提供更高效的解决方案。
建议关注VMamba在移动端芯片（如高通、联发科）上的推理优化，评估其替代MobileNet或EfficientNet的可行性；可探索与云服务商合作，提供基于VMamba的视觉API服务，降低客户计算成本。
未来需关注VMamba在大规模数据集（如ImageNet-21K、JFT-300M）上的扩展性验证，以及与其他视觉架构（如ViT、CNN）的混合模型效果，同时观察其在下游任务（如视频理解、多模态）中的泛化能力。