Jan 17, 2024 · Vim
Vision Mamba: 双向状态空间模型实现高效视觉表示学习
提出Vim骨干网络，用双向Mamba块替代自注意力机制，在ImageNet分类、COCO检测和ADE20K分割任务上超越DeiT，且高分辨率推理速度提升2.8倍，GPU内存节省86.8%。
EVENT STORY
Development
- First ReportVision Mamba: 双向状态空间模型实现高效视觉表示学习arXiv cs.AI
- Current Assessment为高分辨率图像实时处理（如自动驾驶、医学影像）提供了高效替代方案，有望推动视觉基础模型从Transformer向SSM架构迁移，降低部署成本。Agent Pulse · analysis
该工作首次将Mamba状态空间模型成功应用于视觉领域，通过双向处理机制和位置嵌入，在保持线性复杂度的同时实现了全局上下文建模，性能与Transformer相当但效率显著提升。
Vim将图像分割为序列并添加位置嵌入，通过双向SSM（前向+后向）捕捉空间依赖，避免自注意力的二次复杂度。在ImageNet-1K分类上达到84.2% top-1准确率，COCO检测mAP 48.7，ADE20K分割mIoU 47.3，均优于DeiT-S。但未在更大规模数据集或视频任务上验证，且双向设计可能增加延迟。
为高分辨率图像实时处理（如自动驾驶、医学影像）提供了高效替代方案，有望推动视觉基础模型从Transformer向SSM架构迁移，降低部署成本。
建议在边缘设备或高吞吐服务中评估Vim替换ViT，例如用于实时视频分析或移动端图像分类，可降低算力需求。
需验证在视频理解、多模态任务上的扩展性，以及更大模型（Vim-L）的性能；关注是否被后续工作（如VMamba）超越。