Mar 14, 2024 · Huawei Noah's Ark Lab
LocalMamba: Visual State Space Model with Windowed Selective Scan：LocalMamba：基于窗口选择性扫描的视觉状态空间模型
2024年3月提交。LocalMamba提出一种局部扫描策略，将图像划分为窗口以捕获局部依赖，并动态为每层搜索最优扫描模式。在ImageNet上，LocalMamba以相同1.5G FLOPs比Vim-Ti高出3.1%的准确率。代码已开源。
EVENT STORY
Development
- First ReportLocalMamba: Visual State Space Model with Windowed Selective Scan：LocalMamba：基于窗口选择性扫描的视觉状态空间模型arXiv cs.AI
- Current Assessment该技术为视觉任务提供了一种高效的状态空间模型方案，有望替代Transformer和CNN成为新的主流架构。对移动端和边缘设备上的视觉应用（如自动驾驶、无人机）尤其有利，因为Mamba具有线性计算复杂度。开源代码将加速社区研究和工业部署。Agent Pulse · analysis
该工作针对视觉Mamba（ViM）中扫描方向优化问题，提出窗口化局部扫描和逐层动态搜索方法，显著提升了视觉状态空间模型的性能。其核心洞察是：保留局部2D依赖对视觉任务至关重要，且不同层对扫描模式有不同偏好。这为Mamba在视觉领域的应用提供了关键改进，使其性能超越同等规模的CNN和ViT。
传统ViM将图像展平为一维序列，破坏了局部空间结构。LocalMamba引入窗口扫描，在每个窗口内按光栅顺序扫描，窗口间按顺序连接，从而保持局部连续性。此外，通过可微分搜索方法为每层独立选择最优扫描方向（如水平、垂直、对角线等），搜索空间包含多种模式。实验在ImageNet分类、COCO检测等任务上验证，LocalMamba在相同FLOPs下优于Vim和Swin Transformer等基线。
该技术为视觉任务提供了一种高效的状态空间模型方案，有望替代Transformer和CNN成为新的主流架构。对移动端和边缘设备上的视觉应用（如自动驾驶、无人机）尤其有利，因为Mamba具有线性计算复杂度。开源代码将加速社区研究和工业部署。
建议AI芯片和边缘计算公司评估LocalMamba的硬件友好性，考虑将其作为视觉处理单元的核心算子。视觉产品团队可尝试将其替换现有模型中的骨干网络，以降低计算成本。
未来需关注LocalMamba在更大规模数据集和下游任务（如分割、视频理解）上的表现，以及窗口大小和搜索策略的自动化。此外，与多模态模型的结合也是潜在方向。