SAM 2: Segment Anything in Images and Videos：统一图像与视频分割的基础模型，实时处理能力与交互效率大幅提升
2024年8月，Meta发布SAM 2，将图像与视频分割统一为流式记忆Transformer架构。通过数据引擎收集最大视频分割数据集，在视频分割中仅需先前方法1/3的交互次数即达更高精度，图像分割比SAM快6倍且更准确。开源模型、数据集及代码。
Development
- First ReportSAM 2: Segment Anything in Images and Videos：统一图像与视频分割的基础模型，实时处理能力与交互效率大幅提升arXiv cs.AI
- Current AssessmentSAM 2统一了图像与视频分割，将极大简化视觉AI系统的开发流程。在自动驾驶中，可同时处理单帧检测与多帧跟踪；在视频编辑中，实现实时对象分割与替换；在医学影像中，支持3D扫描的逐帧分割。其开源策略将加速行业应用落地，降低中小企业的技术门槛。Agent Pulse · analysis
SAM 2将图像与视频分割统一为单一基础模型，采用流式记忆Transformer实现实时视频处理。其数据引擎通过用户交互迭代改进模型与数据，收集了迄今最大的视频分割数据集。在视频分割中，SAM 2以更少交互达到更高精度；在图像分割中，比SAM快6倍且更准确。这一统一范式将显著降低视觉分割系统的开发与部署成本，推动自动驾驶、视频编辑、医学影像等领域的应用。
SAM 2的核心创新在于将图像与视频分割统一为可提示的流式记忆Transformer架构。模型包含图像编码器、记忆注意力模块和掩码解码器，其中记忆注意力模块通过存储和检索历史帧的嵌入实现时序一致性，支持实时视频处理。训练采用大规模数据引擎，通过用户交互循环收集标注，最终数据集包含超过5000万掩码。评估显示，在DAVIS、YouTube-VOS等视频基准上，SAM 2以3倍更少交互达到更高mAP；在COCO等图像基准上，AP比SAM高2.4且速度快6倍。局限性包括对快速运动和小目标的处理仍有提升空间。
SAM 2统一了图像与视频分割，将极大简化视觉AI系统的开发流程。在自动驾驶中，可同时处理单帧检测与多帧跟踪；在视频编辑中，实现实时对象分割与替换；在医学影像中，支持3D扫描的逐帧分割。其开源策略将加速行业应用落地，降低中小企业的技术门槛。
建议计算机视觉团队立即评估SAM 2替换现有分割管线，尤其在视频编辑、自动驾驶感知等场景。可基于开源模型开发垂直行业解决方案，如工业质检中的实时缺陷分割。投资关注Meta的开放生态可能催生的第三方工具链。
关注SAM 2在边缘设备上的部署效率（如手机、无人机），以及针对特定领域（如医学、遥感）的微调版本。其数据引擎模式可能被其他视觉任务借鉴。需观察模型在长视频、复杂遮挡场景下的稳定性，以及商业化许可条款对行业的影响。