SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory：SAMURAI实现零样本视觉追踪，运动感知记忆提升鲁棒性
2024年11月提交。论文提出SAMURAI，基于SAM 2改进的零样本视觉追踪方法。通过引入运动感知记忆选择机制，在无需微调的情况下，在LaSOT_ext上AUC提升7.1%，GOT-10k上AO提升3.5%，达到与全监督方法竞争的性能。SAMURAI能处理拥挤场景、快速运动和自遮挡等挑战。
Development
- First ReportSAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory：SAMURAI实现零样本视觉追踪，运动感知记忆提升鲁棒性arXiv cs.AI
- Current Assessment对安防监控、自动驾驶、机器人视觉等领域，SAMURAI提供了无需标注即可部署的追踪方案，可快速集成到现有系统中。对视频编辑和AR/VR应用，可实现零样本目标跟踪和分割。对AI平台，展示了基础模型（SAM）通过轻量适配即可扩展至新任务的能力。Agent Pulse · analysis
SAMURAI将SAM 2从分割任务扩展到视觉追踪，解决了其固定窗口记忆导致误差传播的问题。运动感知机制利用时序运动线索预测目标位置并优化掩码选择，实现了实时、鲁棒的零样本追踪。这降低了追踪任务对大规模标注数据的依赖，为自动驾驶、视频监控等动态场景提供了即用型解决方案。
SAMURAI保留SAM 2的图像编码器和掩码解码器，但替换了记忆模块。其运动感知记忆选择机制：首先通过光流或帧差估计目标运动，然后根据运动置信度选择高质量记忆帧（而非固定窗口），最后用这些记忆帧的条件化特征指导当前帧掩码预测。实验在多个基准上验证，LaSOT_ext AUC 7.1%提升，GOT-10k AO 3.5%提升，且推理速度达实时（>30 FPS）。技术边界在于依赖运动估计质量，在极端运动模糊或遮挡下可能失效；且零样本性能仍低于某些领域微调方法。
对安防监控、自动驾驶、机器人视觉等领域，SAMURAI提供了无需标注即可部署的追踪方案，可快速集成到现有系统中。对视频编辑和AR/VR应用，可实现零样本目标跟踪和分割。对AI平台，展示了基础模型（SAM）通过轻量适配即可扩展至新任务的能力。
建议视频分析平台（如海康威视、大华）评估SAMURAI在监控场景中的零样本追踪效果，并考虑集成到产品中。投资可关注基于基础模型进行视觉任务适配的初创公司。
需关注在更多复杂场景（如低光照、多目标交互）下的表现；运动估计模块的轻量化；以及是否可扩展至多目标追踪。若性能进一步提升，可能替代传统追踪器成为默认方案。