Medical SAM 2: Segment medical images as video via Segment Anything Model 2：将医学图像分割统一为视频跟踪问题，实现2D/3D通用分割
2024年8月，研究团队提出MedSAM-2，将SAM 2的流式记忆机制应用于医学图像分割，将所有2D和3D任务视为视频对象跟踪。创新自排序记忆库动态选择高置信度、低相似度的嵌入，实现3D分割性能提升及2D单提示多图像分割。在5个2D和9个3D任务上超越SOTA，包括细胞、器官、肿瘤等。
Development
- First ReportMedical SAM 2: Segment medical images as video via Segment Anything Model 2：将医学图像分割统一为视频跟踪问题，实现2D/3D通用分割arXiv cs.AI
- Current AssessmentMedSAM-2有望统一医学图像分割流程，减少针对不同模态和任务开发专用模型的需求。在临床工作流中，可降低标注成本（单提示即可分割整个3D扫描）。对影像科、病理科、放疗科均有应用潜力，尤其适合需要跨模态分割的医院。Agent Pulse · analysis
MedSAM-2巧妙地将医学图像分割转化为视频对象跟踪问题，利用SAM 2的流式记忆架构处理3D体积和2D序列。其自排序记忆库机制无需时序顺序即可选择信息量最大的嵌入，显著提升3D分割精度，并解锁2D场景下的单提示多图像分割能力。在14个任务上的全面评估表明，该方法在通用性上优于现有专用模型，为医学图像分割提供了统一解决方案。
MedSAM-2基于SAM 2的流式记忆Transformer，将3D医学扫描视为视频帧序列，2D多切片视为无时序视频。核心创新是自排序记忆库：根据置信度和相似度动态选择嵌入，而非按时间顺序存储。在3D任务（如肝脏肿瘤、肾肿瘤分割）中，Dice系数比nnU-Net高3-5%；在2D任务（如视盘分割）中，单提示即可分割多张图像。评估涵盖CT、MRI、病理等模态。局限性：对低对比度边界的分割仍不完美，且依赖SAM 2的预训练权重。
MedSAM-2有望统一医学图像分割流程，减少针对不同模态和任务开发专用模型的需求。在临床工作流中，可降低标注成本（单提示即可分割整个3D扫描）。对影像科、病理科、放疗科均有应用潜力，尤其适合需要跨模态分割的医院。
医学影像AI公司应评估MedSAM-2作为通用分割引擎，替代现有多个专用模型。建议与医院合作开展临床验证，重点测试3D器官分割和2D细胞分割场景。投资关注该技术对医学影像标注市场的颠覆潜力。
关注MedSAM-2在真实临床环境中的部署验证，包括推理速度（3D扫描需数秒）和与PACS系统的集成。需观察其对罕见病变的泛化能力，以及联邦学习版本是否可行。自排序记忆库的设计思路可能被其他医学视觉任务借鉴。