SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features：多语言视觉语言编码器统一训练配方，显著提升定位与密集预测
2025年2月提交。SigLIP 2是SigLIP的升级版，将图像-文本对比学习与字幕预训练、自监督损失（自蒸馏、掩码预测）和在线数据筛选统一到一个训练配方中。在零样本分类、图像-文本检索、VLM视觉特征提取上全面超越SigLIP。特别在定位和密集预测任务上有显著提升。支持多分辨率和原始宽高比输入。通过去偏技术改善多语言理解和公平性。发布ViT-B/L/So400m/g四个尺寸（86M至1B参数）。
发展脉络
- 首次出现SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features：多语言视觉语言编码器统一训练配方，显著提升定位与密集预测arXiv cs.AI
- 当前判断SigLIP 2将提升多模态搜索、视觉问答、图像生成等产品的质量。其多语言能力有助于全球化部署。定位和密集预测的改进对自动驾驶、机器人抓取、医学图像分割等场景有直接价值。开源模型可降低企业自研多模态系统的成本。Agent Pulse · 分析
SigLIP 2通过整合多种独立技术（字幕预训练、自监督、在线数据筛选）形成统一训练配方，在保持对比学习效率的同时大幅提升视觉编码器的语义理解、定位和密集预测能力。这为多模态模型（如VLM、图文检索系统）提供了更强的视觉骨干，尤其对需要细粒度空间理解的应用（如自动驾驶、医学影像）意义重大。
SigLIP 2在SigLIP的对比损失基础上，添加了字幕预训练（captioning）损失、自蒸馏（self-distillation）和掩码图像预测（masked prediction）损失。在线数据筛选根据训练动态调整数据分布。在COCO、Flickr30K等检索基准上，SigLIP 2比SigLIP提升2-3% Recall@1。在定位任务（如RefCOCO）上提升5%以上。多分辨率变体通过调整patch大小实现，保持原生宽高比。去偏技术通过重新采样减少地理和文化偏差。模型在400M和1B参数规模上达到SOTA。
SigLIP 2将提升多模态搜索、视觉问答、图像生成等产品的质量。其多语言能力有助于全球化部署。定位和密集预测的改进对自动驾驶、机器人抓取、医学图像分割等场景有直接价值。开源模型可降低企业自研多模态系统的成本。
建议多模态AI团队将SigLIP 2作为视觉编码器候选，在图文检索和视觉问答任务中对比CLIP和SigLIP。自动驾驶公司可评估其在BEV感知和障碍物检测中的定位精度。可考虑采购基于SigLIP 2的云API或私有化部署。
关注SigLIP 2在VLM（如LLaVA、Qwen-VL）中替换视觉编码器后的性能提升。其多分辨率特性可能成为下一代视觉编码器的标配。需观察去偏技术在实际应用中的公平性改善效果，以及是否被主流多模态框架集成。