LLaVA: Visual Instruction Tuning：多模态指令微调的开源里程碑
2023年4月，LLaVA首次提出使用纯语言GPT-4生成多模态语言-图像指令数据，并基于此训练了一个端到端的大规模多模态模型（连接视觉编码器和LLM）。在Science QA上，LLaVA+GPT-4达到92.53%准确率，创下新纪录；在合成多模态指令跟随数据集上达到GPT-4的85.1%相对分数。
Development
- First ReportLLaVA: Visual Instruction Tuning：多模态指令微调的开源里程碑arXiv cs.AI
- Current AssessmentLLaVA开启了多模态对话模型的开源竞赛，直接影响了后续MiniGPT-4、mPLUG-Owl等工作。对于智能客服、教育、内容创作等行业，LLaVA提供了一种低成本构建多模态交互系统的方案。其数据生成方法也可用于自动构建垂直领域（如医疗、电商）的指令数据。Agent Pulse · analysis
LLaVA开创性地将NLP领域的指令微调范式引入多模态领域，证明了仅用语言模型生成的多模态数据就能有效训练视觉-语言模型。它降低了多模态模型对人工标注指令数据的依赖，使得构建通用视觉助手成为可能。LLaVA的代码、数据和模型全部开源，迅速成为多模态对话系统的基准框架。
LLaVA架构简单：使用CLIP视觉编码器提取图像特征，通过一个线性投影层将视觉token映射到LLM（Vicuna）的输入空间。训练分两阶段：第一阶段冻结视觉编码器和LLM，仅训练投影层对齐视觉和语言特征；第二阶段使用GPT-4生成的158K多模态指令数据微调整个模型（或仅投影层+LLM的LoRA）。关键创新在于数据生成：将图像描述和边界框信息转化为文本，让GPT-4基于这些文本生成类似人类的多轮对话。评估显示，LLaVA在视觉推理、OCR、对话等任务上表现优异，但存在幻觉问题。
LLaVA开启了多模态对话模型的开源竞赛，直接影响了后续MiniGPT-4、mPLUG-Owl等工作。对于智能客服、教育、内容创作等行业，LLaVA提供了一种低成本构建多模态交互系统的方案。其数据生成方法也可用于自动构建垂直领域（如医疗、电商）的指令数据。
建议产品团队基于LLaVA快速原型多模态对话功能，例如图像描述、图表问答、文档理解。可将其作为开源替代方案，避免依赖闭源API。同时，利用其数据生成方法构建领域特定指令集，提升模型在垂直场景的表现。
关注LLaVA的幻觉缓解、长视频理解扩展、以及与其他模态（音频、3D）的融合。其数据生成管道是否会被更高质量的人工标注数据取代，以及模型在安全性和偏见方面的表现。