2023年6月1日 · LLaVA-Med
LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day：低成本构建生物医学多模态对话助手
该论文提出一种低成本方法，利用PubMed Central的图文对和GPT-4生成的指令数据，在15小时内训练出生物医学视觉语言对话助手LLaVA-Med，在三个标准生物医学VQA数据集上部分指标超越此前监督学习最优模型。
EVENT STORY
发展脉络
- 首次出现LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day：低成本构建生物医学多模态对话助手arXiv cs.AI
- 当前判断该工作为生物医学领域提供了一种可快速部署的多模态对话助手方案，有望降低医疗影像分析、临床决策支持等场景的AI应用成本，推动精准医疗和远程诊疗的发展。Agent Pulse · 分析
LLaVA-Med通过课程学习策略，先利用图文对对齐生物医学词汇，再用GPT-4生成的指令数据学习开放对话，实现了高效训练。该方法显著降低了生物医学多模态AI的开发门槛，仅需8张A100 GPU和一天时间。
LLaVA-Med采用两阶段课程学习：第一阶段使用PubMed Central的60万图文对进行特征对齐，第二阶段使用GPT-4从图文对生成的指令数据微调。模型基于通用视觉语言模型，通过自指令方法生成开放问答数据。评估在三个VQA数据集上进行，部分指标超越此前最佳监督模型，但未报告所有指标均领先。
该工作为生物医学领域提供了一种可快速部署的多模态对话助手方案，有望降低医疗影像分析、临床决策支持等场景的AI应用成本，推动精准医疗和远程诊疗的发展。
建议医疗AI公司评估LLaVA-Med在影像报告生成、患者咨询等场景的落地潜力，可考虑与医院合作进行试点，利用其低成本优势快速构建原型产品。
未来需在真实临床环境中验证LLaVA-Med的实用性，并探索更高效的指令数据生成方法，减少对GPT-4的依赖。同时，模型在罕见病和复杂病例上的表现有待进一步评估。