MedHELM：医疗大模型全维度评估框架
2025年5月，斯坦福等机构发布MedHELM，一个由29位临床医生验证的医疗LLM评估框架，涵盖5大类、22子类、121项任务，整合35个基准（17个现有+18个新构建）。评估9个前沿LLM发现：推理模型（DeepSeek R1胜率66%，o3-mini胜率64%）表现最佳，但Claude 3.5 Sonnet以低40%计算成本达到可比性能。模型在临床笔记生成（0.73-0.85）和患者沟通（0.78-0.83）上表现强，在临床决策支持（0.56-0.72）和行政工作流（0.53-0.63）上较弱。LLM-jury评估方法与临床医生评分的一致性（ICC=0.47）超过临床医生间一致性（ICC=0.43）。
Development
- First ReportMedHELM：医疗大模型全维度评估框架arXiv cs.AI
- Current AssessmentMedHELM为医疗AI行业提供了标准化评估工具，有助于医疗机构和监管机构筛选适合临床场景的模型。其成本-性能分析直接指导采购决策：对于预算有限的医院，Claude 3.5 Sonnet可能是性价比最优选择。框架的开放性（开源）将推动更多医疗AI评估研究，加速行业规范化。Agent Pulse · analysis
MedHELM是目前最全面的医疗LLM评估基准，揭示了模型在真实临床任务中的显著性能差异。关键发现：推理模型虽整体领先，但Claude 3.5 Sonnet在成本效益上更优；所有模型在临床决策支持等核心任务上表现不足，说明当前LLM尚不能可靠辅助诊断。LLM-jury方法为自动化评估提供了新思路，其一致性甚至超过人类专家间的一致性。该框架为医疗AI的采购、部署和监管提供了科学依据。
MedHELM框架构建过程：(1) 由29位临床医生通过德尔菲法确定任务分类体系，覆盖5大类：临床笔记生成、患者沟通与教育、医学研究辅助、临床决策支持、行政与工作流。(2) 整合35个基准，其中18个为新构建，确保每个子类至少有一个基准。(3) 评估方法采用LLM-jury：多个LLM作为评审员对模型输出评分，取加权平均。结果显示LLM-jury与临床医生评分的一致性（ICC=0.47）优于传统自动指标（ROUGE-L 0.36，BERTScore-F1 0.44）和临床医生间一致性（0.43）。模型性能：推理模型在复杂推理任务上领先，但Claude 3.5 Sonnet在多数任务上以更低成本达到相近性能。
MedHELM为医疗AI行业提供了标准化评估工具，有助于医疗机构和监管机构筛选适合临床场景的模型。其成本-性能分析直接指导采购决策：对于预算有限的医院，Claude 3.5 Sonnet可能是性价比最优选择。框架的开放性（开源）将推动更多医疗AI评估研究，加速行业规范化。
建议医疗IT采购部门使用MedHELM框架评估候选LLM，重点关注临床决策支持子类得分。对于非关键任务（如临床笔记生成），可部署Claude 3.5 Sonnet以降低成本。对于诊断辅助等高风险场景，当前模型尚不成熟，建议暂缓部署或仅作为辅助参考。
关注MedHELM是否被FDA等监管机构采纳作为审批参考。需观察LLM-jury方法在更多医疗场景（如影像诊断）的泛化能力。模型在临床决策支持上的低分提示需要专门训练或微调，未来可能出现针对特定科室的专用医疗模型。