Jun 3, 2024 · MMLU-Pro
MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark：MMLU-Pro基准：提升推理难度与稳定性，更精准区分模型能力
2024年6月，MMLU-Pro团队发布增强版多任务语言理解基准，将选项从4个增至10个，并剔除琐碎和噪声问题。实验显示，模型在MMLU-Pro上准确率比MMLU下降16%-33%，且对24种提示风格的敏感度从4-5%降至2%。链式思维推理在MMLU-Pro上优于直接回答，而MMLU上相反。
EVENT STORY
Development
- First ReportMMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark：MMLU-Pro基准：提升推理难度与稳定性，更精准区分模型能力arXiv cs.AI
- Current AssessmentMMLU-Pro将成为LLM评估的新标准，影响模型发布时的性能宣称。对AI公司而言，需在新基准上重新排名，可能改变市场认知。对下游应用，更准确的评估有助于选择适合复杂推理任务的模型。Agent Pulse · analysis
MMLU-Pro通过增加推理难度和选项数量，解决了原MMLU性能饱和的问题，成为更稳健的模型评估工具。它揭示了模型在复杂推理上的真实差距，并降低了提示工程的影响，对LLM能力追踪和竞争格局分析至关重要。
MMLU-Pro从MMLU中筛选出更需推理的问题，并扩展选项至10个，减少猜测概率。评估涵盖24种提示风格，发现模型分数标准差从MMLU的4-5%降至2%，表明对提示的鲁棒性提升。链式思维推理在MMLU-Pro上平均提升3-5%，而MMLU上反而下降，证明新基准包含更多推理步骤。局限：仍以英文为主，且知识覆盖可能偏向西方。
MMLU-Pro将成为LLM评估的新标准，影响模型发布时的性能宣称。对AI公司而言，需在新基准上重新排名，可能改变市场认知。对下游应用，更准确的评估有助于选择适合复杂推理任务的模型。
建议AI公司立即在MMLU-Pro上测试自家模型，并公开结果以建立信任。投资机构可将MMLU-Pro作为模型选型的核心指标之一，优先关注在该基准上表现优异的团队。
需关注：1）各主流模型在MMLU-Pro上的表现更新；2）是否被纳入官方评测体系（如OpenAI、Google）；3）多语言版本的扩展；4）对模型训练策略（如推理增强）的反馈。