Beyond Converging Representations: A Philosophical Response on the Interpretation Risks of Scientific Foundation Models：科学基础模型表征对齐的定量基准与通用性边界

该研究首次系统证明，不同模态和架构的科学模型（如分子、材料、蛋白质预测模型）在训练分布内学习到高度一致的物理现实表征，但分布外泛化时全部失效。这一发现为科学基础模型的通用性提供了定量度量——表征对齐度，并揭示了当前模型仍受限于训练数据和归纳偏置，尚未编码真正普适的物理规律。研究为模型选择、蒸馏和跨模态迁移提供了新工具，对AI for Science领域具有里程碑意义。

研究分析了近60个科学模型，包括字符串（如SMILES）、图神经网络、3D原子势函数和蛋白质模型，通过表征对齐度量（如CCA、Procrustes）比较其内部表示。关键发现：在训练分布内，高表现模型（如机器学习原子间势）的表征随性能提升而收敛，弱模型则发散到局部次优；但在分布外（如全新分子结构），几乎所有模型表征坍缩到低信息状态，表明缺乏真正的通用性。研究还识别出两个不同机制：训练分布内的高对齐和分布外的低信息坍缩。该方法可作为定量基准，用于评估科学基础模型的泛化能力，并指导模型蒸馏（选择表征对齐度高的模型进行迁移）。