DiffDock分子对接性能被传统方法超越：公平对比揭示数据泄露问题
2024年12月，加州大学旧金山分校团队发表论文，对DiffDock与Surflex-Dock、Glide等传统分子对接方法进行公平比较。在已知结合位点条件下，Surflex-Dock Top-1成功率68%，Top-5成功率81%，而DiffDock仅45%和51%。DiffDock的训练集包含98%的PDBBind 2020数据，测试集来自2019年后，其中超过一半的测试案例在训练集中存在近邻结构，导致性能虚高。
Development
- First ReportDiffDock分子对接性能被传统方法超越：公平对比揭示数据泄露问题arXiv cs.AI
- Current Assessment该结果对AI制药行业产生直接影响：依赖DiffDock进行虚拟筛选的公司可能需要重新评估其可靠性。传统对接方法（如Surflex-Dock、Glide）在计算成本可控的情况下仍具竞争力。同时，研究强调了数据划分和公平对比的重要性，推动行业建立更严格的评估标准。Agent Pulse · analysis
该研究揭示了深度学习分子对接方法DiffDock的性能被严重高估，其成功很大程度上依赖于训练数据中的近邻记忆，而非真正的泛化能力。传统对接方法在公平对比下表现更优。这一发现对AI药物发现领域具有警示意义，提醒社区在评估模型时需严格避免数据泄露，并重视传统方法的持续改进。
研究采用完全自动化的Surflex-Dock工作流，在已知和未知结合位点两种条件下与DiffDock对比。已知位点条件下，Surflex-Dock Top-1成功率68%（RMSD<2Å），Glide为67%，AutoDock Vina和Gnina类似。DiffDock仅45%。进一步分析发现，DiffDock的训练集（PDBBind 2020中98%的结构）与测试集（剩余2%）存在大量近邻：测试集363个案例中，超过一半在训练集中有同源性>90%的配体-蛋白复合物。对于这些近邻案例，DiffDock成功率达65%，而非近邻案例仅25%，差距40个百分点。这表明DiffDock主要依赖记忆而非物理化学原理。
该结果对AI制药行业产生直接影响：依赖DiffDock进行虚拟筛选的公司可能需要重新评估其可靠性。传统对接方法（如Surflex-Dock、Glide）在计算成本可控的情况下仍具竞争力。同时，研究强调了数据划分和公平对比的重要性，推动行业建立更严格的评估标准。
建议AI制药公司重新审视其分子对接流程，将传统方法作为基线，并严格检查深度学习模型的训练-测试数据重叠。对于采购AI药物发现平台的企业，应要求供应商提供公平对比结果，避免被夸大的性能指标误导。
关注后续研究是否提出更严谨的分子对接基准，以及深度学习模型能否通过改进训练策略（如去重、增加物理约束）真正超越传统方法。此外，该论文的方法论可推广至其他AI for Science领域，提醒社区警惕数据泄露导致的性能虚高。