机器学习在各个科学领域的快速采用，需要开发最佳实践和学术领域商定的基准任务和指标。
近日，剑桥大学Janosh Riebesel，劳伦斯伯克利国家实验室Kristin A. Persson等，在Nature Machine Intelligence上发文，将Matbench Discovery作为机器学习能量模型的示例评估框架，并作为预过滤器应用于稳定无机晶体的高通量搜索中的第一性原理计算数据。
还解决了（1）热力学稳定性和形成能量与（2）材料发现的回顾性和前瞻性基准之间脱节。除了这篇论文，还发布了程序Python包，以助力未来的模型提交和不断增长的在线排行榜，并具有各种性能指标的自适应用户自定义加权，研究人员优先考虑他们最重视的指标。
在材料发现方面，为了回答哪种机器学习方法表现最好的问题，最初发布的版本包括随机森林、图神经网络、一次性预测器、迭代贝叶斯优化器和通用原子间势。强调了常用的回归指标，以及更多与任务相关材料发现分类指标之间的不一致。如果这些准确的预测位于凸包上方每原子0eV处的决策边界附近，则准确的回归量容易受到意外的高假阳性率的影响。
基准结果表明，在未来高通量材料数据库的扩展中，普适原子间势已经足够先进，可以有效且廉价地预先筛选热力学稳定的预设材料。
A framework to evaluate machine learning crystal stability predictions.机器学习晶体稳定性预测评估。
图1:在Matbench发现中，如何使用数据的概述。
图2:精确度和召回率，作为验证的模型预测数量函数。
图3:普适势Universal potentials是更可靠的分类器，因为最早退出红三角。
该项研究，报道了Matbench Discovery框架，系统评估了机器学习（ML）预测晶体稳定性的性能，解决了材料发现中模型评估的长期难题。还测试了13种主流ML模型（包括图神经网络、随机森林等），发现通用原子间势（UIP）模型在稳定性分类任务中表现最优，其发现稳定材料的效率比随机筛选高5倍以上，为高通量材料筛选提供了新范式。Riebesell, J., Goodall, R.E.A., Benner, P. et al. A framework to evaluate machine learning crystal stability predictions. Nat Mach Intell 7, 836–847 (2025).
https://doi.org/10.1038/s42256-025-01055-1声明：仅代表译者观点，如有不科学之处，请在下方留言指正！
