DeepMind團(tuán)隊(duì)最新的Nature論文，竟出現(xiàn)嚴(yán)重的漏洞。

來自倫敦大學(xué)的化學(xué)教授Robert Palgrave在網(wǎng)上公開揭露，論文在材料表征方面存在非常嚴(yán)重的問題。

更離譜的是，Palgrave發(fā)現(xiàn)AI制作了3次已有90年歷史的化合物，而且還弄錯(cuò)了成分。

這篇在11月29日刊登在Nature的論文「An autonomous laboratory for the accelerated synthesis of novel materials」，主要是由UC伯克利、勞倫斯伯克利國(guó)家實(shí)驗(yàn)室、谷歌DeepMind的團(tuán)隊(duì)聯(lián)合完成。

論文中，僅用了17天時(shí)間，AI便實(shí)現(xiàn)了，在58種預(yù)測(cè)材料中，合成了41種新材料。

論文地址：https://www.nature.com/articles/s41586-023-06734-w

究竟是哪些材料表征出現(xiàn)了問題？讓我們一探究竟。

漏洞分析

Palgrave教授在接下來的線程中，分析了自己的看法。

該論文報(bào)道了許多「新」化合物。它們顯示的唯一特征是粉末XRD，沒有成分分析。

但是，如果他們?cè)赬RD分析方面做得很好，也許沒關(guān)系？

為了清晰起見，如果你不習(xí)慣查看PXRD，則殘差（紅線）應(yīng)盡可能平坦。

該殘差比大多數(shù)峰值都要大。

即使結(jié)合其他表征，這也不可能是可靠的改進(jìn)。但作為唯一的形式？不可能。

下圖是Mg3MnNi3O8。這是一種六方晶系的「新」化合物，其陽離子排序非常有趣。

這里唯一的問題是，Mg6MnO8和Ni6MnO8是已知的化合物，并且是立方的。

事實(shí)上，這兩種化合物的固溶體，可能寫成Mg3MnNi3O8，在1995年就被報(bào)道了。

XRD愛好者們請(qǐng)看兩篇推文前的「新」、「六邊形」Mg3MnNi3O8的PXRD圖樣。它看起來非常立體，非常類似Fm-3m空間群。

我們沒有原始的XRD數(shù)據(jù)，但看起來這很可能是一個(gè)立方體圖案，但實(shí)際上這是28年前報(bào)道過的一種固溶體。

那么這個(gè)MnAgO2呢？擬合同樣很糟糕。

更糟的是,它在2021年就已經(jīng)被報(bào)道過了，而且實(shí)際上已經(jīng)被另一個(gè)高通量計(jì)算團(tuán)隊(duì)解決了結(jié)構(gòu)，存在ICSD數(shù)據(jù)庫(kù)中（本文中使用的數(shù)據(jù)庫(kù)）。

在來看看如何這兩種材料，不同的「新」材料。

它們看起來很相似，都含有Sb、Pb和O，顯然一個(gè)有Hf，另一個(gè)有Fe。

那么，是否有任何已知的Sb、Pb和O化合物。其實(shí)，早在1933年報(bào)道中，就提到了Sb2Pb2O7。

它與上述兩種「新」合物具有完全相同的模式。

ICSD上的收藏碼是24246

還有Sn2Sb2Pb4O13。

顯然，他們成功地制作了3次具有90年歷史的化合物，而3次都沒有意識(shí)到并弄錯(cuò)了成分。

又一個(gè)Sb2Pb2O7被錯(cuò)誤識(shí)別。

另一個(gè)實(shí)際上是Sb2Pb2O7，它的圖案是一樣的。

作者最新回應(yīng)

對(duì)于Robert Palgrave教授指出的問題，UC伯克利的教授Gerbrand Ceder對(duì)此做出了回應(yīng)：

最近，我們的團(tuán)隊(duì)發(fā)表了一篇介紹A-Lab的文章，A-Lab是一個(gè)用于人工智能驅(qū)動(dòng)的目標(biāo)化合物合成的自主實(shí)驗(yàn)室。這篇文章旨在證明，自主智能體可以根據(jù)文本挖掘的歷史合成數(shù)據(jù)和ab initio熱化學(xué)數(shù)據(jù)（如MaterialsProject），就如何合成給定材料做出決策。

文章發(fā)表后，Robert Palgrave教授在一系列推文中對(duì)文章的實(shí)驗(yàn)分析質(zhì)量提出了質(zhì)疑。

Robert Palgrave教授聲稱，對(duì)于我們工作中報(bào)告的所有5種MxSb4-xPb4O13化合物，A-Lab實(shí)驗(yàn)室的實(shí)驗(yàn)只得到了Sb2Pb2O7，這是基于它們衍射圖樣的相似性。在這篇文章中，我們提供了進(jìn)一步的實(shí)驗(yàn)證據(jù)，證明我們工作中的目標(biāo)化合物確實(shí)如論文中所說的那樣被成功合成了。

Robert Palgrave教授還認(rèn)為，我們提供的幾種化合物的Rietveld細(xì)化圖很差，含有很大的殘差。我們要澄清的是，我們工作的目的是展示自主實(shí)驗(yàn)室能夠?qū)崿F(xiàn)的成果，而不是展示人類A-Lab外部能夠做到的最好的成果。我們同意，自循環(huán)在這方面具有挑戰(zhàn)性，我們期待與科學(xué)界合作，進(jìn)一步改進(jìn)自動(dòng)化方法。

在回應(yīng)下面的文章鏈接中，Gerbrand Ceder具體澄清了Palgrave教授指出的問題。

Palgrave教授聲稱，對(duì)于論文中所有5種MxSb4-xPb4O13化合物，A-Lab的實(shí)驗(yàn)僅產(chǎn)生了Sb2Pb2O7，基于它們衍射圖譜的相似性。

然而，研究分析表明這是不正確的。作者提供了另外2條信息，以確認(rèn)這些化合物的成功合成：

1. 對(duì)于每個(gè)樣品，作者提供EDS數(shù)據(jù)（圖A），表明附加元素（Hf、Zr、Sn、Fe和In）很好地?fù)饺肓俗罱K產(chǎn)品中。

2. 實(shí)驗(yàn)測(cè)量的XRD圖譜中峰位置的偏移與離子取代一致（圖B）。它們的位置與每個(gè)取代元素的離子半徑顯示出明顯的趨勢(shì)，并且與Palgrave教授提出的Sb2Pb2O7化合物明顯不同。

成功合成Hf2Sb2Pb4O13，Zr2Sb2Pb4O13，Sn2Sb2Pb4O13，F(xiàn)eSb3Pb4O13，和InSb3Pb4O13

更進(jìn)一步，更精確的表征總是可以增加任何合成樣品解釋的可信度，但EDS、XRD中一致的峰位移以及缺乏任何大量雜質(zhì)相的組合表明目標(biāo)相是成功制備的。

這正好反駁了Palgrave教授的斷言，即在每種情況下只合成了Sb2Pb2O7。

從靶向5種MxSb4-xPb4O13化合物的合成產(chǎn)物中獲得的掃描電子顯微鏡（SEM）圖像和能量色散光譜（EDS）圖

圖A顯示，所有新引入的陽離子（Fe、Hf、In、Sn和Zr）都保留在樣品中，在合成過程中沒有丟失。

元素似乎也均勻分布在顆粒中，幾乎沒有富含金屬的顆粒區(qū)域，這表明形成了包含所有前體元素（M、Sb、Pb、O）的材料，這些元素與研究的目標(biāo)MxSb4-xPb4O13一致。

靶向五種 MxSb4-xPb4O13 化合物的樣品放大XRD圖譜

在圖B中圖的右側(cè)，作者列出了八面體環(huán)境中每個(gè)新引入的元素（M）的香農(nóng)離子半徑。XRD中最大峰的位置與新引入元素的離子半徑成反比，表明它確實(shí)被摻入了靶材結(jié)構(gòu)中。較大的離子（如Hf4+ 和Zr4+）導(dǎo)致晶格的顯著膨脹，向較低角度的偏移證明了這一點(diǎn)。

較小的離子（如Fe3+）導(dǎo)致較少的膨脹，但仍與已知的參考相Sb2Pb2O7有很大不同。一個(gè)離子（In3+）似乎偏離了這一趨勢(shì)，但這只是因?yàn)樗诎胁慕Y(jié)構(gòu)InSb3Pb4O13中的濃度低于涉及M4+靶材的離子（例如Zr2Sb2Pb4O13）。

自動(dòng)化Rietveld改進(jìn)的質(zhì)量

Palgrave教授認(rèn)為，提供的幾種化合物的Rietveld細(xì)化圖很差，并且含有大量的殘差。

由于A-Lab以自動(dòng)化方式進(jìn)行分析，因此相位識(shí)別分兩步進(jìn)行。

首先，在每個(gè)合成步驟之后，ML算法執(zhí)行相鑒定，并提示樣品中可能存在的相。

最后，一旦得到相純度最高的樣品（當(dāng)然不一定是100%相純），就會(huì)根據(jù)這些ML提出的相進(jìn)行自動(dòng)提純。

除了需要人工干預(yù)的兩種模式外，本文提供的就是這種自動(dòng)程序的結(jié)果。我們毫不懷疑，人工可以對(duì)這些樣本進(jìn)行更高質(zhì)量的細(xì)化。

但是，研究的目標(biāo)是展示自主實(shí)驗(yàn)室所能達(dá)到的效果，而不是展示人類在A-Lab外部所能達(dá)到的最佳（或平均）效果。

合成化合物的新穎性：MnAgO2和Mg3Ni3MnO8

Palgrave教授指出，MnAgO2和Mg3Ni3MnO8并不是「新的」化合物。

研究人員同意這一評(píng)估。

這些化合物的結(jié)構(gòu)在早期版本的ICSD中不存在，我們根據(jù)ICSD進(jìn)行了檢查，并據(jù)此標(biāo)記了材料項(xiàng)目條目，但這兩個(gè)階段之前已經(jīng)在文獻(xiàn)中報(bào)道過。

我們確實(shí)想指出，A-Lab在其文獻(xiàn)衍生的訓(xùn)練集中沒有提供有關(guān)這些靶點(diǎn)合成的信息。

因此，這些合成嘗試仍將被視為「成功」，因?yàn)樵搶?shí)驗(yàn)室成功地合成了一種沒有合成配方信息的化合物。我們肯定會(huì)更新已發(fā)表的論文。