最近科學(xué)界又出現(xiàn)一場(chǎng)爭(zhēng)論，故事的主角是DeepMind位于倫敦的研究中心于2021年12月發(fā)表的一篇Science論文，研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)可以用來(lái)訓(xùn)練并構(gòu)建比以前更精確的電子密度和相互作用圖，能夠有效解決傳統(tǒng)泛函理論中的系統(tǒng)誤差。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abj6511

文中提出的DM21模型準(zhǔn)確地模擬了復(fù)雜的系統(tǒng)，如氫鏈、帶電的DNA堿基對(duì)和二元過(guò)渡態(tài)。對(duì)量子化學(xué)領(lǐng)域來(lái)說(shuō)，可以說(shuō)是開(kāi)辟了一條通往精確的通用函數(shù)且可行的技術(shù)路線。

DeepMind的研究人員還放出了DM21模型的代碼，方便同行復(fù)現(xiàn)。

倉(cāng)庫(kù)鏈接：https://github.com/deepmind/deepmind-research

按照道理來(lái)說(shuō)，論文和代碼都公開(kāi)，還是發(fā)表在頂級(jí)期刊上，實(shí)驗(yàn)結(jié)果和研究結(jié)論基本上是可靠的。

但時(shí)隔八個(gè)月，來(lái)自俄羅斯和韓國(guó)的八位研究人員也在Science上發(fā)表了一篇科技評(píng)論，他們認(rèn)為DeepMind原始研究中存在問(wèn)題，即訓(xùn)練集和測(cè)試集可能存在重疊部分，導(dǎo)致實(shí)驗(yàn)結(jié)論不正確。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abq3385

如果質(zhì)疑屬實(shí)，那DeepMind這篇號(hào)稱(chēng)化學(xué)界重大技術(shù)突破的論文，神經(jīng)網(wǎng)絡(luò)取得的改進(jìn)可能都得歸功于數(shù)據(jù)泄露了。

不過(guò)DeepMind的反應(yīng)也很迅速，在該評(píng)論發(fā)表的同一天，立刻寫(xiě)了一篇回復(fù)表示反對(duì)，并表示強(qiáng)烈譴責(zé)：他們提出的觀點(diǎn)要么不正確，要么與論文的主要結(jié)論以及對(duì)DM21總體質(zhì)量的評(píng)估無(wú)關(guān)。

論文鏈接：https://www.science.org/doi/epdf/10.1126/science.abq4282

著名物理學(xué)家費(fèi)曼曾說(shuō)過(guò)，科學(xué)家就是要盡快證明自己是錯(cuò)誤的，唯有如此才能進(jìn)步。

雖然這次討論的結(jié)果還沒(méi)有定論，俄羅斯團(tuán)隊(duì)也沒(méi)有進(jìn)一步發(fā)表反駁文章，但該事件對(duì)人工智能領(lǐng)域的研究可能會(huì)產(chǎn)生更深遠(yuǎn)的影響：即該如何證明自己訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，真正理解了任務(wù)，而非只是記憶pattern？

研究問(wèn)題

化學(xué)是21世紀(jì)的中心科學(xué)（確信），比如設(shè)計(jì)具有指定特性的新材料，如生產(chǎn)清潔電力或開(kāi)發(fā)高溫超導(dǎo)體，都需要在計(jì)算機(jī)上對(duì)電子進(jìn)行模擬。

電子是控制原子如何結(jié)合形成分子的亞原子粒子，也負(fù)責(zé)固體中的電流流動(dòng)，了解電子在分子內(nèi)的位置可以大大有助于解釋其結(jié)構(gòu)、性質(zhì)和反應(yīng)性。

1926年，薛定諤提出薛定諤方程，能夠正確地描述波函數(shù)的量子行為。但用該方程來(lái)預(yù)測(cè)分子中的電子則顯得力不從心，因?yàn)樗械碾娮佣枷嗷ヅ懦?，需要跟蹤每個(gè)電子位置的概率，即使對(duì)于少量電子來(lái)說(shuō)也是一項(xiàng)非常復(fù)雜的任務(wù)。

 1960 年代出現(xiàn)了一項(xiàng)重大突破，當(dāng)時(shí)Pierre Hohenberg和Walter Kohn意識(shí)到?jīng)]有必要單獨(dú)跟蹤每個(gè)電子。相反，知道任何電子在每個(gè)位置的概率（即電子密度）就足以準(zhǔn)確計(jì)算所有相互作用。

在證明了上述理論后，Kohn獲得諾貝爾化學(xué)獎(jiǎng)，從而創(chuàng)立了密度泛函理論（density functional theory， DFT）

盡管 DFT 證明mapping存在，但50多年來(lái)，電子密度和相互作用能之間映射的確切性質(zhì)，即所謂的密度泛函仍然未知，必須進(jìn)行近似求解。

DFT本質(zhì)上還是一種求解薛定諤方程的方法，其準(zhǔn)確性取決于它的交換相關(guān)（exchange-correlation）部分。雖然DFT涉及一定程度的近似，但它是研究物質(zhì)在微觀層面如何以及為何以某種方式表達(dá)的唯一實(shí)用方法，因此已成為所有科學(xué)領(lǐng)域中使用最廣泛的技術(shù)之一。

多年來(lái)，研究人員提出了400多種精確度不同的近似函數(shù)，但所有這些近似都存在系統(tǒng)誤差，因?yàn)樗鼈儫o(wú)法捕捉精確泛函的某些關(guān)鍵數(shù)學(xué)特性。

一說(shuō)到學(xué)習(xí)近似函數(shù)，這不就是神經(jīng)網(wǎng)絡(luò)在干的事嗎？

 DeepMind在這篇論文里就是在分子數(shù)據(jù)和具有分?jǐn)?shù)電荷和自旋的虛構(gòu)系統(tǒng)上訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)DM 21 (DeepMind 21)，成功學(xué)習(xí)到了一個(gè)沒(méi)有系統(tǒng)錯(cuò)誤的泛函，能夠避免離域誤差(delocalization error)和自旋對(duì)稱(chēng)性破缺（spin symmetry breaking），可以更好地描述廣泛的化學(xué)反應(yīng)類(lèi)別。

 從原理上來(lái)說(shuō)，任何涉及電荷移動(dòng)的化學(xué)物理過(guò)程都容易出現(xiàn)離域誤差，任何涉及鍵斷裂的過(guò)程都容易出現(xiàn)自旋對(duì)稱(chēng)性破缺。而電荷運(yùn)動(dòng)和鍵斷裂是許多重要技術(shù)應(yīng)用的核心，但這些問(wèn)題也可能導(dǎo)致描述最簡(jiǎn)單分子（如氫）的官能團(tuán)出現(xiàn)大量定性失敗。

 模型搭建采用的是多層感知器（MLP），輸入為被占領(lǐng)的Kohn-Sham（KS）軌道的局部和非局部特征。

目標(biāo)函數(shù)包含兩個(gè)：一個(gè)是用于學(xué)習(xí)交換相關(guān)能本身的回歸損失，另一個(gè)是確保函數(shù)導(dǎo)數(shù)在訓(xùn)練后可用于自洽場(chǎng)（self-consistent field, SCF）計(jì)算的梯度正則化項(xiàng)。

對(duì)于回歸損失，研究人員用一個(gè)固定密度的數(shù)據(jù)集，代表了2235個(gè)反應(yīng)的反應(yīng)物和產(chǎn)物，通過(guò)最小二乘法目標(biāo)，訓(xùn)練網(wǎng)絡(luò)從這些密度映射到高準(zhǔn)確度的反應(yīng)能量，其中1161個(gè)訓(xùn)練反應(yīng)代表了小型主族H-Kr分子的原子化、電離、電子親和力和分子間結(jié)合能，1074個(gè)反應(yīng)代表了H-Ar原子的關(guān)鍵FC和FS密度。

訓(xùn)練后得到的模型DM21能夠在大型主族基準(zhǔn)的所有反應(yīng)上自洽地運(yùn)行，產(chǎn)生更準(zhǔn)確的分子密度。

真SOTA還是數(shù)據(jù)泄露？

DeepMind在訓(xùn)練DM21時(shí)，采用的數(shù)據(jù)是分?jǐn)?shù)電荷系統(tǒng)，比如帶有半個(gè)電子的氫原子。

為了證明DM21的優(yōu)越性，研究人員在一組拉伸二聚體（stretched dimers）上，稱(chēng)為bond-breaking benchmark(BBB)組，進(jìn)行測(cè)試。比如兩個(gè)氫原子相距很遠(yuǎn)，總共有一個(gè)電子。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)DM21泛函在BBB測(cè)試集上表現(xiàn)出出色的性能，超越了迄今為止所有測(cè)試的經(jīng)典DFT泛函和DM21m（與 DM21 訓(xùn)練相同，但在訓(xùn)練集中沒(méi)有分?jǐn)?shù)電荷）。

然后DeepMind在論文中宣稱(chēng)：DM21已經(jīng)了解分?jǐn)?shù)電荷系統(tǒng)背后的物理原理。

但仔細(xì)觀察就會(huì)發(fā)現(xiàn)BBB組中，所有二聚體都變得與訓(xùn)練組中的系統(tǒng)非常相似。實(shí)際上，由于電弱相互作用的局部性，原子相互作用僅在短距離處強(qiáng)，在此之外，兩個(gè)原子的行為基本上就好像它們沒(méi)有相互作用。

俄羅斯科學(xué)院澤林斯基有機(jī)化學(xué)研究所的研究組長(zhǎng)Michael Medvedev解釋說(shuō)，在某些方面，神經(jīng)網(wǎng)絡(luò)就像人類(lèi)一樣，他們更喜歡因?yàn)殄e(cuò)誤的原因得到正確的答案。因此，訓(xùn)練神經(jīng)網(wǎng)絡(luò)并不難，但你很難證明它已經(jīng)學(xué)習(xí)了物理定律，而非只是記住正確的答案。

因此，BBB 測(cè)試集不是一個(gè)合適的測(cè)試集：它不測(cè)試 DM21 對(duì)分?jǐn)?shù)電子系統(tǒng)的理解，對(duì)此類(lèi)系統(tǒng)的 DM21 處理的其他四個(gè)證據(jù)的徹底分析也沒(méi)有得出決定性的結(jié)論：只有它在 SIE4x4 集上的良好精度可能是可靠的。

俄羅斯的研究者也認(rèn)為，在訓(xùn)練集中使用分?jǐn)?shù)電荷系統(tǒng)并不是DeepMind工作中唯一的新穎之處。他們通過(guò)訓(xùn)練集將物理約束引入神經(jīng)網(wǎng)絡(luò)的想法，以及通過(guò)對(duì)正確化學(xué)勢(shì)的訓(xùn)練來(lái)賦予物理意義的方法，未來(lái)可能會(huì)廣泛用于神經(jīng)網(wǎng)絡(luò)DFT 泛函的構(gòu)建。

DeepMind回應(yīng)

對(duì)于Comment論文聲稱(chēng)的DM21對(duì)于訓(xùn)練集外預(yù)測(cè)分?jǐn)?shù)電荷（FC）和分?jǐn)?shù)自旋（FS）條件的能力在論文中沒(méi)有得到證明，這是基于訓(xùn)練集與斷鍵基準(zhǔn)BBB有約50%的重疊，以及其他泛化例子的有效性和準(zhǔn)確性得出的結(jié)論。

DeepMind不同意該分析，并認(rèn)為所提出的觀點(diǎn)要么不正確，要么與本文的主要結(jié)論和對(duì)DM21總體質(zhì)量的評(píng)估不相關(guān)，因?yàn)锽BB并不是論文中所展示的FC和FS行為的唯一例子。

 訓(xùn)練集和測(cè)試集之間的overlap是機(jī)器學(xué)習(xí)中值得關(guān)注的一個(gè)研究問(wèn)題：記憶意味著一個(gè)模型可以通過(guò)復(fù)制訓(xùn)練集中的例子在測(cè)試集上表現(xiàn)更好。

Gerasimov認(rèn)為DM21在BBB上的表現(xiàn)（包含有限距離的二聚體）可以通過(guò)復(fù)制FC和FS系統(tǒng)的輸出（即原子在無(wú)限分離極限時(shí)與二聚體匹配）得到很好的解釋。

 為了證明DM21的泛化超出了訓(xùn)練集，DeepMind研究人員還考慮H2+（陽(yáng)離子二聚體）和H2（中性二聚體）的原型BBB例子，可以得出結(jié)論：確切的exchange-correlation函數(shù)是非局部的；隨著距離的增加，返回一個(gè)常數(shù)記憶的值會(huì)導(dǎo)致BBB預(yù)測(cè)出現(xiàn)顯著錯(cuò)誤。