[[412546]]

量子計(jì)算 + 機(jī)器學(xué)習(xí)可以在分子模擬領(lǐng)域碰撞出什么火花？師從諾獎(jiǎng)得主的量子物理博士、機(jī)器學(xué)習(xí)大牛 Max Welling 將給出我們答案。

昨天，機(jī)器學(xué)習(xí)頂會(huì) ICML 公布了杰出論文獎(jiǎng)、時(shí)間檢驗(yàn)獎(jiǎng)等獎(jiǎng)項(xiàng)，Max Welling 等人 2011 年的一篇論文獲得時(shí)間檢驗(yàn)獎(jiǎng)，主題是「基于隨機(jī)梯度 Langevin 動(dòng)力學(xué)的貝葉斯學(xué)習(xí)」。這一獎(jiǎng)項(xiàng)表明，Max Welling 等人的工作對(duì)機(jī)器學(xué)習(xí)社區(qū)產(chǎn)生了深遠(yuǎn)的影響。

拿獎(jiǎng)的喜悅還未沖散，Max Welling 又公布了一項(xiàng)重要消息：他將于今年 9 月 1 日以杰出科學(xué)家的身份加入微軟研究院，致力于分子模擬相關(guān)研究。

Max Welling 現(xiàn)為阿姆斯特丹大學(xué)機(jī)器學(xué)習(xí)研究主席和高通技術(shù)副總裁，兼任加拿大高等研究院（CIFAR）高級(jí)研究員。此外，他還是阿姆斯特丹大學(xué)附屬公司 Scyfer B.V.（致力于深度學(xué)習(xí)研究，2017 年夏被高通收購(gòu)）的聯(lián)合創(chuàng)始人。

Max Welling 透露，他此番變動(dòng)是要去領(lǐng)導(dǎo)微軟在阿姆斯特丹新建的一個(gè)實(shí)驗(yàn)室。在那里，他將組建一支多樣化的研究和工程團(tuán)隊(duì)，主攻分子模擬問(wèn)題。

為什么是分子模擬？Max Welling 解釋說(shuō)：

因?yàn)槭澜缟铣穗姶帕?、重力和其他一些更奇異的力之外，幾乎所有物理的東西都是由分子組成的。然而，由于自然界是符合量子力學(xué)的，我們無(wú)法在經(jīng)典計(jì)算機(jī)上準(zhǔn)確地模擬它們。隨著機(jī)器學(xué)習(xí)（如等變圖神經(jīng)網(wǎng)絡(luò)）技術(shù)不斷取得突破，以及量子計(jì)算和經(jīng)典計(jì)算能力的不斷提升，我期望我們?cè)谙乱粋€(gè)十年能夠取得非常顯著的進(jìn)展。

隨著我們對(duì)分子和化學(xué)反應(yīng)理解的加深，這一方向潛在的應(yīng)用領(lǐng)域也越來(lái)越多，如改進(jìn)對(duì)抗疾病的藥物，尋找服務(wù)于綠色技術(shù)的高效催化劑以及開(kāi)發(fā)具有驚人性能的新材料。

可以看出，分子模擬已經(jīng)成為 Max Welling 的主要研究興趣所在。

關(guān)于新實(shí)驗(yàn)室的進(jìn)展，Max Welling 透露說(shuō)，目前他們已經(jīng)招募到了一號(hào)員工——來(lái)自谷歌 AI 的研究科學(xué)家 Rianne van den Berg。

在入職微軟的同時(shí)，Max Welling 還將繼續(xù)擔(dān)任阿姆斯特丹大學(xué)的教授，指導(dǎo)學(xué)生和博士后。

Max Welling：一個(gè)師從諾獎(jiǎng)得主的量子物理學(xué)博士

和一般機(jī)器學(xué)習(xí)研究者不同，Max Welling 并不是計(jì)算機(jī)專(zhuān)業(yè)科班出身，而是在世界頂尖公立研究型大學(xué)——荷蘭烏得勒支大學(xué)學(xué)了 11 年的物理，而且導(dǎo)師是荷蘭理論物理學(xué)家、1999 年諾貝爾物理學(xué)獎(jiǎng)得主 Gerard 't Hooft。

1999 年，Hooft 和他的老師韋爾特曼因 70 年代作出的「闡明物理學(xué)中電弱相互作用的量子結(jié)構(gòu)」方面的理論研究成就而獲得諾貝爾物理學(xué)獎(jiǎng)。他們的計(jì)算理論使粒子物理有了更牢固的數(shù)學(xué)基礎(chǔ)，尤其是可以用他們的理論來(lái)更精確計(jì)算物理量。

在 Hooft 的指導(dǎo)下，Max Welling 于 1998 年拿到了量子物理學(xué)博士學(xué)位。

之后，Max Welling 曾先后在加州理工學(xué)院（1998-2000）、倫敦大學(xué)學(xué)院（2000-2001）和多倫多大學(xué)（2001-2003）擔(dān)任博士后研究員。2003-2013 年，他歷任加州大學(xué)歐文分校的助理教授、副教授和教授。2012 年，他開(kāi)始擔(dān)任阿姆斯特丹大學(xué)的教授和機(jī)器學(xué)習(xí)研究主席。在學(xué)術(shù)成就方面，Max Welling 的論文被引量達(dá)到了 5 萬(wàn)多次，h 指數(shù)高達(dá) 79。

2016 年，Max Welling 與其在阿姆斯特丹大學(xué)指導(dǎo)的博士生 Thomas Kipf（2020 年畢業(yè)，現(xiàn)為谷歌大腦研究科學(xué)家）共同提出了圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的重要成果——圖自編碼器（GAE），相關(guān)論文在NIPS 2016 Workshop上展示。

圖自編碼器（GAE）可用于圖結(jié)構(gòu)數(shù)據(jù)中的無(wú)監(jiān)督學(xué)習(xí)和鏈接預(yù)測(cè)，它的主要組件是基于圖神經(jīng)網(wǎng)絡(luò)的編碼器和基于成對(duì)評(píng)分函數(shù)重建圖鏈接的解碼器。之后，二人又進(jìn)一步提出了 GAE 的模型變體——變分 GAE（variational GAE）。GAE 和變分 GAE 非常適合沒(méi)有節(jié)點(diǎn)標(biāo)簽情況下的圖表示學(xué)習(xí)。

論文鏈接：https://arxiv.org/pdf/1609.02907.pdf

2017 年，Max Welling 加入了高通，擔(dān)任技術(shù)副總裁。任職期間，他參與了量化、無(wú)監(jiān)督學(xué)習(xí)和量子 AI 等方面的研究。在去年的一篇文章中，Max Welling 介紹了他們?cè)诹孔?AI 研究領(lǐng)域的一些成果，比如他們開(kāi)發(fā)了量子形變二值神經(jīng)網(wǎng)絡(luò)，支持在量子計(jì)算機(jī)上運(yùn)行大型經(jīng)典神經(jīng)網(wǎng)絡(luò)，或在經(jīng)典計(jì)算機(jī)上進(jìn)行高效模擬?；诖?，高通研究人員將這一經(jīng)典神經(jīng)網(wǎng)絡(luò)變形并集成量子效應(yīng)，而且該網(wǎng)絡(luò)仍能高效訓(xùn)練和運(yùn)行。這也是首個(gè)用于真實(shí)數(shù)據(jù)的量子二值神經(jīng)網(wǎng)絡(luò)。由此可見(jiàn)，Max Welling 在物理學(xué)，尤其是量子物理領(lǐng)域的積累已經(jīng)幫助他在機(jī)器學(xué)習(xí)領(lǐng)域取得了一些成就。

機(jī)器學(xué)習(xí)、量子物理、化學(xué)、分子生物學(xué)將如何碰撞

對(duì)于 Max Welling 加入微軟研究院并擔(dān)任新建阿姆斯特丹實(shí)驗(yàn)室的負(fù)責(zé)人，微軟研究院劍橋?qū)嶒?yàn)室主任 Chris Bishop 表示了熱烈歡迎。和 Max Welling 類(lèi)似，Chris Bishop 也是一位有著深厚物理學(xué)背景的計(jì)算機(jī)科學(xué)家，他在英國(guó)愛(ài)丁堡大學(xué)拿到了理論物理學(xué)博士學(xué)位，研究方向是量子場(chǎng)論。

在兩人的一次訪(fǎng)談中，他們結(jié)合共同的物理學(xué)背景以及對(duì)分子模擬的愿景，探討了機(jī)器學(xué)習(xí)和量子計(jì)算在模擬分子領(lǐng)域的應(yīng)用前景、機(jī)器學(xué)習(xí)在模擬分子領(lǐng)域提供所需數(shù)據(jù)的能力、以及阿姆斯特丹實(shí)驗(yàn)室第一年和之后的發(fā)展愿景。

在訪(fǎng)談中，Chris Bishop 認(rèn)為 Max Welling 所有令人矚目的研究都與分子模擬直接相關(guān)，這是微軟研究院劍橋?qū)嶒?yàn)室一直以來(lái)非常感興趣的領(lǐng)域，也成為了微軟研究院邀請(qǐng) Max Welling 出任阿姆斯特丹實(shí)驗(yàn)室 leader 的初衷。

Max Welling 也表示自己已經(jīng)努力將研究方向轉(zhuǎn)向分子模擬領(lǐng)域。他更想將之后的職業(yè)生涯致力于氣候變化，其中計(jì)算化學(xué)是解決諸多挑戰(zhàn)的關(guān)鍵所在。微軟這個(gè)大平臺(tái)可以為自己提供大量可用的計(jì)算基礎(chǔ)設(shè)施。

Chris Bishop 對(duì)此表示贊同，并認(rèn)為分子模擬將在解決氣候?yàn)?zāi)難中發(fā)揮重要作用。

至于什么是分子模擬，當(dāng)前分子模擬研究為何如此激動(dòng)人心、與機(jī)器學(xué)習(xí)又存在哪些關(guān)聯(lián)，兩人進(jìn)行了深入探討。Chris Bishop 認(rèn)為機(jī)器學(xué)習(xí)將像影響計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言理解那樣對(duì)分子模擬領(lǐng)域產(chǎn)生重大影響。機(jī)器學(xué)習(xí)、量子物理、化學(xué)和分子生物學(xué)的結(jié)合將在包括但不限于氣候變化的眾多領(lǐng)域具有巨大的應(yīng)用前景。

Max Welling 也描述了分子研究的美妙之處，他表示除了光和其他一些無(wú)法真正看到的力（force），我們周邊的一切都是由分子組成的，但卻沒(méi)能真正地理解它們，也無(wú)法真正地預(yù)測(cè)它們的特性。因此，如果我們開(kāi)始更好地理解分子，則很多相關(guān)應(yīng)用就變得觸手可及。比如，我們可以通過(guò)設(shè)計(jì)更好的催化器來(lái)助力氫經(jīng)濟(jì)、設(shè)計(jì)新藥等。微軟研究院在這個(gè)方向的研究上已經(jīng)做了很多。

Chris Bishop 也列舉了微軟研究院在藥物挖掘領(lǐng)域所做的努力，比如與藥物公司展開(kāi)積極合作、研究機(jī)器學(xué)習(xí)如何影響藥物發(fā)現(xiàn)過(guò)程等等。微軟研究院一直在做的很多工作都用到了由實(shí)驗(yàn)數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)，并且致力于從蛋白質(zhì)分子折疊以及與其他蛋白質(zhì)相互作用的量子物理學(xué)第一原理模擬中創(chuàng)建數(shù)據(jù)。此外，微軟研究院還對(duì)藥物發(fā)現(xiàn)和更廣泛的生命科學(xué)領(lǐng)域感興趣，如對(duì) COVID-19 的研究。

Chris Bishop 還提到，Max Welling 最出名的工作是在機(jī)器學(xué)習(xí)中研究不變性（invariances）和等變性（equivariances）。這些又與分子模擬遇到的挑戰(zhàn)存在哪些關(guān)系呢？

Max Welling 解釋說(shuō)，在物理學(xué)中要考慮對(duì)稱(chēng)性，幾乎所有的物理學(xué)理論都是圍繞對(duì)稱(chēng)性建立的。事實(shí)上，整個(gè)標(biāo)準(zhǔn)模型都是由粒子組成的，粒子是根據(jù)對(duì)稱(chēng)變換來(lái)組織的。他和同事也想在神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)這一原則，事實(shí)上卷積神經(jīng)網(wǎng)絡(luò)在某種程度上已經(jīng)實(shí)現(xiàn)了。

「神經(jīng)網(wǎng)絡(luò)大體上有這么個(gè)想法，如果你把一只貓從一個(gè)地方移到另一個(gè)地方（translation），神經(jīng)網(wǎng)絡(luò)的輸出要么是不變的（ invariant），即貓還是貓；如果你在圖像左邊或右邊看到貓或者對(duì)它做圖像分割，則分割 mask 應(yīng)隨著貓移動(dòng)（equivariance）。我們?cè)谒伎既绾螖U(kuò)大這些原理的應(yīng)用范圍，比如將物體旋轉(zhuǎn)，預(yù)測(cè)結(jié)果應(yīng)該還是不變的（invariant）。顛倒的貓終究還是貓，對(duì)吧？這對(duì)于分子模擬來(lái)說(shuō)尤其重要，因?yàn)槿绻阈D(zhuǎn)一個(gè)分子，你仍然會(huì)認(rèn)為它的性質(zhì)和你在其他方向看到它時(shí)的性質(zhì)是一樣的，并且把這個(gè)歸納偏置，即先驗(yàn)知識(shí)，構(gòu)建到你的模型中，這就是我們最近一直在做的。我們把它構(gòu)建成所謂的圖神經(jīng)網(wǎng)絡(luò)，你可以把原子看作是圖中的節(jié)點(diǎn)，而原子之間的相互作用是邊，這些原子互相發(fā)送信息，這和做卷積很相似。所以，在那個(gè)圖神經(jīng)網(wǎng)絡(luò)中，我們讓它們?cè)诮?jīng)歷旋轉(zhuǎn)后保持某種對(duì)稱(chēng)，然后用它描述分子，這是非常成功的。有趣的是，你可以通過(guò)數(shù)據(jù)集來(lái)預(yù)測(cè)這些分子的性質(zhì)，而這些預(yù)測(cè)是驚人的準(zhǔn)確?，F(xiàn)在，整個(gè)社區(qū)開(kāi)始意識(shí)到這一領(lǐng)域在未來(lái)可能產(chǎn)生重大影響?！?/p>

兩人在對(duì)稱(chēng)性將在機(jī)器學(xué)習(xí)領(lǐng)域扮演重要角色這一點(diǎn)上達(dá)成了一致。那么，量子計(jì)算又會(huì)對(duì)分子模擬產(chǎn)生哪些影響呢？

Max Welling 認(rèn)為，分子本質(zhì)上屬于量子系統(tǒng)，特別是電子通過(guò)量子力學(xué)得到了很好的描述。量子計(jì)算機(jī)在某種意義上也是一種自然的量子模擬。我們可以將量子計(jì)算機(jī)看作某種量子實(shí)驗(yàn)或者量子模擬。人們認(rèn)為第一個(gè)實(shí)際的量子計(jì)算應(yīng)用將出現(xiàn)在模擬量子力學(xué)領(lǐng)域?，F(xiàn)在，量子計(jì)算仍處于初步階段，真正可用的量子計(jì)算有希望在 10 多年后出現(xiàn)?，F(xiàn)階段，我們可以首先使用一些噪聲更多的量子設(shè)備，利用量子計(jì)算來(lái)建模分子，其中量子計(jì)算與機(jī)器學(xué)習(xí)的協(xié)同合作最令人興奮。

除了探討機(jī)器學(xué)習(xí)、量子計(jì)算與分子建模的技術(shù)融合以及發(fā)展前景之外，兩人還就阿姆斯特丹實(shí)驗(yàn)室的一些情況做了分享。

Max Welling 表示阿姆斯特丹是一座適宜居住和工作的城市，人才交流頻繁。實(shí)驗(yàn)室將招聘優(yōu)秀的研究人員，組建一支多樣化的團(tuán)隊(duì)，并與劍橋?qū)嶒?yàn)室團(tuán)隊(duì)展開(kāi)合作等。未來(lái)幾年，他希望可以構(gòu)建一個(gè)預(yù)測(cè)分子特性的系統(tǒng)，可以生成具有某些特性的分子，以及在巨大的空間中搜索這些分子。

未來(lái) 10 年，Max Welling 希望可以解決「理解分子」的問(wèn)題，并能夠即時(shí)設(shè)計(jì)新材料，比如設(shè)計(jì)新的催化劑來(lái)賦能綠色經(jīng)濟(jì)。他還希望能夠?yàn)楝F(xiàn)在無(wú)法治療的各種疾病設(shè)計(jì)新藥。