理化諾獎(jiǎng)、人工智能與知識(shí)領(lǐng)域的融合
引言
近期的發(fā)展標(biāo)志著人工智能領(lǐng)域的一個(gè)激動(dòng)人心的時(shí)期。2024年諾貝爾物理學(xué)獎(jiǎng)授予了約翰·霍普菲爾德（John Hopfield）和杰弗里·辛頓（Geoffrey Hinton），以表彰他們在人工智能領(lǐng)域的奠基性工作；而化學(xué)獎(jiǎng)則頒給了大衛(wèi)·貝克（David Baker）、德米斯·哈薩比斯（Demis Hassabis）和約翰·瓊珀（John Jumper），以表彰他們利用人工智能解決蛋白質(zhì)折疊問題的成就——這是科學(xué)界長達(dá)50年的重大挑戰(zhàn)。
隨著人工智能在物理學(xué)和化學(xué)中的應(yīng)用獲得認(rèn)可，機(jī)器學(xué)習(xí)從業(yè)者可能會(huì)好奇這些科學(xué)領(lǐng)域與人工智能的關(guān)系，以及這些獎(jiǎng)項(xiàng)可能對他們的工作產(chǎn)生怎樣的影響。
神經(jīng)網(wǎng)絡(luò)的歷史發(fā)展
通過審視人工智能發(fā)展的歷史，我們可以更好地理解計(jì)算機(jī)科學(xué)、理論化學(xué)、理論物理學(xué)和應(yīng)用數(shù)學(xué)之間的相互聯(lián)系。從歷史視角來看，這些學(xué)科中的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明共同推動(dòng)了現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)的發(fā)展。
神經(jīng)網(wǎng)絡(luò)領(lǐng)域的最早工作可追溯至麥卡洛克（McCulloch）和皮茨（Pitts），他們在1943年提出了一個(gè)使用簡單二值邏輯表示神經(jīng)元的模型。他們的研究表明，神經(jīng)元能夠?qū)崿F(xiàn)諸如AND、OR和NOT等基本邏輯運(yùn)算，為現(xiàn)代神經(jīng)網(wǎng)絡(luò)奠定了基礎(chǔ)。然而，他們并未解決生物神經(jīng)元網(wǎng)絡(luò)中學(xué)習(xí)或存儲(chǔ)長期記憶的機(jī)制問題。許多計(jì)算機(jī)科學(xué)家熟悉這些早期的邏輯模型，這些模型為今天復(fù)雜的神經(jīng)決策過程提供了概念基礎(chǔ)。
1949年，唐納德·赫布（Donald Hebb）提出了“赫布學(xué)習(xí)”的原理，即神經(jīng)元如果在時(shí)間上反復(fù)或接近地共同激發(fā)，其連接會(huì)得到增強(qiáng)。20世紀(jì)50年代末，弗蘭克·羅森布拉特（Frank Rosenblatt）在神經(jīng)網(wǎng)絡(luò)研究中取得了重大進(jìn)展，他提出了“感知機(jī)”這一術(shù)語，并開發(fā)了理論模型和硬件實(shí)現(xiàn)。羅森布拉特的感知機(jī)引入了非二值輸入和可訓(xùn)練的神經(jīng)元權(quán)重，大大增加了神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的靈活性。
然而，1969年，馬文·明斯基（Marvin Minsky）和西摩·帕珀特（Seymour Papert）在其影響深遠(yuǎn)的著作《感知機(jī)》中指出了一個(gè)關(guān)鍵的局限性：沒有可訓(xùn)練隱藏單元的網(wǎng)絡(luò)無法解決非線性可分問題，例如異或（XOR）函數(shù)或檢測衛(wèi)星圖像中的螺旋結(jié)構(gòu)。盡管這一發(fā)現(xiàn)最初令人沮喪，但最終激勵(lì)了人工智能界集中解決訓(xùn)練含隱藏單元網(wǎng)絡(luò)的挑戰(zhàn)，進(jìn)而發(fā)展出了反向傳播算法，其中包括杰弗里·辛頓等人的重要貢獻(xiàn)。同時(shí)，理論物理學(xué)、化學(xué)和應(yīng)用數(shù)學(xué)領(lǐng)域的研究者也在探索神經(jīng)網(wǎng)絡(luò)對現(xiàn)實(shí)現(xiàn)象（包括脈沖生物神經(jīng)元行為）的建模，進(jìn)一步豐富了這一領(lǐng)域的跨學(xué)科特性。
我們可以將早期對現(xiàn)實(shí)神經(jīng)元建模的努力追溯到杰克·科萬（Jack Cowan）和天利·甘（Shun’ichi Amari），他們的研究將原本用于動(dòng)物種群動(dòng)態(tài)的Volterra捕食-獵物方程推廣并應(yīng)用于脈沖神經(jīng)元的建模。幾十年來，科萬在神經(jīng)元的統(tǒng)計(jì)力學(xué)領(lǐng)域不斷取得進(jìn)展，而甘的神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)和學(xué)習(xí)算法的開創(chuàng)性工作至今仍然對現(xiàn)代機(jī)器學(xué)習(xí)產(chǎn)生深遠(yuǎn)影響。
關(guān)鍵突破與挑戰(zhàn)
約翰·霍普菲爾德（John Hopfield）的研究帶來了一個(gè)概念性突破，他提出了一個(gè)簡化的神經(jīng)元模型，并將其與理論物理學(xué)和化學(xué)中的伊辛模型（Ising model）聯(lián)系起來【譯者注：請見物理諾獎(jiǎng)、統(tǒng)計(jì)力學(xué)與大模型】。
霍普菲爾德在1982年發(fā)表的經(jīng)典論文中提出了霍普菲爾德聯(lián)想記憶模型（Hopfield associative memory model），這一模型成為神經(jīng)網(wǎng)絡(luò)研究的基石。該模型展示了神經(jīng)元網(wǎng)絡(luò)如何通過能量最小化來存儲(chǔ)和檢索模式，其動(dòng)態(tài)由能量函數(shù)控制。這種與能量的聯(lián)系使模型能夠穩(wěn)定地收斂到與存儲(chǔ)記憶對應(yīng)的穩(wěn)定狀態(tài)，從而成為神經(jīng)網(wǎng)絡(luò)理論與理論物理學(xué)中自旋玻璃理論之間的關(guān)鍵紐帶。
熟悉自旋玻璃理論的理論物理學(xué)家發(fā)展出新的學(xué)習(xí)理論，與計(jì)算機(jī)科學(xué)中更為人熟知的統(tǒng)計(jì)學(xué)習(xí)理論形成了競爭性的視角【譯者注：請見?Spin-Transformer數(shù)據(jù)雕刻自旋玻璃】。這些理論為當(dāng)代問題提供了重要見解，并對理解諸如大語言模型（LLMs）和擴(kuò)散模型等具有廣泛意義。例如，深度神經(jīng)網(wǎng)絡(luò)（DNNs）中的“雙降現(xiàn)象”（double descent）首次在理論物理學(xué)文獻(xiàn)中通過感知機(jī)學(xué)習(xí)模型的研究被發(fā)現(xiàn)。
霍普菲爾德的聯(lián)想記憶模型展示了一種類似于神經(jīng)網(wǎng)絡(luò)“幻覺”的現(xiàn)象。在神經(jīng)科學(xué)中，這一模型甚至被用于研究視覺幻覺?；羝辗茽柕屡c泰倫斯·塞伊諾夫斯基（Terrence Sejnowski）結(jié)合模擬退火（simulated annealing）與自旋玻璃模型的思想，提出了玻爾茲曼機(jī)（Boltzmann machine）。這一方法使得無監(jiān)督學(xué)習(xí)成為可能，通過訓(xùn)練數(shù)據(jù)中的規(guī)律創(chuàng)建內(nèi)部模型，而無需輸入輸出對。這一工作更加深入地借鑒了物理學(xué)和熱力學(xué)系統(tǒng)的類比【譯者注：請見降低大模型幻覺的必由之路】。
在監(jiān)督學(xué)習(xí)領(lǐng)域，為克服明斯基與帕珀特的批評，辛頓及許多研究者繼續(xù)致力于多層神經(jīng)網(wǎng)絡(luò)及隱藏單元的研究。1986年，大衛(wèi)·魯梅爾哈特（David Rumelhart）和詹姆斯·麥克萊蘭德（James McClelland）編輯出版的兩卷本《并行分布式處理》（Parallel Distributed Processing）成為探索神經(jīng)網(wǎng)絡(luò)領(lǐng)域的青年研究者和學(xué)生的必讀經(jīng)典，為聯(lián)結(jié)主義研究奠定了重要參考基礎(chǔ)。辛頓與魯梅爾哈特及羅納德·威廉姆斯（Ronald Williams）在20世紀(jì)80年代共同推動(dòng)了反向傳播法在人工智能界的普及。盡管許多人因其僅適用于“玩具問題”而放棄了這條研究路線，辛頓始終堅(jiān)持不懈，最終隨著計(jì)算能力的爆炸性增長和新算法變體的開發(fā)，得到了驗(yàn)證。
當(dāng)然，今天的神經(jīng)網(wǎng)絡(luò)遠(yuǎn)比最初的霍普菲爾德聯(lián)想記憶模型或20世紀(jì)80年代基于反向傳播的模型復(fù)雜得多。盡管深度學(xué)習(xí)在解決許多過去難以攻克的機(jī)器學(xué)習(xí)和人工智能問題方面取得了巨大進(jìn)步，我們依然缺乏基本理論來解釋其為何有效。在實(shí)際應(yīng)用中，大語言模型的不穩(wěn)定性和不可預(yù)測性仍是從業(yè)者面臨的一大難題。然而，通過重新審視統(tǒng)計(jì)物理學(xué)中的舊模型，人們?nèi)〉昧艘恍┻M(jìn)展。例如，馬丁（Martin）【譯者注：作者本人】和馬霍尼（Mahoney）在2021年提出的重尾自正則化（HTSR）理論，可以在無需檢查訓(xùn)練或測試數(shù)據(jù)的情況下檢測神經(jīng)網(wǎng)絡(luò)各層是否已收斂。
HTSR理論被實(shí)現(xiàn)為開源的、無需數(shù)據(jù)的診斷工具WeightWatcher。通過WeightWatcher，我們可以深入觀察現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)表現(xiàn)最好的模型顯示出一種驚人的普適性，這與HTSR理論的預(yù)測一致：層權(quán)重矩陣特征值的經(jīng)驗(yàn)分布尾部收斂到冪律（PL）分布，其冪律指數(shù)α約為2。在上圖中，我們展示了VGG19最后一層權(quán)重矩陣的特征值在對數(shù)-對數(shù)坐標(biāo)下的直方圖，以及與冪律分布的擬合?！咀g者注：近期類似的研究可以參考推演大模型局限與發(fā)展脈絡(luò)第三部分】
這種普遍行為表明，可能存在一種尚未發(fā)現(xiàn)的、更為基礎(chǔ)的普適計(jì)算過程支配著深度神經(jīng)網(wǎng)絡(luò)（DNN）的訓(xùn)練。雖然我們尚不理解這一看似普遍現(xiàn)象的起源，但其觀察結(jié)果暗示，可能存在一種新的物理學(xué)理論有待發(fā)現(xiàn)，它或許包含統(tǒng)計(jì)力學(xué)的某些元素，但以一種全新的方式進(jìn)行整合。
工程先于科學(xué)
工程的發(fā)展往往先于科學(xué)理解。例如，蒸汽機(jī)、汽車、船舶和火車的研發(fā)遠(yuǎn)早于我們對其底層動(dòng)力學(xué)的深入理解。早期的蒸汽機(jī)容易爆炸，引發(fā)火災(zāi)，甚至導(dǎo)致船只沉沒。直到熱力學(xué)的出現(xiàn)，我們才真正理解如何控制和優(yōu)化這些復(fù)雜機(jī)器。這一科學(xué)基礎(chǔ)最終促使內(nèi)燃機(jī)的改進(jìn)，并為當(dāng)今如SpaceX火箭的先進(jìn)技術(shù)鋪平了道路。
加密貨幣的快速發(fā)展和廣泛應(yīng)用進(jìn)一步說明了工程如何能夠超越科學(xué)理解。這些數(shù)字資產(chǎn)徹底改變了金融交易并引發(fā)了全球現(xiàn)象，而這一切都發(fā)生在其行為和影響的全面理論框架確立之前。
另一個(gè)近期的諾貝爾獎(jiǎng)——化學(xué)獎(jiǎng)——?jiǎng)t表明，即使在缺乏完整理論理解的情況下，人工智能也能幫助解決一些最具挑戰(zhàn)性的科學(xué)問題。通過破解蛋白質(zhì)折疊問題，約翰·瓊珀（John Jumper）和德米斯·哈薩比斯（Demis Hassabis）為生物學(xué)和醫(yī)學(xué)領(lǐng)域的突破性發(fā)現(xiàn)鋪平了道路。他們與AlphaFold的工作展示了AI的變革潛力，不僅能夠解決復(fù)雜難題，還能加速多個(gè)科學(xué)領(lǐng)域的進(jìn)步。
乍一看，AlphaFold似乎憑空而來，但事實(shí)上，蛋白質(zhì)折疊問題的研究與理論物理學(xué)、化學(xué)和人工智能有著深厚的淵源。實(shí)際上，瓊珀的博士論文是一個(gè)結(jié)合物理學(xué)與人工智能的混合模型（使用辛頓提出的有限玻爾茲曼機(jī)對比散度算法訓(xùn)練），能夠處理蛋白質(zhì)折疊和動(dòng)態(tài)問題。早期的統(tǒng)計(jì)力學(xué)方法結(jié)合了AI的經(jīng)驗(yàn)數(shù)據(jù)，通過對快速側(cè)鏈運(yùn)動(dòng)進(jìn)行平均來實(shí)現(xiàn)。這是通過使用類似于限制玻爾茲曼機(jī)的算法擬合蛋白質(zhì)數(shù)據(jù)銀行（PDB）的參數(shù)來完成的。然而，這些計(jì)算極其耗費(fèi)資源，需要使用世界上最大的超級(jí)計(jì)算機(jī)。通過結(jié)合理論、實(shí)驗(yàn)數(shù)據(jù)與人工智能，瓊珀的早期工作為最終在AlphaFold中取得的驚人成果奠定了重要基礎(chǔ)。
神經(jīng)網(wǎng)絡(luò)的早期研究者們認(rèn)識(shí)到了計(jì)算模型中大規(guī)模并行性的潛力。然而，由于當(dāng)時(shí)技術(shù)的限制，這一概念的全面實(shí)現(xiàn)一直難以達(dá)成。當(dāng)時(shí)的計(jì)算硬件，由于CPU的速度較慢且缺乏GPU等專用處理器，在大規(guī)模實(shí)現(xiàn)并行架構(gòu)方面面臨巨大限制。盡管如此，這一領(lǐng)域在理論基礎(chǔ)方面取得了關(guān)鍵進(jìn)展。分布式編碼的引入標(biāo)志著范式的轉(zhuǎn)變，從局部化表示轉(zhuǎn)向更為魯棒和靈活的分布式激活模式。這種方法允許神經(jīng)網(wǎng)絡(luò)進(jìn)行更為細(xì)膩和語境敏感的信息處理。同樣具有變革意義的是反向傳播算法的發(fā)展，它使網(wǎng)絡(luò)能夠基于預(yù)測與實(shí)際輸出之間的差異調(diào)整內(nèi)部參數(shù)。盡管這一算法計(jì)算密集，卻為訓(xùn)練多層網(wǎng)絡(luò)提供了強(qiáng)有力的機(jī)制，為硬件能力趕上理論愿景的深度學(xué)習(xí)革命鋪平了道路。
當(dāng)我們回顧神經(jīng)網(wǎng)絡(luò)領(lǐng)域的歷史挑戰(zhàn)與突破時(shí)，思考這些進(jìn)步如何塑造了我們對周圍世界的理解至關(guān)重要。這種計(jì)算思維的演變促使我們重新審視宇宙的基石，將我們的視野拓展到傳統(tǒng)科學(xué)邊界之外。這種擴(kuò)展視野促使我們探索一種新的概念方式，將當(dāng)代的基本構(gòu)成塊與我們對自然的理解交匯起來。
自然基石的演變
我們可以將世界的基本架構(gòu)概念化為由三種主要基石或基礎(chǔ)“ABC”組成的三位一體：“原子”，即物質(zhì)的基本單元；“比特”，即信息的最小不可分單元；以及“細(xì)胞”，生命的基本元素。人類對自然核心組成部分的探索經(jīng)歷了重要演變，從原子這一有形領(lǐng)域和細(xì)胞的生物學(xué)范疇，逐步過渡到比特這一抽象但無所不在的領(lǐng)域。這一轉(zhuǎn)變標(biāo)志著科學(xué)研究范式的轉(zhuǎn)型，信息作為一個(gè)核心焦點(diǎn)逐漸凸顯，并與我們對物質(zhì)和生命的理解相輔相成、相互交融。
將比特作為信息的基本單位的引入，催生了一個(gè)嶄新的跨學(xué)科研究和探索的時(shí)代，有效地削弱了傳統(tǒng)科學(xué)學(xué)科之間的界限。這場數(shù)字革命為解決各領(lǐng)域長期存在的問題提供了創(chuàng)新的方法。例如，生物信息學(xué)結(jié)合了計(jì)算機(jī)科學(xué)與分子生物學(xué)，用于分析人類基因組；計(jì)算語言學(xué)運(yùn)用統(tǒng)計(jì)模型來解讀人類語言的復(fù)雜性。在氣候科學(xué)領(lǐng)域，大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法處理大量環(huán)境信息數(shù)據(jù)集，從而提升預(yù)測精度并深入理解全球氣候現(xiàn)象。
此外，許多當(dāng)代案例進(jìn)一步說明了比特這一概念如何作為統(tǒng)一原則連接不同學(xué)科，并加速針對復(fù)雜、多維挑戰(zhàn)的創(chuàng)新解決方案。比特的引入不僅改變了科學(xué)的運(yùn)作方式，還推動(dòng)了跨領(lǐng)域合作和解決問題的新思維方式，使我們能夠以前所未有的速度和深度探索自然界的奧秘。
詩人和理工科精英的融合
人文學(xué)科、文科與傳統(tǒng)上定量化的領(lǐng)域（如STEM）在教育與實(shí)踐中往往是彼此分離的。盡管這些領(lǐng)域之間一直存在某種程度的互動(dòng)，但由于語言模型和聊天機(jī)器人等技術(shù)的推動(dòng)，我們正在見證更深層次的融合。這些工具能夠?qū)?fù)雜技術(shù)文本簡化為更易理解的版本，同時(shí)還支持對人文學(xué)科中的定性數(shù)據(jù)進(jìn)行分析和可視化。這種融合鼓勵(lì)來自全球各地的多樣化團(tuán)隊(duì)通過真實(shí)體驗(yàn)和問題解決來學(xué)習(xí)，例如，本文作者之一（G.M.）教授的許多以AI和數(shù)據(jù)為主題的項(xiàng)目式課程，就以體驗(yàn)式學(xué)習(xí)為核心。
諸如谷歌的NotebookLM之類的工具使得復(fù)雜文檔的摘要生成變得極為簡單，僅需輕輕一點(diǎn)，即可快速獲取信息。它們甚至能以播客的形式呈現(xiàn)內(nèi)容，為用戶提供簡明的概覽，使人們能夠更加高效地理解和利用信息。
行動(dòng)呼吁
在前行的道路上，必須認(rèn)識(shí)到不同方法的融合對現(xiàn)代生成式AI系統(tǒng)發(fā)展的重要性，例如基于反向傳播的深度學(xué)習(xí)和受物理學(xué)啟發(fā)的玻爾茲曼機(jī)的結(jié)合。
這種跨學(xué)科的方法不僅有益，而且在應(yīng)對未來許多復(fù)雜挑戰(zhàn)時(shí)至關(guān)重要。我們需要在保持務(wù)實(shí)態(tài)度的同時(shí)，充分利用當(dāng)前技術(shù)進(jìn)步的動(dòng)力。AI在多個(gè)領(lǐng)域的快速發(fā)展帶來了前所未有的機(jī)遇，同時(shí)也帶來了重大的挑戰(zhàn)。要彌合技術(shù)炒作與實(shí)際成果之間的差距，我們必須培養(yǎng)新一代的跨學(xué)科思考者，即當(dāng)代的AI通才。
這些現(xiàn)代版的達(dá)·芬奇將在開發(fā)工程師可直接應(yīng)用的實(shí)用學(xué)習(xí)理論方面發(fā)揮關(guān)鍵作用，推動(dòng)我們向人工通用智能（AGI）的宏偉目標(biāo)邁進(jìn)。這要求我們在科學(xué)探索和問題解決的方法上進(jìn)行范式轉(zhuǎn)變，擁抱整體性、跨學(xué)科的協(xié)作，并從自然中學(xué)習(xí)以理解自然?！咀g者注：回歸老子，道法自然】通過打破學(xué)科間的壁壘，培育一種跨領(lǐng)域的知識(shí)好奇文化，我們能夠?yàn)閼?yīng)對諸如氣候變化等復(fù)雜的全球性挑戰(zhàn)解鎖創(chuàng)新的解決方案。正是通過多元知識(shí)和視角的融合，在AI的催化作用下，我們才能開辟通往有意義進(jìn)步的道路，并充分實(shí)現(xiàn)技術(shù)愿景的潛力。
隨著AI的不斷發(fā)展，意識(shí)的前沿成為一個(gè)令人著迷的挑戰(zhàn)。這引發(fā)了關(guān)于意識(shí)是否可以完全通過原子、比特和細(xì)胞的交互作用來解釋，或者是否需要一個(gè)尚未發(fā)現(xiàn)的新元素的疑問。布魯姆等人的最新研究提出了一種全新的“有意識(shí)圖靈機(jī)”模型，這一模型表明，意識(shí)可能通過計(jì)算過程被理解并可能被復(fù)制，從而彌合傳統(tǒng)AI與自我意識(shí)之間的鴻溝。這一前沿展示了我們倡導(dǎo)的跨學(xué)科方法的必要性，將計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)、哲學(xué)、物理學(xué)和化學(xué)的洞見結(jié)合起來，共同探索AI和人類理解中最深刻的問題之一。
譯者注：
正如譯者在物理諾獎(jiǎng)、統(tǒng)計(jì)力學(xué)與大模型 中總結(jié)的：理化諾獎(jiǎng)都頒給AI學(xué)者，預(yù)示著學(xué)科的前沿邊界已經(jīng)非常模糊了。AI融匯了統(tǒng)計(jì)力學(xué)的思想，可以用來拓展人類的高維認(rèn)知。這與Charles H. Martin博士的觀點(diǎn)高度吻合。
今天跟同事學(xué)到一句話：執(zhí)一不失，能君萬物，即對事物本質(zhì)的道理執(zhí)著地堅(jiān)持，如是才能讓萬物為我所用。
原文：The recent Physics and Chemistry Nobel Prizes, AI, and the convergence of knowledge fields: Patterns ?https://www.cell.com/patterns/fulltext/S2666-3899(24)00271-X
