今年 1 月份，2024 年度 IEEE 馮諾伊曼獎(jiǎng)項(xiàng)結(jié)果正式公布，斯坦福大學(xué)語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)教授、AI 學(xué)者克里斯托弗?曼寧（Christopher Manning）獲獎(jiǎng)。

曼寧教授是將深度學(xué)習(xí)應(yīng)用于 NLP 領(lǐng)域的早期領(lǐng)軍人物，在詞向量 GloVe 模型、注意力、機(jī)器翻譯、問(wèn)題解答、自監(jiān)督模型預(yù)訓(xùn)練、樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)、機(jī)器推理、依存解析、情感分析和總結(jié)等方面都有著名的研究。他還專注于解析、自然語(yǔ)言推理和多語(yǔ)言語(yǔ)言處理的計(jì)算語(yǔ)言學(xué)方法，目標(biāo)是讓計(jì)算機(jī)能夠智能地處理、理解和生成人類語(yǔ)言。

可以說(shuō)，在過(guò)去的四十多年里，他憑借對(duì)語(yǔ)言的終身熱愛(ài)，一直在探索如何彌合人類和計(jì)算機(jī)的語(yǔ)言鴻溝。

此外，他還是斯坦福大學(xué) Human-Centered 人工智能研究所（HAI）的共同創(chuàng)始人、以及 2024 年 IEEE John von Neumann 獎(jiǎng)?wù)芦@得者。

2024 年，曼寧教授獲得由 IBM 贊助的 IEEE John von Neumann 獎(jiǎng)?wù)?/span>

最近，他所在的斯坦福大學(xué)發(fā)布了一篇專題文章，介紹了他的學(xué)術(shù)探索之路。

NLP 領(lǐng)域的先驅(qū)

多年之后，曼寧教授仍記得自己想要研究語(yǔ)言的那一刻，并自述了當(dāng)時(shí)對(duì)語(yǔ)言學(xué)的啟蒙過(guò)程：

「有一天，在高中英語(yǔ)課上，我偶然發(fā)現(xiàn)了我老師的一本書(shū)，這本書(shū)涉及人類語(yǔ)言結(jié)構(gòu)和語(yǔ)言學(xué)，」他說(shuō)。「我開(kāi)始閱讀它，了解到了國(guó)際音標(biāo)，它提供了一套用于表示任何語(yǔ)言發(fā)音的通用符號(hào)。當(dāng)時(shí)，我已經(jīng)花了很多個(gè)小時(shí)學(xué)習(xí)英語(yǔ)單詞的拼寫(xiě)，為了拼寫(xiě)考試，其中的許多單詞在學(xué)習(xí)時(shí)都是很隨意且奇怪的。此外，我還學(xué)習(xí)了一些法語(yǔ)和拉丁語(yǔ)。這是我當(dāng)時(shí)看到的第一件能夠捕捉到語(yǔ)言學(xué)指導(dǎo)思想的事物，通過(guò)研究人類語(yǔ)言的共性并嘗試在所有人類語(yǔ)言中產(chǎn)生一種共同的科學(xué)，是可以實(shí)現(xiàn)有用成果的。這也是我第一次開(kāi)始作為本科生學(xué)習(xí)語(yǔ)言學(xué)的原因?！?/span>

四十年后，曼寧教授憑借對(duì)人類語(yǔ)言的持續(xù)熱愛(ài)，以及先驅(qū)式地致力于幫助計(jì)算機(jī)學(xué)習(xí)、理解和生成語(yǔ)言，他成為自然語(yǔ)言處理（NLP）和機(jī)器學(xué)習(xí)領(lǐng)域的著名開(kāi)創(chuàng)性人物。

斯坦福大學(xué)語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)教授 Dan Jurafsky 對(duì)曼寧教授的先驅(qū)生涯評(píng)價(jià)道：

「我會(huì)稱 Chris 為一個(gè)極其有影響力的人物，在自然語(yǔ)言處理領(lǐng)域可能是最有影響力的人物。他絕對(duì)是該領(lǐng)域獲得引用最多的人，幾十年的研究影響了包括我們最近的模型在內(nèi)的一切。每個(gè)自然語(yǔ)言處理的學(xué)者都知道他的作品。」

斯坦福大學(xué)語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)教授 Dan Jurafsky 與曼寧教授同時(shí)授業(yè)自然語(yǔ)言處理課程的合影。

曼寧教授在自然語(yǔ)言處理學(xué)術(shù)領(lǐng)域中的論文引用和 H-index

預(yù)見(jiàn)機(jī)器學(xué)習(xí)的轉(zhuǎn)變

曼寧出生在澳大利亞昆士蘭州的班達(dá)伯格市，他的父親在 Fairymead 糖廠工作，負(fù)責(zé)維護(hù)、設(shè)計(jì)和建造機(jī)械。到了上高中時(shí)，全家已經(jīng)搬到了澳大利亞首都堪培拉，他在那里得到了他的第一臺(tái)計(jì)算機(jī)：先是借用了一臺(tái) TRS-80，最終得到了一臺(tái) Commodore Amiga。

在 80 年代中期，作為一名在澳大利亞國(guó)立大學(xué)（ANU）學(xué)習(xí)語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)的本科生，曼寧已經(jīng)對(duì)這些領(lǐng)域的交叉點(diǎn)感到興奮，并逐漸確信：早期的 NLP 時(shí)代，即手寫(xiě)詞匯表和語(yǔ)法規(guī)則的時(shí)代，即將結(jié)束。

當(dāng)曼寧教授回憶起當(dāng)時(shí)場(chǎng)景時(shí)，他說(shuō)：「我開(kāi)始相信，正如我一直以來(lái)所相信的，我們需要做的是找到一種方法讓計(jì)算機(jī)學(xué)習(xí)東西，而不是為它們手寫(xiě)出語(yǔ)法、規(guī)則和詞匯表，我們應(yīng)該讓它們從語(yǔ)言數(shù)據(jù)中學(xué)習(xí)。最終，在我看來(lái)，我應(yīng)該嘗試了解更多關(guān)于計(jì)算語(yǔ)言學(xué) / 自然語(yǔ)言處理的知識(shí)，而在那時(shí)，美國(guó)正是去學(xué)習(xí)這些知識(shí)的地方。」

通過(guò)實(shí)踐學(xué)習(xí)

在日本短暫教授英語(yǔ)后，曼寧教授接受了澳大利亞國(guó)立大學(xué)（ANU）語(yǔ)言學(xué)導(dǎo)師 Avery Andrews 的建議，申請(qǐng)了斯坦福大學(xué)。

他為了應(yīng)對(duì)當(dāng)時(shí)該校并未提供自然語(yǔ)言處理（NLP）的課程這一情況，選擇作為語(yǔ)言學(xué)博士生入學(xué)，研究人類語(yǔ)言的句法，同時(shí)開(kāi)始在附近的 Xerox PARC 工作，在那里他學(xué)習(xí)了計(jì)算語(yǔ)言學(xué)，并與一群開(kāi)始使用數(shù)字文本進(jìn)行統(tǒng)計(jì) NLP 研究的人一起工作。

值得注意的是：這種數(shù)字文本當(dāng)時(shí)才剛剛開(kāi)始出現(xiàn)。

遠(yuǎn)在萬(wàn)維網(wǎng)出現(xiàn)之前，關(guān)于如何利用文本數(shù)據(jù)進(jìn)行語(yǔ)言學(xué)研究，曼寧教授提供了當(dāng)時(shí)他的視角：

「雖然這是在萬(wàn)維網(wǎng)之前的事情，但你開(kāi)始能夠獲得像報(bào)紙文章、議會(huì)記錄和法律材料這樣的文本，所以你可以找到幾百萬(wàn)字的文本，計(jì)算機(jī)中心會(huì)將這些數(shù)據(jù)寫(xiě)入 10.5 英寸的磁帶，然后將這些磁帶物理運(yùn)送給他們的客戶。像施樂(lè)（Xerox、IBM 和 AT&T 這樣從事計(jì)算語(yǔ)言學(xué)的公司可以從新聞機(jī)構(gòu)購(gòu)買這些磁帶，或者從允許他們使用數(shù)據(jù)的商業(yè)客戶那里獲得這些磁帶的訪問(wèn)權(quán)。這真的很令人興奮，因?yàn)檫@意味著我們第一次可以通過(guò)實(shí)際擁有大量文本數(shù)據(jù)來(lái)進(jìn)行語(yǔ)言學(xué)研究，我們可以搜索這些數(shù)據(jù)中的模式，嘗試自動(dòng)學(xué)習(xí)人類語(yǔ)言的結(jié)構(gòu)?！?/span>

在這段時(shí)間里，他對(duì) 1980 年代末開(kāi)始的關(guān)于概率機(jī)器學(xué)習(xí)模型的新工作也感到著迷，并洞察到了其潛力。這些統(tǒng)計(jì)模型是當(dāng)今機(jī)器學(xué)習(xí)的基本組成部分，它們考慮了現(xiàn)實(shí)世界數(shù)據(jù)固有的不確定性，并將之納入預(yù)測(cè)中，從而允許對(duì)復(fù)雜系統(tǒng)有更準(zhǔn)確的理解。

曼寧教授認(rèn)為他成功的關(guān)鍵是愿意迅速投入到他認(rèn)為將成功的重要新方法中。雖然他不是第一個(gè)看到從大量文本數(shù)據(jù)中學(xué)習(xí)并構(gòu)建這些語(yǔ)言的概率模型的潛力的人，但由于在職業(yè)生涯的早期就參與了這項(xiàng)工作，他才得以達(dá)成今天的成就。

關(guān)鍵的早期工作

完成博士學(xué)位后，他成為卡內(nèi)基梅隆大學(xué)（Carnegie Mellon University）第一位教授統(tǒng)計(jì) NLP 的教員，在兩年后選擇與妻子 Jane 一起返回澳大利亞，在悉尼大學(xué)教授語(yǔ)言學(xué)。

然而，到了 1999 年，他作為助理教授回到了斯坦福大學(xué)，同時(shí)在語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)系任職。1980 年代中期就已經(jīng)被積極探索的人工神經(jīng)網(wǎng)絡(luò)到了 2010 年，再次變得重要，曼寧教授再次擁抱了新技術(shù)的前景。

他強(qiáng)烈主張可以在自然語(yǔ)言處理中使用這些神經(jīng)網(wǎng)絡(luò)來(lái)理解句子，包括它們的結(jié)構(gòu)和含義，最終曼寧教授和他的學(xué)生真的推動(dòng)了這個(gè)想法，并成為這些神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言理解發(fā)展和使用中的關(guān)鍵。

在當(dāng)時(shí)，他開(kāi)始認(rèn)真地使用這些網(wǎng)絡(luò)來(lái)建模語(yǔ)言，著手構(gòu)建能夠解決語(yǔ)言理解問(wèn)題的系統(tǒng)，比如判斷某人所說(shuō)的是積極的還是消極的，并最終做了很多關(guān)于使用神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)人類語(yǔ)言的早期工作，這涉及到讓這些模型理解、生成和翻譯語(yǔ)言。

曼寧教授在 2010 年代關(guān)于將單詞表示為實(shí)數(shù)向量，以及使用簡(jiǎn)單的注意力函數(shù)對(duì)單詞之間的關(guān)系進(jìn)行建模的工作，成為了今天使用的像 ChatGPT 這樣的大型語(yǔ)言模型的前置基礎(chǔ)。

關(guān)于他對(duì)計(jì)算機(jī)科學(xué)的巨大貢獻(xiàn)，斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授 Percy Liang 表示：「今天，我們顯然應(yīng)該在 NLP 中使用深度學(xué)習(xí)，但在 2010 年代初，這個(gè)想法遭到了激烈的抵制。但他仍做了重要的早期工作，展示了深度學(xué)習(xí)如何比之前需要大量特征工程的機(jī)器學(xué)習(xí)模型工作得更好。這最終促使了我們今天認(rèn)為理所當(dāng)然的現(xiàn)代 NLP 系統(tǒng)的發(fā)展。Chris 有遠(yuǎn)見(jiàn)，思考了它最終將如何具有變革性?！?/span>

創(chuàng)建可訪問(wèn)的 NLP 軟件

曼寧教授至今的其他重要貢獻(xiàn)包括：一系列幫助定義計(jì)算語(yǔ)言學(xué)領(lǐng)域的教科書(shū)、在 YouTube 上的在線 CS224N 視頻課程、一個(gè)提供跨不同語(yǔ)言的一致性語(yǔ)法注釋的框架 ---Universal Dependencies、為理解語(yǔ)言結(jié)構(gòu)在語(yǔ)言處理中的作用的持續(xù)且必要的研究、以及致力于使 NLP 軟件對(duì)所有人可訪問(wèn)的早期承諾。

圖注；斯坦福 Online CS224N NLP 視頻課程

視頻課程鏈接：https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4

斯坦福大學(xué)語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)教授 Jurafsky 對(duì)在曼寧教授在神經(jīng)網(wǎng)絡(luò)方面的研究表示：「現(xiàn)在人們可以簡(jiǎn)單地去網(wǎng)上，下載一個(gè)軟件，然后構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)。但是 20 或 30 年前，這并不是常態(tài)。Chris 和他的實(shí)驗(yàn)室在幾十年前就建立了公開(kāi)可訪問(wèn)的 NLP 軟件庫(kù)，并將其在線發(fā)布，并且一直推動(dòng)這種方式成為世界的標(biāo)準(zhǔn)。今天，開(kāi)源 NLP 軟件的概念已經(jīng)成為常態(tài)?！?/span>

目前曼寧教授也表示自己將繼續(xù)努力創(chuàng)建具有對(duì)世界及其多種語(yǔ)言更深入理解的深度學(xué)習(xí)模型。

因?yàn)閷?duì)他來(lái)說(shuō)，人類語(yǔ)言是一件大眾仍然不真正理解的驚人事物。但令人驚訝的是，嬰兒不知怎么就弄明白了，小孩子最終能夠從大約 5000 萬(wàn)個(gè)人類語(yǔ)言詞匯中學(xué)會(huì)成為優(yōu)秀的語(yǔ)言使用者。

而他們給最好的大語(yǔ)言模型展示了數(shù)萬(wàn)億個(gè)詞匯。從結(jié)果上來(lái)看，人類仍然更聰明。這是一個(gè)迷人的問(wèn)題，構(gòu)建計(jì)算機(jī)模型似乎是開(kāi)始思考這個(gè)問(wèn)題的一個(gè)富有成效的窗口。