?讓一只猴子在打字機(jī)上隨機(jī)地按鍵，只要給足夠長(zhǎng)的時(shí)間，莎士比亞全集也能敲出來(lái)。

那要是一只懂語(yǔ)法和語(yǔ)義的猴子呢？答案是連科研都能幫你做！

語(yǔ)言模型的發(fā)展勢(shì)頭十分迅猛，幾年前還只能在輸入法上對(duì)下一個(gè)要輸入的詞進(jìn)行自動(dòng)補(bǔ)全，今天就已經(jīng)可以幫助研究人員分析和撰寫科學(xué)論文、生成代碼了。

大型語(yǔ)言模型（LLM）的訓(xùn)練一般需要海量的文本數(shù)據(jù)作支撐。

2020年，OpenAI發(fā)布了擁有1750億參數(shù)的GPT-3模型，寫詩(shī)、做數(shù)學(xué)題，幾乎生成模型能做的，GPT-3已然做到極致，即便到了今天，GPT-3仍然是很多語(yǔ)言模型要拿來(lái)對(duì)比和超越的基線。

GPT-3發(fā)布后，很快在Twitter和其他社交媒體上引發(fā)熱議，大量研究人員對(duì)這種詭異的「類人寫作」方式感到吃驚。

GPT-3發(fā)布在線服務(wù)后，用戶可以隨意輸入文本，并讓模型返回下文，每處理750個(gè)單詞的收費(fèi)最低僅為0.0004美元，堪稱物美價(jià)廉。

最近Nature專欄科技專題上發(fā)布了一篇文章，沒(méi)想到除了幫忙寫小作文，這些語(yǔ)言模型還能幫你「做科研」！

讓機(jī)器幫你思考

冰島大學(xué)雷克雅未克分校的計(jì)算機(jī)科學(xué)家Hafsteinn Einarsson表示：我?guī)缀趺刻於紩?huì)用到GPT-3，比如給論文摘要進(jìn)行修改。

Einarsson在6月份的一次會(huì)議上準(zhǔn)備文案時(shí)，雖然GPT-3提了很多無(wú)用的修改建議，但也有一些有幫助的，比如「使研究問(wèn)題在摘要的開(kāi)頭更加明確」，而這類問(wèn)題你自己看手稿時(shí)根本不會(huì)意識(shí)到，除非你讓別人幫你看，而這個(gè)別人為什么不能是「GPT-3」呢？

語(yǔ)言模型甚至還可以幫助你改進(jìn)實(shí)驗(yàn)設(shè)計(jì)！

在另一個(gè)項(xiàng)目中，Einarsson想使用Pictionary游戲在參與者中收集語(yǔ)言數(shù)據(jù)。

在給出了游戲的描述后，GPT-3給出了一些游戲的修改建議。理論上講，研究人員也可以要求對(duì)實(shí)驗(yàn)方案進(jìn)行新的嘗試。

一些研究人員也會(huì)使用語(yǔ)言模型來(lái)生成論文標(biāo)題或使文本更易讀。

斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授的博士生Mina Lee的使用方法是，給GPT-3輸入「使用這些關(guān)鍵詞，生成一篇論文標(biāo)題」等作為提示，模型就會(huì)幫你擬定幾個(gè)標(biāo)題。

有部分章節(jié)如果需要重寫的話，她還會(huì)用到以色列特拉維夫AI21實(shí)驗(yàn)室發(fā)布的人工智能寫作助手Wordtune，只需要點(diǎn)擊「Rewrite」，就能轉(zhuǎn)換出多個(gè)版本的重寫段落，然后進(jìn)行仔細(xì)挑選即可。

Lee還會(huì)要求GPT-3為生活中的一些事提供建議，比如詢問(wèn)「如何把男朋友介紹給她的父母」時(shí)，GPT-3建議去海邊的一家餐館。

位于紐約布魯克林的科技初創(chuàng)公司Scite的計(jì)算機(jī)科學(xué)家Domenic Rosati使用Generate語(yǔ)言模型對(duì)自己的思路進(jìn)行重新組織。

鏈接：https://cohere.ai/generate

Generate由加拿大的一家NLP公司Cohere開(kāi)發(fā)，模型的工作流程與GPT-3非常相似。

只需要輸入筆記，或者只是隨便說(shuō)點(diǎn)idea，最后加上「總結(jié)一下」或是「把它變成一個(gè)抽象概念」，模型就會(huì)自動(dòng)幫你整理思路。

何必親自寫代碼？

OpenAI 的研究人員對(duì) GPT-3進(jìn)行了大量的文本訓(xùn)練，包括書籍、新聞故事、維基百科條目和軟件代碼。

后來(lái)，團(tuán)隊(duì)注意到GPT-3可以像補(bǔ)全普通文本一樣對(duì)代碼進(jìn)行補(bǔ)全。

研究人員創(chuàng)建了一個(gè)名為 Codex 的算法的微調(diào)版本，使用來(lái)自代碼共享平臺(tái)GitHub上超過(guò)150G 的文本上進(jìn)行訓(xùn)練；目前GitHub 現(xiàn)在已經(jīng)將Codex 集成到 Copilot 的服務(wù)中，可以輔助用戶編寫代碼。

位于華盛頓州西雅圖的艾倫人工智能研究所AI2的計(jì)算機(jī)科學(xué)家Luca Soldaini說(shuō)，他們辦公室里至少有一半 的人都在用Copilot

Soldaini表示，Copilot最適合重復(fù)性編程的場(chǎng)景。比如他有一個(gè)項(xiàng)目涉及到編寫處理PDF的模板代碼，Copilot直接就給補(bǔ)全了。

不過(guò)Copilot補(bǔ)全的內(nèi)容也會(huì)經(jīng)常出錯(cuò)，最好在一些自己熟悉的語(yǔ)言上使用。

文獻(xiàn)檢索

語(yǔ)言模型最為成熟的應(yīng)用場(chǎng)景可能就是搜索和總結(jié)文獻(xiàn)了。

AI2開(kāi)發(fā)的Semantic Scholar搜索引擎使用了TLDR的語(yǔ)言模型對(duì)每篇論文給出了一個(gè)類似Twitter長(zhǎng)度的描述。

該搜索引擎覆蓋了大約2億篇論文，其中大部分來(lái)自生物醫(yī)學(xué)和計(jì)算機(jī)科學(xué)。

TLDR的開(kāi)發(fā)基于由Meta更早發(fā)布的BART模型，然后AI2的研究人員在人寫摘要的基礎(chǔ)上對(duì)模型進(jìn)行了微調(diào)。

按照今天的標(biāo)準(zhǔn)，TLDR并不是一個(gè)大型語(yǔ)言模型，因?yàn)樗话蠹s4億個(gè)參數(shù)，而GPT-3的最大版本包含1750億。

TLDR在AI2開(kāi)發(fā)的擴(kuò)充科學(xué)論文應(yīng)用程序Semantic Reader中也有應(yīng)用。

當(dāng)用戶使用Semantic Reader中的文內(nèi)引用時(shí)，會(huì)彈出一個(gè)包含TLDR摘要的信息框。

Semantic Scholar的首席科學(xué)家Dan Weld表示，我們的想法是利用語(yǔ)言模型來(lái)提升閱讀體驗(yàn)。

當(dāng)語(yǔ)言模型生成文本摘要時(shí)，模型有可能會(huì)生成一些文章中不存在的事實(shí)，研究人員將這種問(wèn)題稱之為「幻覺(jué)」，但實(shí)際上語(yǔ)言模型純粹是在編造或撒謊。

TLDR 在真實(shí)性檢驗(yàn)中表現(xiàn)較好，論文作者對(duì)TLDR的準(zhǔn)確度評(píng)分為2.5分(滿分3分)。

Weld表示，TLDR更真實(shí)是因?yàn)檎挥写蠹s20個(gè)單詞的長(zhǎng)度，也可能是因?yàn)樗惴ú粫?huì)將沒(méi)有出現(xiàn)在正文中的單詞放入摘要中。

在搜索工具方面，2021年在加利福尼亞州舊金山的機(jī)器學(xué)習(xí)非營(yíng)利組織Ought推出了Elicit ，如果用戶問(wèn)它「mindfulness對(duì)決策的影響是什么?」它會(huì)輸出一個(gè)包含十篇論文的表格。

用戶可以要求軟件在列中填寫諸如摘要和元數(shù)據(jù)等內(nèi)容，以及關(guān)于研究參與者、方法和結(jié)果的信息，然后使用包括 GPT-3在內(nèi)的工具從論文中提取或生成這些信息。

馬里蘭大學(xué)帕克分校的Joel Chan的研究方向?yàn)槿藱C(jī)交互，每當(dāng)他開(kāi)始一個(gè)新項(xiàng)目的時(shí)候都會(huì)使用Elicit搜索相關(guān)論文。

斯德哥爾摩卡羅琳學(xué)院的神經(jīng)系統(tǒng)科學(xué)家Gustav Nilsonne還利用Elicit找到了一些可以添加到匯總分析中的數(shù)據(jù)的論文，用這個(gè)工具可以找到在其他搜索中沒(méi)有發(fā)現(xiàn)的文件。

不斷進(jìn)化的模型

AI2的原型為L(zhǎng)LM提供了一種未來(lái)的感覺(jué)。

有時(shí)研究人員在閱讀科學(xué)論文的摘要后會(huì)有疑問(wèn)，但還沒(méi)有時(shí)間閱讀全文。

AI2的一個(gè)團(tuán)隊(duì)還開(kāi)發(fā)了一個(gè)工具，可以在NLP領(lǐng)域回答這些問(wèn)題。

模型首先要求研究人員閱讀NLP論文的摘要，然后詢問(wèn)相關(guān)問(wèn)題(比如「分析了哪五個(gè)對(duì)話屬性?」)

研究小組隨后要求其他研究人員在閱讀完全部論文后回答這些問(wèn)題。

AI2訓(xùn)練了另一個(gè)版本的Longformer語(yǔ)言模型，輸入為一篇完整的論文，然后利用收集的數(shù)據(jù)集生成關(guān)于其他論文不同問(wèn)題的答案。

ACCoRD模型可以為150個(gè)與NLP相關(guān)的科學(xué)概念生成定義和類比。

MS2是一個(gè)包含470,000個(gè)醫(yī)學(xué)文檔和20,000個(gè)多文檔摘要的數(shù)據(jù)集，用MS2微調(diào)BART后，研究人員就能夠提出一個(gè)問(wèn)題和一組文檔，并生成一個(gè)簡(jiǎn)短的元分析摘要。

2019年，AI2對(duì)谷歌2018年創(chuàng)建的語(yǔ)言模型 BERT 進(jìn)行了微調(diào)，在Semantic Scholar的論文上創(chuàng)建了擁有1.1億個(gè)參數(shù)的 SciBERT

Scite使用人工智能創(chuàng)建了一個(gè)科學(xué)搜索引擎，進(jìn)一步對(duì)SciBERT進(jìn)行了微調(diào)，以便當(dāng)其搜索引擎列出引用目標(biāo)論文的論文時(shí)，將這些論文歸類為支持、對(duì)比或以其他方式提到該論文。

Rosati表示這種細(xì)微差別有助于人們識(shí)別科技文獻(xiàn)中的局限性或差距。

AI2的SPECTER模型也是基于SciBERT，它將論文簡(jiǎn)化為緊湊的數(shù)學(xué)表示。

Weld 說(shuō)，會(huì)議組織者使用 SPECTER 將提交的論文與同行評(píng)審者匹配，Semantic Scholar使用它根據(jù)用戶的庫(kù)推薦論文。

在希伯來(lái)大學(xué)和AI2的計(jì)算機(jī)科學(xué)家Tom Hope說(shuō)他們有研究項(xiàng)目通過(guò)微調(diào)語(yǔ)言模型來(lái)確定有效的藥物組合、基因和疾病之間的聯(lián)系，以及在COVID-19研究中的科學(xué)挑戰(zhàn)和方向。

但是，語(yǔ)言模型能否提供更深入的洞察力，甚至是發(fā)現(xiàn)能力呢？

今年5月，Hope 和 Weld 與微軟首席科學(xué)官Eric Horvitz共同撰寫了一篇評(píng)論，列出了實(shí)現(xiàn)這一目標(biāo)的挑戰(zhàn)，包括教授模型以「(推斷)重組兩個(gè)概念的結(jié)果」。

Hope表示，這基本和 OpenAI 的 DALL · E 2圖像生成模型「生成一張貓飛入太空的圖片是一回事」，但是我們?cè)鯓硬拍茏呦蚪Y(jié)合抽象的、高度復(fù)雜的科學(xué)概念呢?

這是個(gè)開(kāi)放性問(wèn)題。

時(shí)至今日，大型語(yǔ)言模型已經(jīng)對(duì)研究產(chǎn)生了實(shí)實(shí)在在的影響，如果人們還沒(méi)有開(kāi)始使用這些大型語(yǔ)言模型輔助工作，他們就會(huì)錯(cuò)過(guò)這些機(jī)會(huì)。

參考資料：

https://www.nature.com/articles/d41586-022-03479-w