LLM作為研究工具，能否幫助科學(xué)研究帶來新的突破？

今天微軟AI4Science Research拋出一篇230頁的重磅論文，告訴所有的科研人員：

LLM（GPT-4）太強(qiáng)了，趕快想辦法用起來！

論文地址：https://arxiv.org/abs/2311.07361

報(bào)告中，作者將以GPT-4為重點(diǎn)，深入研究LLM在科學(xué)發(fā)現(xiàn)和科學(xué)研究方面的表現(xiàn)。

研究領(lǐng)域包括：藥物發(fā)現(xiàn)、生物學(xué)、計(jì)算化學(xué)（密度泛函理論 (DFT) 和分子動(dòng)力學(xué) (MD)）、材料設(shè)計(jì)和偏微分方程 (PDE)。

研究主要分為兩個(gè)部分，首先是讓專家對(duì)GPT-4在相關(guān)領(lǐng)域的知識(shí)儲(chǔ)備做出評(píng)估，了解模型對(duì)復(fù)雜科學(xué)概念和關(guān)系的理解。

然后，研究人員還讓GPT-4參與特定領(lǐng)域的基準(zhǔn)測(cè)試，考察模型解決定義明確的特定領(lǐng)域問題的能力。

報(bào)告認(rèn)為，GPT-4在各種科學(xué)應(yīng)用中展現(xiàn)出了巨大的潛力，證明了它在處理復(fù)雜的問題解決和知識(shí)整合任務(wù)方面的能力。

具體來說，在生物學(xué)和材料設(shè)計(jì)領(lǐng)域，GPT-4 擁有廣泛的領(lǐng)域知識(shí)，能滿足科學(xué)研究中的特定要求。

GPT-4在理解和處理復(fù)雜的生物語言、執(zhí)行生物信息學(xué)任務(wù)以及作為生物設(shè)計(jì)的科學(xué)助手方面表現(xiàn)出巨大的潛力。

它對(duì)生物學(xué)概念的廣泛掌握以及執(zhí)行各種任務(wù)的能力，例如處理專門文件、預(yù)測(cè)信號(hào)肽以及從觀察中推理出合理的機(jī)制，使其成為推進(jìn)生物學(xué)研究的有效工具。

GPT-4 通過檢索信息、提出設(shè)計(jì)原則、生成新穎且可行的化學(xué)成分、推薦分析和數(shù)值方法以及生成不同編程語言的代碼，在幫助材料設(shè)計(jì)任務(wù)方面展現(xiàn)出前景。

然而，它在表示和提出更復(fù)雜的結(jié)構(gòu)（例如有機(jī)聚合物和 MOF）、生成準(zhǔn)確的原子坐標(biāo)以及提供精確的定量預(yù)測(cè)方面的能力還有待提高。

在藥物發(fā)現(xiàn)領(lǐng)域，GPT-4顯示出強(qiáng)大的屬性預(yù)測(cè)能力。比如，GPT-4可用于藥物-靶點(diǎn)結(jié)合親和力和相互作用的預(yù)測(cè),這可顯著加速藥物發(fā)現(xiàn)流程。

LLM在預(yù)測(cè)分子的物理化學(xué)和生物學(xué)屬性方面表現(xiàn)出潛力，能夠準(zhǔn)確預(yù)測(cè)出分子的溶解度、毒性、生物活性等特性。

在材料設(shè)計(jì)中，GPT-4 通過檢索信息、提出設(shè)計(jì)原則、生成新穎且可行的化學(xué)成分、推薦分析和數(shù)值方法以及生成不同編程語言的代碼，在幫助材料設(shè)計(jì)任務(wù)方面展現(xiàn)出前景。

然而，它在表示和提出更復(fù)雜的結(jié)構(gòu)（例如有機(jī)聚合物和 MOF）、生成準(zhǔn)確的原子坐標(biāo)以及提供精確的定量預(yù)測(cè)方面遇到了挑戰(zhàn)。

在偏微方程研究領(lǐng)域，GPT-4展示了理解基本概念、辨別概念之間關(guān)系并提供準(zhǔn)確證明方法的能力。

它能夠推薦適當(dāng)?shù)姆治龊蛿?shù)值方法來解決各種類型的偏微分方程，并用不同的編程語言生成代碼來數(shù)值求解偏微分方程。

GPT-4 展示了其理解基本概念、辨別概念之間關(guān)系并提供準(zhǔn)確證明方法的能力。它能夠推薦適當(dāng)?shù)姆治龊蛿?shù)值方法來解決各種類型的偏微分方程，并用不同的編程語言生成代碼來數(shù)值求解偏微分方程。

在研究人員總結(jié)了LLM如此強(qiáng)大的科研能力之后，呼吁各個(gè)領(lǐng)域的科學(xué)家，將LLM與專業(yè)科學(xué)工具和模型相結(jié)合，或者在現(xiàn)有開源LLM的基礎(chǔ)之上，開發(fā)基礎(chǔ)科學(xué)模型，將會(huì)解鎖更多的科研范式和可能性。

論文的作者團(tuán)隊(duì)為GPT-4設(shè)計(jì)了藥物、生物、化學(xué)、材料和數(shù)學(xué)五門「專項(xiàng)考試」，下面我們來看一下GPT-4這位考生在各個(gè)學(xué)科考試中的發(fā)揮怎么樣。

藥物發(fā)現(xiàn)

藥物發(fā)現(xiàn)是識(shí)別和開發(fā)新候選藥物以治療或預(yù)防特定疾病和醫(yī)療狀況的過程。這個(gè)復(fù)雜且多方面的領(lǐng)域旨在通過創(chuàng)造安全、有效和有針對(duì)性的治療藥物來改善人類健康和福祉。

評(píng)估 GPT-4 在藥物發(fā)現(xiàn)方面的能力具有巨大的潛力，例如加速發(fā)現(xiàn)過程、降低搜索和設(shè)計(jì)成本、增強(qiáng)創(chuàng)造力等。

具體來說，GPT-4在藥物發(fā)現(xiàn)方面有著廣泛的知識(shí)：GPT-4展示了對(duì)藥物發(fā)現(xiàn)中關(guān)鍵概念的廣泛理解，包括單個(gè)藥物，

靶蛋白，

小分子藥物的一般原則，

和藥物發(fā)現(xiàn)過程各個(gè)階段面臨的挑戰(zhàn)。

在此基礎(chǔ)之上，GPT-4可以幫助完成藥物發(fā)現(xiàn)中的多項(xiàng)基本任務(wù)，包括：

分子操縱：GPT-4 能夠通過修改現(xiàn)有分子結(jié)構(gòu)來生成新的分子結(jié)構(gòu)，可能發(fā)現(xiàn)新的藥物。

雖然GPT-4是協(xié)助藥物發(fā)現(xiàn)研究的有用工具，但了解其局限性和潛在錯(cuò)誤也是客觀存在的。

SMILES序列處理比較困難：GPT-4可能難以直接處理SMILES序列。為了提高模型的理解和輸出，如果可能的話，最好提供藥物分子的名稱及其描述。

這將為模型提供更多背景信息，并提高其生成相關(guān)且準(zhǔn)確響應(yīng)的能力。

定量任務(wù)的局限性：雖然GPT-4在定性任務(wù)和問題方面表現(xiàn)出色，但在定量任務(wù)（例如預(yù)測(cè)分子數(shù)值）時(shí)可能會(huì)面臨限制。

作者評(píng)估的數(shù)據(jù)集中的特性和藥物靶點(diǎn)結(jié)合。建議研究人員在這些情況下以 GPT-4 的輸出作為參考，并使用專用的 AI 模型或科學(xué)計(jì)算工具進(jìn)行驗(yàn)證，以確保得出可靠的結(jié)論。

雙重檢查生成的分子：當(dāng)使用GPT-4生成新分子時(shí)，必須驗(yàn)證生成結(jié)構(gòu)的有效性和化學(xué)性質(zhì)。

藥物-靶點(diǎn)結(jié)合預(yù)測(cè)：GPT-4能夠預(yù)測(cè)分子與靶蛋白之間的相互作用，這有助于識(shí)別有前途的候選藥物并優(yōu)化其結(jié)合特性。

分子特性預(yù)測(cè)：GPT-4能夠預(yù)測(cè)分子的各種理化和生物學(xué)特性，可以指導(dǎo)候選藥物的選擇和優(yōu)化。

逆合成預(yù)測(cè)：GPT-4能夠預(yù)測(cè)目標(biāo)分子的合成路線，幫助化學(xué)家設(shè)計(jì)高效且具有成本效益的策略來合成潛在候選藥物。

新分子生成：GPT-4可用于按照文本指令生成新分子。這種從頭生成分子的能力可以成為識(shí)別新藥物的工具。

廣泛的知識(shí)庫使GPT-4能夠在廣泛的藥物發(fā)現(xiàn)任務(wù)中提供有用的見解和建議。

編碼能力：GPT-4可以為藥物發(fā)現(xiàn)的編碼提供幫助，在數(shù)據(jù)下載、處理等方面提供巨大的便利。GPT-4強(qiáng)大的編碼能力可以極大地減輕研究人員未來的工作量。

研究人員首先通過定性測(cè)試研究GPT-4關(guān)于藥物發(fā)現(xiàn)的知識(shí)，測(cè)試了GPT-4翻譯藥物和表達(dá)式的能力。

GPT-4正確輸出化學(xué)式為CHClFNO，IUPAC名稱也正確，這意味著GPT-4知道藥物Afatinib。

然而，SMILES 并不正確。研究人員進(jìn)一步給予指導(dǎo)，讓GPT-4再次生成SMILES。不幸的是，如圖所示，雖然研究人員明確要求 GPT-4 「注意每種原子類型的原子數(shù)量」并基于正確的IUPAC和化學(xué)式生成，但在幾次試驗(yàn)中生成的 SMILES序列仍然不是正確的。

然后通過對(duì)多個(gè)關(guān)鍵任務(wù)的定量測(cè)試來研究其預(yù)測(cè)能力，包括藥物-靶標(biāo)相互作用/結(jié)合親和力預(yù)測(cè)、分子性質(zhì)預(yù)測(cè)和逆合成預(yù)測(cè)。

生物學(xué)

研究人員認(rèn)為，GPT-4通過展示其處理復(fù)雜生物語言、執(zhí)行生物信息任務(wù)、甚至作為生物設(shè)計(jì)的科學(xué)助手的能力，展現(xiàn)出為生物學(xué)領(lǐng)域做出貢獻(xiàn)的巨大潛力。

生物信息處理：GPT-4展示了其對(duì)生物領(lǐng)域?qū)I(yè)文件信息處理的理解，例如MEME格式、FASTQ格式和VCF格式。

此外，它擅長對(duì)給定的任務(wù)和數(shù)據(jù)進(jìn)行生物信息學(xué)分析，例如預(yù)測(cè)所提供序列的信號(hào)肽。

生物學(xué)理解：GPT-4展示了對(duì)各種生物學(xué)主題的廣泛理解，包括共有序列，

PPI，

信號(hào)通路和進(jìn)化概念。

生物學(xué)推理：GPT-4能夠利用其內(nèi)置的生物學(xué)知識(shí)從生物學(xué)觀察中推理出合理的機(jī)制。

生物輔助：GPT-4 展示了其在蛋白質(zhì)設(shè)計(jì)任務(wù)領(lǐng)域以及通過將實(shí)驗(yàn)方案轉(zhuǎn)化為自動(dòng)化目的在濕實(shí)驗(yàn)室實(shí)驗(yàn)中作為科學(xué)助手的潛力。

雖然GPT-4本身是一種非常強(qiáng)大的工具，可以幫助生物學(xué)研究，但也觀察到一些局限性和偶爾的錯(cuò)誤。

FASTA 序列理解：GPT-4 的一個(gè)顯著挑戰(zhàn)是FASTA序列的直接處理。如果可能的話，最好提供生物分子的名稱及其序列。

結(jié)果不一致：GPT-4 在與生物實(shí)體相關(guān)的任務(wù)上的表現(xiàn)受到與實(shí)體相關(guān)的豐富信息的影響。對(duì)未充分研究的實(shí)體（例如轉(zhuǎn)錄因子）的分析可能會(huì)產(chǎn)生不一致的結(jié)果。

阿拉伯?dāng)?shù)字理解：GPT-4 很難直接處理阿拉伯?dāng)?shù)字；建議將阿拉伯?dāng)?shù)字轉(zhuǎn)換為文本。

定量計(jì)算：雖然GPT-4在生物語言理解和處理方面表現(xiàn)出色，但在定量任務(wù)中遇到了局限性。為了獲得可靠的結(jié)論，建議使用替代計(jì)算工具進(jìn)行手動(dòng)驗(yàn)證或驗(yàn)證。

提示敏感性：GPT-4 的答案可能會(huì)不一致，并且高度依賴于問題的措辭，需要進(jìn)一步細(xì)化以減少可變性，例如嘗試不同的提示。

總之，GPT-4 通過展示其在理解和處理生物語言、利用內(nèi)置知識(shí)進(jìn)行推理以及協(xié)助設(shè)計(jì)任務(wù)方面的熟練程度，在推進(jìn)生物學(xué)領(lǐng)域展現(xiàn)出巨大的潛力。

盡管存在一些限制和錯(cuò)誤，但通過適當(dāng)?shù)闹笇?dǎo)和改進(jìn)，GPT-4 可以成為研究人員在不斷發(fā)展的生物研究領(lǐng)域中的寶貴工具。

計(jì)算化學(xué)

下面要進(jìn)行的是化學(xué)考試，這里的計(jì)算化學(xué)是分子系統(tǒng)研究中不可或缺的工具，提供了對(duì)原子水平相互作用的見解并指導(dǎo)實(shí)驗(yàn)工作。

在本次考試中，研究人員觀察到GPT-4的以下能力比較突出：

文獻(xiàn)綜述能力：GPT-4 擁有廣泛的計(jì)算化學(xué)知識(shí)，涵蓋密度泛函理論、費(fèi)曼圖和電子結(jié)構(gòu)理論、分子動(dòng)力學(xué)模擬和分子構(gòu)象生成等知識(shí)。

GPT-4 不僅能夠解釋基本概念，還可以總結(jié)該領(lǐng)域的主要發(fā)現(xiàn)和趨勢(shì)。

方法選擇能力：GPT-4 能夠針對(duì)具體的研究問題推薦合適的計(jì)算方法和軟件包，同時(shí)考慮系統(tǒng)規(guī)模、時(shí)間尺度和理論水平等因素。

模擬設(shè)置能力：GPT-4 能夠幫助制備簡(jiǎn)單的分子輸入結(jié)構(gòu)，建立和建議模擬參數(shù)，包括特定的對(duì)稱性、密度泛函、時(shí)間步長、集成、溫度和壓力控制方法，以及初始配置。

代碼開發(fā)能力：GPT-4 能夠協(xié)助在現(xiàn)有的計(jì)算化學(xué)和物理軟件包中實(shí)現(xiàn)新的算法或功能。

此外，GPT-4 還能夠通過提供實(shí)驗(yàn)、計(jì)算和理論指導(dǎo)來幫助研究人員。

當(dāng)然，研究人員也觀察到一些局限性：

首先，GPT-4 可能難以進(jìn)行復(fù)雜的邏輯推理。

其次，GPT-4 不擅長生成或處理復(fù)雜分子或材料的原始原子坐標(biāo)。

最后，GPT-4 在評(píng)估的基準(zhǔn)測(cè)試中不擅長精確計(jì)算，并且通常忽略對(duì)稱性和不變性等物理先驗(yàn)。

材料設(shè)計(jì)

在材料設(shè)計(jì)的考試中，研究人員設(shè)計(jì)了一套全面的任務(wù)，涵蓋了包括背景知識(shí)、設(shè)計(jì)原理、候選物識(shí)別、候選結(jié)構(gòu)生成、性能預(yù)測(cè)和合成條件預(yù)測(cè)等各個(gè)方面。

通過解決設(shè)計(jì)過程的整個(gè)范圍，可以對(duì) GPT-4 在材料設(shè)計(jì)方面的熟練程度進(jìn)行全面評(píng)估，特別是對(duì)于結(jié)晶無機(jī)材料、有機(jī)聚合物和更復(fù)雜的材料。

通過考試評(píng)估，可以發(fā)現(xiàn) GPT-4 在材料設(shè)計(jì)方面有如下能力：

信息記憶：GPT-4擅長記憶信息并提出無機(jī)晶體和聚合物的設(shè)計(jì)原理。它尤其擅長理解文本形式的材料設(shè)計(jì)規(guī)則。比如，在設(shè)計(jì)固態(tài)電解質(zhì)材料時(shí)，它可以提出提高離子電導(dǎo)率的方法并提供準(zhǔn)確的示例。

成分創(chuàng)建：熟練地為新型無機(jī)材料生成可行的化學(xué)成分，如下圖：

左邊的圖表示GPT-4生成合金化學(xué)成分的成功率。中間的圖表示生成離子化合物化學(xué)位置的成功率。右邊的圖表示生成給定原型的化學(xué)成分的成功率。

誤差線表示 5 個(gè)查詢的標(biāo)準(zhǔn)偏差。某些誤差線超過 1，因?yàn)榫岛蜋z驗(yàn)差的總和可能超過 1。例如，對(duì)于三元離子化合物，正確元素?cái)?shù)的任務(wù)，成功率為1.0、0.967、0.7、1.0、1.0，平均值為 0.933，標(biāo)準(zhǔn)差為 0.117。

合成規(guī)劃：在無機(jī)材料的合成規(guī)劃方面表現(xiàn)出令人滿意的性能，比如下面的例子：

根據(jù)GPT-4的回答可以看出，它對(duì)無機(jī)材料的合成路線預(yù)測(cè)比較準(zhǔn)確，合成步驟通常都正確，給出的合成條件與真實(shí)答案相差不遠(yuǎn)。

編碼輔助：GPT-4 作為代碼助手，用于執(zhí)行材料模擬、分析材料數(shù)據(jù)和進(jìn)行可視化。這在很大程度上依賴于 GPT4 對(duì)現(xiàn)有軟件包的了解。

例如，它可以為大量屬性計(jì)算生成分子動(dòng)力學(xué)和DFT輸入，并且可以正確利用許多計(jì)算包并構(gòu)建自動(dòng)處理管道。不過有時(shí)候可能需要迭代反饋和手動(dòng)調(diào)整來微調(diào)生成的代碼。

研究人員設(shè)計(jì)了一些關(guān)于編碼輔助能力的任務(wù)，并進(jìn)行了評(píng)估：

盡管GPT-4展現(xiàn)了自己在材料科學(xué)領(lǐng)域的強(qiáng)大能力，但也存在一些局限性：

GPT-4在提出有機(jī)聚合物和MOFs的任務(wù)中表現(xiàn)不夠理想。

GPT-4結(jié)構(gòu)生成能力有限，尤其是在生成精確的原子坐標(biāo)時(shí)，比如在下圖的測(cè)試中，左邊是GPT-4生成的Si結(jié)構(gòu)，右邊是正確的結(jié)構(gòu)。

GPT-4在屬性預(yù)測(cè)中無法提供精確的定量預(yù)測(cè)。例如，在預(yù)測(cè)一種材料是金屬材料還是半導(dǎo)體材料時(shí)，其準(zhǔn)確性僅略高于隨機(jī)猜測(cè)，如下表：

最后，在沒有額外指導(dǎo)的情況下，GPT-4很難為訓(xùn)練集中不存在的有機(jī)聚合物提出合成路線。

偏微分方程

在數(shù)學(xué)考試方面，研究人員選擇了偏微分方程（PDE），因?yàn)樗谖锢韺W(xué)、工程學(xué)、生物學(xué)和金融學(xué)等各個(gè)學(xué)科中都有深遠(yuǎn)的應(yīng)用。

不管大家看到偏微分方程這個(gè)詞，是眼前一亮，還是心里一沉，這次參加考試的是GPT-4，跟咱們沒關(guān)系。

作者來看一下GPT-4的表現(xiàn)：

首先考察的是偏微分方程的概念：

GPT-4的回答條理清晰，令人信服，甚至可以作為學(xué)生的指導(dǎo)。

另一方面，GPT-4能夠很好地辨別概念之間的關(guān)系，這可以幫助數(shù)學(xué)家拓寬視野并直觀地掌握不同子領(lǐng)域的聯(lián)系。

考察GPT-4提出解決方案的能力：

GPT-4可以推薦適當(dāng)?shù)姆治龊蛿?shù)值方法來解決各種類型和復(fù)雜性的偏微分方程。

——滿腦子偏微分方程，想考研是吧？

Talk is cheap. Show me the code.

下面馬上來考察一下GPT-4的代碼能力：

GPT-4也是隨手就擼了一段MATLAB代碼，來求偏微分方程的數(shù)值解?！悬c(diǎn)厲害。

代碼微調(diào)一下，就得到了上面的結(jié)果。

最后，GPT-4甚至進(jìn)一步提出了這個(gè)領(lǐng)域的一些研究方向，并附帶了自己的看法。

當(dāng)然，人無完人，機(jī)無完機(jī)。研究人員也在這門考試中發(fā)現(xiàn)了GPT-4的一些局限性：

雖然 GPT-4 在求解偏微分方程和提供顯式解方面表現(xiàn)出類似人類的能力，但可能存在錯(cuò)誤推導(dǎo)的情況，所以需要我們驗(yàn)證一下。

另外，GPT-4可能偶爾會(huì)錯(cuò)誤地引用不存在的參考文獻(xiàn)。

展望未來

通過上面的幾門考試，我們領(lǐng)教了GPT-4在各個(gè)自然科學(xué)領(lǐng)域的能力和局限性。這也是我們探索GPT-4在自然科學(xué)領(lǐng)域潛力的第一步。

同時(shí)，通過解決這些局限性，GPT-4等LLM可以成為跨學(xué)科科學(xué)發(fā)現(xiàn)的更強(qiáng)大、更可靠的工具。這將使研究人員能夠受益于LLM的先進(jìn)能力和洞察力，加快藥物發(fā)現(xiàn)、材料科學(xué)、生物學(xué)、數(shù)學(xué)和其他科學(xué)探究領(lǐng)域的研究和創(chuàng)新步伐。