目前，人工智能以及自主實驗室主要由 Python 等語言編寫，然而，并非所有實驗科學工作者都擅長使用這類編程語言，因而其在真實世界實驗中的影響力還是比較有限。

最近，基于 OpenAI 發(fā)布的 ChatGPT API 函數(shù)調(diào)用功能，打造一個曾經(jīng)只能在鋼鐵俠電影中看到的賈維斯智能助手已成為了可能。

近日，來自 MIT 李巨教授團隊開發(fā)了一個專為實驗科學家量身打造的人工智能助手 CRESt（Copilot for Real-world Experimental Scientist），后端是用 ChatGPT 作為核心串聯(lián)起來的，其具有以下特點：（1）可以調(diào)用真實世界的機械臂進行自動化實驗，（2）自主查找本地或網(wǎng)上專業(yè)的材料數(shù)據(jù)庫，（3）提供優(yōu)化材料配方的主動學習算法。

CRESt 前端已經(jīng)實現(xiàn)了 voice-in voice-out、AI 生成語音，以及多平臺無縫切換。有了 CRESt 之后，即使沒有任何代碼經(jīng)驗，科研工作者也能通過與其口頭對話來利用自動化實驗平臺幫自己做實驗。

圖片

論文地址：https://doi.org/10.26434/chemrxiv-2023-tnz1x

接下來，我們看看 CRESt 效果具體如何？前面我們已經(jīng)強調(diào)了，你可以與 CRESt 進行對話，從而開始任務。下面我們大概展示一下具體的任務流程，了解更詳細信息，可以查看視頻。

首先告訴 CRESt，任務要開始了。CRESt 會詢問今天要進行的項目名稱。

如果你一時忘記了有哪些項目，不用擔心，你可以咨詢 CRESt。CRESt 會清楚的列舉你正在進行的項目名稱以及簡短的項目描述。

圖片

在匯報完項目列表后，CRESt 會詢問這次進行哪個項目。得到用戶回復后，CRESt 還會詢問實驗細節(jié)，例如如何決定下一批實驗的配方，是采用手動選擇，還是采用主動學習？

圖片

進行完這一步后，你突然又想了解存儲在數(shù)據(jù)庫中的一些內(nèi)容，這時你可以要求 CRESt 讀取數(shù)據(jù)庫內(nèi)容，幫你解答疑問：

圖片

根據(jù)抽取的數(shù)據(jù)庫內(nèi)容，假如你想修改實驗的某些部分，可以告訴 CRESt，CRESt 根據(jù)指示進行修改。接下來，CRESt 會提醒你需要檢查設備：

圖片

CRESt 還會詢問你是否需要在實驗開始和結(jié)束時發(fā)送電子郵件，并確定按照以上修改方法，實驗是否開始，在得到明確的回復后，CRESt 啟動實驗。這時你也不用隨時盯著實驗，你可以去吃飯或者干其他事情，其他交給 CRESt 就可以了：

圖片

實驗過程中的樣品制備，所有這些都是 CRESt 自己操控的：

圖片

試驗之后，你可以要求 CRESt 發(fā)送實驗錄像到手機上，之后你會收到實驗錄像郵件：

圖片

CRESt 發(fā)送的實驗錄像

項目介紹

CRESt “操作系統(tǒng)” 主要由四部分組成：用戶界面，ChatGPT 后端，主動學習和末端執(zhí)行器。

用戶界面基于 chatgpt-voice，一個支持語音轉(zhuǎn)文本和文本轉(zhuǎn)語音交互的 Github 項目。其便捷的網(wǎng)絡框架使得用戶可以在離開實驗室后，在手機上無縫地繼續(xù)對話 —— 因為后端是獨立運行的，即使前端改變也不會受到影響。

此外，作者還將實時生成逼真人聲的 ElevenLabs AI 語音集成到前端中。從前端收集到的文本消息隨后將被傳輸?shù)浇⒃?CallingGPT 基礎之上的 ChatGPT 后端。CallingGPT 是另一個 Github 項目，其能將 Google docstring 樣式記錄的 Python 函數(shù)轉(zhuǎn)換成 ChatGPT API 可以識別的 JSON 格式，以供在 ChatGPT 認為需要時調(diào)用。此外，它在 ChatGPT 和本地 Python 函數(shù)庫之間形成一個閉合的反饋回路：ChatGPT 所建議調(diào)用的函數(shù)將立即在本地執(zhí)行，并且其返回值將發(fā)送回 ChatGPT。

除此之外，作者還在 CRESt 中嵌入了主動學習算法。得益于在小數(shù)據(jù)集上不錯的性能，主動學習被認為是最適合實驗科學的機器學習算法之一。在涉及真實物理世界實驗的機器學習項目中，數(shù)據(jù)采集往往是最大的挑戰(zhàn)。與虛擬世界不同，真實物理世界中的每一個數(shù)據(jù)點可能都需要花費大量的時間和金錢。一般來說，一個 1000 個點的數(shù)據(jù)集就已經(jīng)是相當不錯的了。在這樣的條件下，如何對設計空間進行高效取樣變得至關(guān)重要。主動學習的主要功能是交互式地建議在下一批實驗中測試的參數(shù)組合，比如在視頻中展示的合金配方推薦。

在 CRESt 中內(nèi)嵌的是由 Meta 團隊開發(fā)的基于 BoTorch 的 Ax 平臺。Ax 有著優(yōu)秀的 SQL 存儲功能：即使 GPT 后端重置，也可以通過調(diào)取數(shù)據(jù)庫中存儲的記錄來繼續(xù)之前的主動學習。

末端執(zhí)行器是一系列通過 HTTP 請求調(diào)用的子程序。其中一些可能涉及信息檢索任務（本地或公共數(shù)據(jù)庫查詢，如 Materials Project ），而其他一些可能會對物理世界產(chǎn)生真實的影響，就像在視頻中展示的那樣（液體處理機器人、激光切割機、泵、氣閥、機械臂等），主要是用于做實驗的一些自動化的硬件。這些設備的自動化主要由 PyAutoGUI 實現(xiàn)，一個可以模擬人類鼠標和鍵盤動作的 Python 庫。 然而，作者預期這個冗余步驟最終將失去其必要性，因為在不久的將來大多數(shù)實驗室設備都應該會在人類交互界面之外提供一個專用的 AI 通信接口。

展望

大語言模型可以為科學和工程領(lǐng)域帶來什么？這是作者團隊自 ChatGPT 問世以來一直在思考的問題。毫無疑問，大語言模型已經(jīng)展示了其作為文獻整理員的超凡潛力，我們需要做的只是在預訓練過程中向其提供更多的文獻全文。除此之外還有哪些可能性呢？除了我們以 CRESt 形式開發(fā)的實驗員助手的角色，我們設想大語言模型至少還會在以下三個維度發(fā)揮作用：

儀器技術(shù)指導員。目前，研究人員必須理解他們所使用技術(shù)的理論基礎，以及個別儀器的具體操作（有時是基于經(jīng)驗的 “技巧”、“手藝”），而這些操作可能會因制造商而異。后者往往意味著耗費巨大的時間成本，例如面向一個公共儀器的一系列培訓課程，或者閱讀一個組內(nèi)儀器的 200 頁說明書，以及上百小時的實操練習。但深入思考一下，這些步驟真的是必要的嗎？我們預見，在不久的將來，研究人員只需要清楚地用自然語言表達他們的需求，大語言模型就能夠?qū)⑦@些需求翻譯成最佳的參數(shù)設置（其實這就是現(xiàn)在一些儀器專家正在做的事情，了解客戶的需求，并轉(zhuǎn)化成儀器參數(shù)設定 / 操作）。必要時，大語言模型也可以將說明書中的對應部分提供給用戶以便用戶了解詳情。從技術(shù)上來說，儀器制造商只需要適當?shù)匚⒄{(diào)一個大語言基礎模型，讓其學習公司內(nèi)高級技術(shù)員所掌握的儀器操作經(jīng)驗即可，這件事從今天就可以著手進行。

流水線診斷師。結(jié)合了多傳感器的機器人或無人機后，大語言模型可以幫助確定實驗可重復性不佳的根本原因。在未來，最理想的實驗范式是記錄每個樣品整個生命周期中的所有元數(shù)據(jù)。當出現(xiàn)無法解釋的現(xiàn)象時，所有相關(guān)的日志數(shù)據(jù)都將被輸入到多模態(tài)大語言模型進行分析。利用其優(yōu)秀的假說生成能力，大語言模型可以提出一系列潛在的原因，以供人類專家進一步調(diào)查他們認為最有可能的幾個假說。這種方法也可以應用于工業(yè)流水線 —— 如果注意到生產(chǎn)產(chǎn)量 / 良品率大幅下降，大語言模型可以通過對比流水線歷史記錄來識別 "罪魁禍首"。只有需要復雜的現(xiàn)實世界操作時，人類工程師才需要介入，除此以外大語言模型可以直接對大概率出了問題的子環(huán)節(jié)進行參數(shù)微調(diào)。實現(xiàn)這個角色的前提條件是大語言模型可以處理大量的圖像（視頻），且其性能取決于多模態(tài)信息（樣品元數(shù)據(jù)，視覺信息，聲音信息等）的對齊程度。

機理猜想者。我們預期大語言模型十分擅長將已建立的科學原理用于解釋新的實驗現(xiàn)象。科學機理探索階段的很大一部分工作都是模式匹配型工作（例如，從光譜中提取微小的特征并與標準數(shù)據(jù)庫進行比較），這些都在大語言模型的能力范圍內(nèi)。在不久的將來，這個工作流將會變的非常簡單直接，我們只需要問大語言模型：我們制備并測試了一個樣品，它的成分是 xxx，處理工藝和參數(shù)是 xxx，其性能是 xxx。這是所有的表征結(jié)果（掃描電子顯微鏡，X 射線衍射等），請給出 10 個理由詳細表述為什么這個樣品的性能這么好。人類研究者可以從大語言模型生成的一系列敘述中篩選出最合理的解釋，并以此為基礎完善整個機理解釋。然而，這個任務是所有我們預想的大語言模型的角色中最具有挑戰(zhàn)性的，其實現(xiàn)的前提條件包括（i）圖像輸入和與科學術(shù)語的對齊，（ii）從專業(yè)物理科學數(shù)據(jù)庫中檢索特定信息的能力，（iii）大語言模型在科學期刊正文和附錄的預訓練，（iv）大語言模型有能力調(diào)用一系列前沿的子領(lǐng)域的機器學習模型或是仿真模型。

總結(jié)

CRESt 只是大語言模型協(xié)助科學家的一個起點，我們相信大語言模型的真正潛力在于其假說生成能力。人類擁有相對有限的知識庫，但出色的因果推理能力使得我們能夠給出雖然數(shù)量不多但一針見血的假說。相比之下，人工智能有著廣泛的知識庫以及從大數(shù)據(jù)中提取統(tǒng)計信息的能力，因此它們可以在短時間內(nèi)生成大量的，沒那么精準的假說。因此，這不是一個人工智能與人類競爭的故事，而是人工智能補足人類短板的故事。在 “AI suggests, humans select” 的合作模式下，雙方都能發(fā)揮出各自的優(yōu)勢，“各盡其才”。