基于生成式人工智能工具，比如ChatGPT、Bard等聊天機器人的出現(xiàn)，以及如何將AI工具用于學(xué)術(shù)研究引發(fā)了巨大的爭議，但與此同時，AI生成的代碼用于科學(xué)研究的價值被忽視了。

與ChatGPT生成文本導(dǎo)致的剽竊問題相比，用AI抄代碼顯然爭議更小，開放科學(xué)甚至鼓勵「代碼共享」和「代碼重用」，溯源起來也很方便，比如python里用到「import」導(dǎo)入依賴包就算引用。

最近Nature上發(fā)表了一篇評論文章，作者團隊討論了ChatGPT在科學(xué)編程領(lǐng)域的三個潛在能力，包括頭腦風(fēng)暴、分解復(fù)雜任務(wù)、以及處理簡單但耗時的任務(wù)。

文章鏈接：https://www.nature.com/articles/s41559-023-02063-3

研究人員通過使用ChatGPT將自然語言翻譯成計算機可讀代碼，探索了使用生成式AI來增強科學(xué)編碼的能力和局限性。

實驗中的例子主要探索了可能與生態(tài)學(xué)、進化及其他領(lǐng)域相關(guān)的通用任務(wù)，研究人員發(fā)現(xiàn)，使用ChatGPT可以完成80%-90%的代碼編寫任務(wù)。

如果任務(wù)被分解成小的、可管理的代碼塊，并帶有精確的提示作為查詢，ChatGPT可以生成非常有用的代碼。

值得注意的是，用Google的Bard進行同樣的實驗通常會得到類似的結(jié)果，但代碼中的錯誤更多，所以這篇文章主要使用ChatGPT進行實驗。

第一作者Cory Merow是一位定量生態(tài)學(xué)家，主要研究方向是建立機制模型來預(yù)測人口和社區(qū)對環(huán)境變化的反應(yīng)。即使是最好的數(shù)據(jù)集在預(yù)測全球變化反應(yīng)方面也是不完善的，所以需要開發(fā)一些工具來結(jié)合數(shù)據(jù)源和探索數(shù)據(jù)集，以深入了解生物系統(tǒng)可能發(fā)生的變化。

ChatGPT助力科學(xué)編碼

ChatGPT以回歸模型GPT-3為基礎(chǔ)，在海量的網(wǎng)頁、書籍等文本上進行擬合訓(xùn)練，不需要搜索即可生成文本。

所以ChatGPT更擅長內(nèi)插（interpolating，即預(yù)測與訓(xùn)練數(shù)據(jù)相似的文本），而不擅長外推（extrapolating，即預(yù)測與訓(xùn)練樣本不同的新文本）。

訓(xùn)練集的龐大規(guī)模是一個優(yōu)勢，意味著GPT-3已經(jīng)看到了大量的語言模式，使其能夠內(nèi)插并增加生成對人類有用回復(fù)的可能性。

不過對代碼生成任務(wù)來說，GPT-3并不知道如何編程，只是知道代碼看起來像什么樣，以及哪些詞最可能出現(xiàn)在下一個位置，其工作原理類似于自動補全，基于概率模型預(yù)測下一個代碼塊（chunk），塊通常比詞（word）要小，也可以叫做token

生成正確token的概率基于所有token的概率乘積，即增加預(yù)測token的數(shù)量或降低選中token的確定性會增加任務(wù)的難度，從而降低獲得正確token的概率。

因此，想要增加正確token的概率，需要縮短生成任務(wù)的長度，或是提供更具體的指令。

最后，研究人員提醒，ChatGPT生成的文本有些看起來像代碼，但可能無法執(zhí)行，所以在編碼過程中需要仔細觀察調(diào)試。

頭腦風(fēng)暴工具

ChatGPT可以很好地檢索多個數(shù)據(jù)源，例如在生態(tài)領(lǐng)域可以同時獲取植物性狀、物種分布區(qū)域和氣象數(shù)據(jù)。

雖然ChatGPT提供的數(shù)據(jù)有些是不正確的，但通過其提供的鏈接可以很快地校正這些錯誤。

不過ChatGPT并不能寫爬蟲從網(wǎng)站上下載數(shù)據(jù)，可能是因為R語言的包和底層應(yīng)用程序接口（如R訪問數(shù)據(jù)庫的協(xié)議）更新過快，畢竟ChatGPT的訓(xùn)練數(shù)據(jù)是在2021年構(gòu)建的。

ChatGPT可以在遇到特定問題時提出各種統(tǒng)計技術(shù)，在后續(xù)的提問中可以生成更多基于用戶假設(shè)的指導(dǎo)意見，并提供一份初始代碼。

不過綜合（synthesis）過程只適用于提出并交流想法，仍然需要通過傳統(tǒng)的數(shù)據(jù)源（如論文等）進行事實核查。

需要注意的是，一些網(wǎng)站聲稱ChatGPT有能力對書籍寫摘要，不過從研究人員的測試結(jié)果來看，這種摘要綜合的結(jié)果完全不對，可能是因為測試用的書籍沒有在GPT-3訓(xùn)練集中出現(xiàn)。

更難的任務(wù)需要更多的debug

ChatGPT非常擅長生成模板代碼，在特定指令下提供一份包含少量函數(shù)的短腳本代碼。

比如下面的例子中，研究人員要求ChatGPT將四個常用函數(shù)的輸入和輸出串一起。并提供一個將此函數(shù)用于模擬數(shù)據(jù)的示例代碼。

可以看到ChatGPT生成的結(jié)果幾乎是完美的，調(diào)試代碼只花了幾分鐘，不過需要在提示中非常具體地說明query，包括提供命名和用到的函數(shù)。

研究人員發(fā)現(xiàn)，成功的關(guān)鍵在于：

1、將復(fù)雜任務(wù)分解成多個子任務(wù)，每個子任務(wù)最好只需要少數(shù)幾個步驟即可完成，畢竟ChatGPT生成的代碼是基于概率文本預(yù)測模型的結(jié)果。

2、ChatGPT在使用已經(jīng)存在的函數(shù)時表現(xiàn)最佳，因為這時只涉及內(nèi)插而非外推。

例如，使用正則表達式（regex）從文本中提取信息的代碼對于許多開發(fā)人員來說是非常困難的，不過因為已經(jīng)有正則網(wǎng)站提供了大量在線示例，并可能出現(xiàn)在ChatGPT示例中，所以ChatGPT寫正則的性能還是不錯的。

3、學(xué)術(shù)界對ChatGPT最大的批評之一是其信息來源缺乏透明度。

對于代碼生成任務(wù)，通過指定「命名空間」（namespace），即在使用函數(shù)時顯式調(diào)用包名可以實現(xiàn)一定程度的透明性。

不過ChatGPT可能會直接復(fù)制個人的公開代碼而沒有引用出來，并且研究人員仍然有責(zé)任驗證正確的代碼歸屬人。

同時，如果要求生成更長的腳本會暴露出一些ChatGPT的缺陷，例如偽造函數(shù)名或參數(shù)等，這也是StackOverflow禁用ChatGPT生成代碼的原因。

但如果用戶提供了一組明確的執(zhí)行步驟，ChatGPT仍然可以生成一個有用的工作流模板，定義步驟之間的輸入和輸出之間的連接，這可能是用GPT-3外推生成新代碼的最有用的途徑。

目前ChatGPT還不能將偽代碼（用簡單語言描述的算法步驟） 轉(zhuǎn)換為完美的計算機可執(zhí)行代碼，但這可能離現(xiàn)實并不遙遠。

ChatGPT對于初學(xué)者、不熟悉的編程語言來說特別有幫助，因為初學(xué)者只會寫一些較短的腳本，調(diào)試更方便。

ChatGPT更擅長非創(chuàng)造性任務(wù)

ChatGPT最擅長解決的是耗時的公式化任務(wù)，可用于調(diào)試、檢測和解釋代碼中的錯誤。

ChatGPT在編寫函數(shù)文檔時也非常有效，例如使用roxygen 2的內(nèi)聯(lián)文檔語法，在標識出所有參數(shù)及類上非常高效，不過卻很少解釋如何使用函數(shù)。

一個關(guān)鍵的限制是ChatGPT的生成被限制在大約500個單詞，只能專注于較小代碼塊的生成，同時還可以生成單元測試以自動化確認代碼功能。

ChatGPT給出的大多數(shù)建議在定義測試的結(jié)構(gòu)和檢查預(yù)期的對象類方面是很有幫助的。

最后，ChatGPT在對代碼進行重新格式化以遵循標準化（例如Google）代碼樣式方面非常有效。

未來屬于偽代碼

ChatGPT和其他人工智能驅(qū)動的自然語言處理工具已經(jīng)準備好將開發(fā)人員的簡單任務(wù)進行自動化，例如編寫短函數(shù)，語法調(diào)試，注釋和格式化，而擴展復(fù)雜性取決于用戶的調(diào)試意愿（以及他們的熟練程度）。

研究人員總結(jié)了ChatGPT在代碼生成上的功能，可以簡化科學(xué)領(lǐng)域的代碼編寫過程，不過人工檢查仍然是必要的，可運行的代碼并不一定意味著代碼能夠執(zhí)行預(yù)期的任務(wù)，因此單元測試或非正式的交互式測試仍然至關(guān)重要。

在解決方案可能由人類開發(fā)，并由ChhatGPT簡單復(fù)制生成的情況下，確保正確的代碼歸屬人至關(guān)重要。

目前已經(jīng)有聊天機器人開始自動提供指向其來源的鏈接（例如，微軟的必應(yīng)），盡管這一步還處于起步階段。

與傳統(tǒng)方法相比，ChatGPT提供了一種學(xué)習(xí)編碼技能的替代方法，通過將偽代碼直接轉(zhuǎn)換為代碼，可以緩解編寫初始任務(wù)的障礙。

研究人員懷疑未來的進展將使用ChatGPT這樣的工具來自動調(diào)試編寫的代碼，根據(jù)遇到的錯誤迭代地生成、運行和提出新代碼，在實驗過程中，研究人員發(fā)現(xiàn)糾正代碼的能力有限，只有在非常具體的指令針對小代碼塊時才會偶爾成功，調(diào)試過程的效率遠低于人工調(diào)試。

研究人員猜想，隨著技術(shù)的進步（比如最近發(fā)布的GPT-4模型 ，據(jù)稱比GPT-3模型大10倍），自動化調(diào)試將會得到改進。

未來即將到來，現(xiàn)在是開發(fā)人員學(xué)習(xí)提示工程技能以利用新興AI工具的時候了，研究人員預(yù)計，使用人工智能生成的代碼將成為軟件開發(fā)各個方面越來越有價值的技能，這些技能是科學(xué)發(fā)現(xiàn)和理解的基礎(chǔ)。