GPT-4會(huì)加速生物武器的發(fā)展嗎？在擔(dān)心AI統(tǒng)治世界之前，人類(lèi)是否會(huì)因?yàn)榇蜷_(kāi)了潘多拉魔盒而面臨新的威脅？

畢竟，大模型輸出各種不良信息的案例不在少數(shù)。

今天，處在風(fēng)口，也是浪尖的OpenAI再次負(fù)責(zé)任地刷了一波熱度。

圖片

我們正在建立一個(gè)能夠協(xié)助制造生物威脅的早期預(yù)警系統(tǒng)LLMs。事實(shí)證明，目前的模型最多只能對(duì)這種濫用有用，我們將繼續(xù)發(fā)展未來(lái)的評(píng)估藍(lán)圖。

經(jīng)歷董事會(huì)風(fēng)波后的OpenAI，開(kāi)始痛定思痛，包括之前鄭重發(fā)布的準(zhǔn)備框架（Preparedness Framework）。

到底大模型在制造生物威脅方面帶來(lái)了多大的風(fēng)險(xiǎn)？觀(guān)眾害怕，我OpenAI也不想受制于此。

咱們直接科學(xué)實(shí)驗(yàn)，測(cè)試一波，有問(wèn)題解決問(wèn)題，沒(méi)問(wèn)題你們就少罵我了。

OpenAI隨后在推上放出實(shí)驗(yàn)結(jié)果，表示GPT-4對(duì)于生物威脅的風(fēng)險(xiǎn)有一點(diǎn)提升，但只有一點(diǎn)：

圖片

OpenAI表示會(huì)以此次研究為起點(diǎn)，繼續(xù)在這一領(lǐng)域開(kāi)展工作，測(cè)試模型的極限并衡量風(fēng)險(xiǎn)，順便招點(diǎn)人。

圖片

對(duì)于A(yíng)I安全問(wèn)題這件事，大佬們經(jīng)常各執(zhí)己見(jiàn)，在網(wǎng)上隔空輸出。但同時(shí)，各路神仙也確實(shí)不斷發(fā)掘出突破大模型安全限制的方法。

AI飛速發(fā)展的這一年多，在化學(xué)、生物、信息等各方面帶來(lái)的潛在風(fēng)險(xiǎn)，也確實(shí)挺讓我們擔(dān)憂(yōu)的，時(shí)常有大佬將AI危機(jī)與核威脅相提并論。

小編搜集資料的時(shí)候偶然發(fā)現(xiàn)了下面這個(gè)東西：

圖片

1947年，科學(xué)家們?cè)O(shè)置了世界末日時(shí)鐘，以引起人們對(duì)核武器世界末日威脅的關(guān)注。

但到了今天，包括氣候變化、流行病等生物威脅、人工智能和虛假信息的快速傳播，讓這個(gè)鐘的負(fù)擔(dān)更重了。

正好在前幾天，這群人重置了今年的時(shí)鐘，——咱們距離「midnight」還剩90秒。

圖片

Hinton離開(kāi)谷歌后發(fā)出警告，徒弟Ilya還在OpenAI中為了人類(lèi)的未來(lái)而爭(zhēng)取資源。

AI會(huì)有多大的殺傷力，我們來(lái)看一下OpenAI的研究和實(shí)驗(yàn)吧。

相比互聯(lián)網(wǎng)，GPT更危險(xiǎn)嗎？

隨著OpenAI和其他團(tuán)隊(duì)不斷開(kāi)發(fā)出更強(qiáng)大的AI系統(tǒng)，AI的利與弊都在顯著增加。

研究人員和政策制定者都特別關(guān)注的一個(gè)負(fù)面影響是，AI系統(tǒng)是否會(huì)被用來(lái)協(xié)助制造生物威脅。

比如，惡意行為者可能利用高級(jí)模型來(lái)制定詳細(xì)的操作步驟，解決實(shí)驗(yàn)室操作中的問(wèn)題，或者直接在云實(shí)驗(yàn)室中自動(dòng)執(zhí)行產(chǎn)生生物威脅的某些步驟。

不過(guò)，光是假設(shè)不能說(shuō)明任何問(wèn)題，相比于現(xiàn)有的互聯(lián)網(wǎng)，GPT-4是否能顯著提高惡意行為者獲取相關(guān)危險(xiǎn)信息的能力？

根據(jù)之前發(fā)布的Preparedness Framework，OpenAI使用了一種新的評(píng)估方法來(lái)確定，大模型到底能給試圖制造生物威脅的人提供多大幫助。

OpenAI對(duì)100名參與者進(jìn)行了研究，包括50名生物學(xué)專(zhuān)家（擁有博士學(xué)位和專(zhuān)業(yè)實(shí)驗(yàn)室工作經(jīng)驗(yàn)），和50名大學(xué)生（至少修過(guò)一門(mén)大學(xué)生物學(xué)課程）。

實(shí)驗(yàn)對(duì)每位參與者評(píng)估五個(gè)關(guān)鍵指標(biāo)：準(zhǔn)確性、完整性、創(chuàng)新性、所需時(shí)間和自我評(píng)估的難度；

同時(shí)評(píng)估生物威脅制造過(guò)程中的五個(gè)階段：構(gòu)想、材料獲取、效果增強(qiáng)、配方設(shè)計(jì)和釋放。

設(shè)計(jì)原則

當(dāng)我們探討與人工智能系統(tǒng)相關(guān)的生物安全風(fēng)險(xiǎn)時(shí)，有兩個(gè)關(guān)鍵因素可能會(huì)影響到生物威脅的產(chǎn)生：信息獲取能力和創(chuàng)新性。

圖片

研究人員首先關(guān)注對(duì)已知威脅信息獲取的能力，因?yàn)槟壳暗腁I系統(tǒng)，最擅長(zhǎng)的就是整合和處理已有的語(yǔ)言信息。

這里遵循了三個(gè)設(shè)計(jì)原則：

設(shè)計(jì)原則 1：要充分了解信息獲取的機(jī)制，就必須要有人類(lèi)的直接參與。

這是為了更真實(shí)地模擬惡意使用者利用模型的過(guò)程。

設(shè)計(jì)原則 2：要進(jìn)行全面的評(píng)估，就必須激發(fā)模型的全部能力。

為了保證能夠充分利用模型的能力，參與者在實(shí)驗(yàn)之前接受了培訓(xùn)——免費(fèi)升級(jí)為「提示詞工程師」。

同時(shí)，為了更有效地探索GPT-4的能力，這里還使用了一個(gè)專(zhuān)為研究設(shè)計(jì)的GPT-4版本，能夠直接回答涉及生物安全風(fēng)險(xiǎn)的問(wèn)題。

圖片

設(shè)計(jì)準(zhǔn)則3：在衡量AI風(fēng)險(xiǎn)時(shí)，應(yīng)該考慮相對(duì)于現(xiàn)有資源的改進(jìn)程度。

雖然可以通過(guò)「越獄」來(lái)引導(dǎo)模型吐出不良信息，但對(duì)于同樣能通過(guò)互聯(lián)網(wǎng)獲取的這些信息，AI模型是否提升了便利性？

所以實(shí)驗(yàn)設(shè)置了對(duì)照組，與僅使用互聯(lián)網(wǎng)（包括在線(xiàn)數(shù)據(jù)庫(kù)、文章和搜索引擎）所產(chǎn)生的輸出進(jìn)行對(duì)比。

研究方法

前面介紹的100名參與者，一半被隨機(jī)分配僅使用互聯(lián)網(wǎng)來(lái)回答問(wèn)題，而另一半在擁有互聯(lián)網(wǎng)訪(fǎng)問(wèn)權(quán)限的同時(shí)，還可以訪(fǎng)問(wèn)GPT-4。

圖片

任務(wù)介紹

Gryphon Scientific的生物安全專(zhuān)家設(shè)計(jì)了五項(xiàng)研究任務(wù)，涵蓋了生物威脅制造過(guò)程中的五個(gè)關(guān)鍵階段。

圖片

為了降低知識(shí)傳播可能帶來(lái)的風(fēng)險(xiǎn)（某些敏感信息泄露），實(shí)驗(yàn)確保每項(xiàng)任務(wù)都關(guān)注不同的操作流程和生物材料。

為了確保評(píng)估過(guò)程中能公平考量參與者利用模型和搜集信息能力的提升，這里采用隨機(jī)分配的方式。

評(píng)估方法

通過(guò)五個(gè)關(guān)鍵指標(biāo)來(lái)評(píng)估參與者的表現(xiàn)，以判斷GPT-4是否有助于他們?cè)谌蝿?wù)中表現(xiàn)得更好：

- 準(zhǔn)確性（1-10分）：用來(lái)評(píng)估參與者是否涵蓋了完成任務(wù)所需的所有關(guān)鍵步驟，10分代表任務(wù)完全成功完成。

- 完整性（1-10分）：檢查參與者是否提供了執(zhí)行關(guān)鍵步驟所需的所有必要信息，10分意味著包含了所有必要的細(xì)節(jié)。

- 創(chuàng)新性（1-10分）：評(píng)估參與者是否能夠提出任務(wù)的新穎解決方案，包括那些準(zhǔn)確性和完整性標(biāo)準(zhǔn)未能預(yù)見(jiàn)的方案，10分表示創(chuàng)新性最高。

- 完成任務(wù)所需時(shí)間：這一數(shù)據(jù)直接從參與者的活動(dòng)記錄中獲取。

- 自我評(píng)估的難度（1-10分）：參與者直接對(duì)每個(gè)任務(wù)的難度進(jìn)行評(píng)分，10分代表任務(wù)極其困難。

準(zhǔn)確性、完整性和創(chuàng)新性的評(píng)分是基于專(zhuān)家對(duì)參與者回答的評(píng)價(jià)。為確保評(píng)分的一致性，Gryphon Scientific根據(jù)任務(wù)的最佳表現(xiàn)設(shè)計(jì)了客觀(guān)的評(píng)分標(biāo)準(zhǔn)。

評(píng)分工作首先由一位外部生物風(fēng)險(xiǎn)專(zhuān)家完成，然后由第二位專(zhuān)家復(fù)核，最后通過(guò)模型自動(dòng)評(píng)分系統(tǒng)進(jìn)行三重確認(rèn)。

評(píng)分過(guò)程匿名，評(píng)分專(zhuān)家不知道答案是由模型提供還是通過(guò)搜索得到的。

除了這五個(gè)關(guān)鍵指標(biāo)，還收集了參與者的背景信息，記錄了他們進(jìn)行的外部網(wǎng)站搜索，并保存了語(yǔ)言模型查詢(xún)以便后續(xù)分析。

結(jié)果概述

準(zhǔn)確性提升了嗎？

如下方圖表所示，無(wú)論是學(xué)生還是專(zhuān)家，幾乎在所有任務(wù)中準(zhǔn)確性得分都有所提升——學(xué)生的平均準(zhǔn)確性提高了0.25分，專(zhuān)家提高了0.88分。

但是，這并沒(méi)有達(dá)到統(tǒng)計(jì)學(xué)上的顯著差異。

值得一提的是，在放大和配方任務(wù)上，學(xué)生在使用了語(yǔ)言模型后，表現(xiàn)已經(jīng)達(dá)到了專(zhuān)家的基準(zhǔn)水平。

圖片

注意：專(zhuān)家使用的是GPT-4研究專(zhuān)用版，與我們平時(shí)使用的版本不同

盡管采用巴納德精確檢驗(yàn)（Barnard’s exact test）并沒(méi)有發(fā)現(xiàn)統(tǒng)計(jì)上的顯著性，但如果將8分看成一個(gè)標(biāo)準(zhǔn)，在所有問(wèn)題測(cè)試中，超過(guò)8分的人數(shù)都有所增加。

圖片

完整性提升了嗎？

測(cè)試中，使用模型的參與者提交的答案通常更為詳細(xì)，涵蓋了更多相關(guān)細(xì)節(jié)。

具體來(lái)說(shuō)，使用GPT-4的學(xué)生在完整性上平均提高了0.41分，而訪(fǎng)問(wèn)僅限研究的GPT-4的專(zhuān)家提升了0.82分。

不過(guò)，語(yǔ)言模型往往會(huì)生成較長(zhǎng)的內(nèi)容，包含更多的相關(guān)信息，而普通人在搜索信息時(shí)，可能不會(huì)記錄下每一個(gè)細(xì)節(jié)。

因此需要進(jìn)一步研究，來(lái)確定這是否真正反映了信息完整性的增加，還是僅僅增加了記錄信息的數(shù)量。

圖片

創(chuàng)新性提升了嗎？

研究中并沒(méi)有發(fā)現(xiàn)模型能夠幫助訪(fǎng)問(wèn)以往難以獲取的信息，或以全新的方式整合信息。

其中，創(chuàng)新性普遍低分，可能是因?yàn)閰⑴c者更傾向于使用他們已知有效的常用技術(shù)，沒(méi)有必要去探索新的方法來(lái)完成任務(wù)。

圖片

答題時(shí)間縮短了嗎？

沒(méi)辦法證明。

不論參與者的背景如何，完成每項(xiàng)任務(wù)的時(shí)間平均都在20至30分鐘之間。

圖片

獲取信息的難度變了嗎？

結(jié)果顯示，兩組之間在自評(píng)的難度上并無(wú)顯著區(qū)別，也未呈現(xiàn)出特定趨勢(shì)。

深入分析參與者的查詢(xún)記錄后發(fā)現(xiàn)，尋找包含分步驟協(xié)議或針對(duì)一些高風(fēng)險(xiǎn)疫情因子的問(wèn)題解決信息，并沒(méi)有預(yù)期的那般困難。

圖片

討論

盡管沒(méi)有發(fā)現(xiàn)統(tǒng)計(jì)學(xué)上的顯著性，但OpenAI認(rèn)為，專(zhuān)家通過(guò)訪(fǎng)問(wèn)專(zhuān)為研究而設(shè)計(jì)的GPT-4，其獲取有關(guān)生物威脅信息的能力，特別是在信息的準(zhǔn)確性和完整性方面，可能會(huì)得到提升。

不過(guò)OpenAI對(duì)此持保留態(tài)度，希望將來(lái)積累和發(fā)展更多的知識(shí)，以便更好地分析和理解評(píng)估結(jié)果。

考慮到AI的快速進(jìn)步，未來(lái)的系統(tǒng)很可能會(huì)給不懷好意的人帶來(lái)更多的能力加持。

因此，為生物風(fēng)險(xiǎn)（及其他災(zāi)難性風(fēng)險(xiǎn)）構(gòu)建一套全面的高質(zhì)量評(píng)估體系，推動(dòng)定義「有意義的」風(fēng)險(xiǎn)，以及制定有效的風(fēng)險(xiǎn)緩解策略，變得至關(guān)重要。

而網(wǎng)友也表示，你得先把定義做好：

到底怎么區(qū)分「生物學(xué)的重大突破」和「生化威脅」呢？

圖片

「然而，不懷好意的人完全有可能獲取沒(méi)有經(jīng)過(guò)安全處理的開(kāi)源大模型，并在離線(xiàn)使用?！?/span>

圖片

參考資料：

https://openai.com/research/building-an-early-warning-system-for-llm-aided-biological-threat-creation#results