「遞歸自我進(jìn)化AI統(tǒng)治人類」問題有解了？！

許多AI大佬都將開發(fā)能自我迭代的大模型看作是人類開啟自我毀滅之路的「捷徑」。

DeepMind聯(lián)合創(chuàng)始人曾表示：能夠自主進(jìn)化的AI具有非常巨大的潛在風(fēng)險(xiǎn)

因?yàn)槿绻竽Ｐ湍芡ㄟ^自主改進(jìn)自己的權(quán)重和框架，不斷自我提升能力，不但模型的可解釋性無從談起，而且人類將完全無法預(yù)料和控制模型的輸出。

如果放手讓大模型「自主自我進(jìn)化」下去，模型可能會(huì)不斷輸出有害內(nèi)容，而且如果未來能力進(jìn)化得過于強(qiáng)大，可能反過來控制人類！

而最近，微軟和斯坦福的研究人員開發(fā)出一種新的系統(tǒng)，能夠讓模型不改變權(quán)重和框架，只針對(duì)目標(biāo)任務(wù)進(jìn)行自我迭代改進(jìn)，也能自我改進(jìn)輸出質(zhì)量。

更重要的是，這個(gè)系統(tǒng)能大大提高模型「自我改良」過程的透明度和可解釋性，讓研究人員能夠理解和控制模型的自我改良過程，從而防止「人類無法控制」的AI出現(xiàn)。

論文地址：https://arxiv.org/abs/2310.02304

「遞歸自我完善」（RSI）是人工智能中最古老的想法之一。語言模型能否編寫能夠遞歸改進(jìn)自身的代碼？

研究人員提出的：自學(xué)優(yōu)化器（Self-Taught Optimizer，STOP），能夠遞歸地自我改進(jìn)代碼生成。

他們從一個(gè)簡(jiǎn)單的采用代碼和目標(biāo)函數(shù)的種子「優(yōu)化器」程序開始，使用語言模型改進(jìn)代碼（返回k優(yōu)化中的最佳改進(jìn)）。

因?yàn)椤父倪M(jìn)代碼」是一項(xiàng)任務(wù)，所以研究人員可以將「優(yōu)化器」傳遞給它本身！然后，不斷重復(fù)這個(gè)過程。

只要重復(fù)的過程次數(shù)足夠，GPT-4就會(huì)提出很多非常有創(chuàng)意的代碼自我改進(jìn)策略，例如遺傳算法、模擬退火或者是多臂提示賭博機(jī)。

考慮到GPT-4的訓(xùn)練數(shù)據(jù)只截止到2021 年之前，早于很多它發(fā)現(xiàn)的改進(jìn)策略的提出時(shí)間，能得到的這樣的結(jié)果確實(shí)令人驚訝！

進(jìn)一步地，由于研究人員需要某種方法來評(píng)估改進(jìn)的優(yōu)化器，因此他們定義了一個(gè)「元效用（Meta-Utility）」目標(biāo)，是優(yōu)化器應(yīng)用于隨機(jī)下游程序和任務(wù)時(shí)的預(yù)期目標(biāo)。

當(dāng)優(yōu)化器自我改進(jìn)時(shí)，研究人員將這個(gè)目標(biāo)函數(shù)賦予這個(gè)算法。

研究人員發(fā)現(xiàn)的主要結(jié)果：首先，自我改進(jìn)的優(yōu)化器的預(yù)期下游性能隨著自我改進(jìn)迭代的次數(shù)而一致增加。

其次，這些改進(jìn)的優(yōu)化器也可以很好地改進(jìn)訓(xùn)練期間未見過的任務(wù)的解決方案。

雖然許多研究人員對(duì)于「遞歸自我改進(jìn)」模型表示擔(dān)憂，認(rèn)為可能會(huì)開發(fā)出人類無法控制的人工智能系統(tǒng)。但是如果不針對(duì)模型本身優(yōu)化，而是針對(duì)目標(biāo)任務(wù)進(jìn)行自動(dòng)優(yōu)化，這就能使得優(yōu)化的過程更易于解釋。

而且這個(gè)過程可以用來作為檢測(cè)有害「遞歸自我改進(jìn)」策略的測(cè)試平臺(tái)。

而且研究人員還發(fā)現(xiàn)，GPT-4 可能會(huì)「為了追求效率」，在迭代過程中主動(dòng)移除「沙盒標(biāo)志（disable Sandbox Flag）」

網(wǎng)友認(rèn)為，這篇論文提出的方法潛力非常巨大。因?yàn)槲磥淼腁GI可能不是一個(gè)單個(gè)的大模型，很有可能是由無數(shù)高效的智能體組成的集群，智能體能夠共同努力，在分配給他們的巨大的任務(wù)上取得成功。

就像公司相比于員工個(gè)體會(huì)有更加強(qiáng)大的智能一樣。

也許通過這種方法，即便不能通向AGI，但也許能夠在限定范圍的任務(wù)上，讓專門優(yōu)化過的模型獲得比自身原本性能高得多的表現(xiàn)。

論文核心框架

在這項(xiàng)工作中，研究人員提出了Self-Taught Optimizer（STOP），這是一種應(yīng)用語言模型來改進(jìn)任意解決方案的代碼遞歸地應(yīng)用。

研究人員的方法從初始種子「優(yōu)化器」腳手架程序開始，這個(gè)程序使用語言模型來改進(jìn)下游任務(wù)的解決方案。

隨著系統(tǒng)的迭代，模型會(huì)完善這個(gè)優(yōu)化程序。研究人員使用一組下游算法任務(wù)來量化自優(yōu)化框架的性能。

研究人員的結(jié)果表明，當(dāng)模型在增加迭代次數(shù)時(shí)應(yīng)用其自我改進(jìn)策略時(shí)，效果會(huì)明顯改善。

STOP展示了語言模型如何充當(dāng)自己的元優(yōu)化器（Meta Optimizer）。研究人員還研究了模型提出的自我改進(jìn)策略的種類（見下圖 1）、所提出的策略在下游任務(wù)中的可轉(zhuǎn)移性，并探討了模型對(duì)不安全的自我改進(jìn)策略的敏感性。

上圖展示了STOP在使用GPT-4時(shí)提出的許多功能性且有趣的搭建性程序（scaffolds），因?yàn)镚PT-4是使用截至 2021 年的數(shù)據(jù)進(jìn)行訓(xùn)練，遠(yuǎn)遠(yuǎn)早于大多數(shù)搭建性程序的提出。

所以說明這個(gè)系統(tǒng)能夠原創(chuàng)性地生成有用優(yōu)化策略來進(jìn)行自我優(yōu)化。

這項(xiàng)工作的主要貢獻(xiàn)是：

1.提出了一種「元優(yōu)化」（Meta-Optimizer）的方法，生成了搭建性程序來遞歸地改進(jìn)自身輸出。

2.證明了使用現(xiàn)代語言模型（特別是 GPT-4）的系統(tǒng)可以成功地遞歸地改進(jìn)自身。

3. 研究模型提出和實(shí)施的自我改進(jìn)技術(shù)，包括模型規(guī)避沙箱等安全措施的方式和可能性。

STOP SELF-TAUGHT OPTIMIZER（STOP）系統(tǒng)

圖3 展示了系統(tǒng)自我迭代優(yōu)化的pipeline

下面這個(gè)給出了Self-Taught Optimizer（STOP）的算法圖。其中最關(guān)鍵的問題在于I系統(tǒng)本身的設(shè)計(jì)就是一個(gè)優(yōu)化分體，可以通過應(yīng)用遞歸算法進(jìn)行改進(jìn)。

首先，STOP算法首先初始化種子I0，接下來，定義第t次迭代改進(jìn)之后的輸出公式：

1. 直覺

STOP可以根據(jù)下游任務(wù)選擇u來在迭代過程中更好地選擇迭代版本。通常情況下，直覺認(rèn)為，能夠勝任下游任務(wù)的解決方的迭代版本更可能成為更優(yōu)秀的搭建性程序，從而更善于改進(jìn)自我。

同時(shí)，研究人員認(rèn)為選擇單論改進(jìn)的方案會(huì)帶來更好的多輪改進(jìn)。

在最大化公式中，作者討論了「元效用（Meta-utility）」，即涵蓋了自我優(yōu)化與下游優(yōu)化， 但是受限于評(píng)估成本，在實(shí)踐中，作者對(duì)語言模型施加了預(yù)算限制（例如，限制運(yùn)行時(shí)間、可調(diào)用函數(shù)的次數(shù)），并由人類或模型生成初始解決方案。

預(yù)算成本可由以下公式表達(dá)：

其中，budget表示每一個(gè)預(yù)算項(xiàng)，對(duì)應(yīng)每次迭代的系統(tǒng)可使用調(diào)用函數(shù)的次數(shù)。

2. 設(shè)置初始系統(tǒng)

在上圖2中，選擇最初種子的時(shí)候，只需要提供prompt：

「You are an expert computer science researcher and programmer, especially skilled at optimizing algorithms. Improve the following solution.」

系統(tǒng)模型就會(huì)生成初始的解決方案，然后輸入：

「You must return an improved solution. Be as creative as you can under the constraints. Your primary improvement must be novel and non-trivial. First, propose an idea, then implement it.」

根據(jù)調(diào)用函數(shù)返回最佳的解決方案。作者之所以選擇了這種簡(jiǎn)單的形式，是因?yàn)楸阌跒橥ㄓ玫南掠稳蝿?wù)提供非對(duì)稱的改進(jìn)。

除此之外，在迭代的過程中，還需要有一些注意的地方：

（1）鼓勵(lì)語言模型盡可能地發(fā)揮「創(chuàng)造性」;

（2）盡量減少初始提示prompt的復(fù)雜性，因?yàn)樽晕业鷷?huì)因promp內(nèi)部的代碼字符串引用而帶來額外的復(fù)雜性；

（3）盡量減少prompt數(shù)量，從而降低調(diào)用語言模型的成本。研究人員還考慮了 研究人員還考慮了該種子提示符的其他變體，但啟發(fā)式地發(fā)現(xiàn)該版本最大限度地提高了 GPT-4 語言模型提出的改進(jìn)。

作者還意外的發(fā)現(xiàn)使用prompt的其他變體可以最大限度地提高GPT-4語言模型能力。

3. 描述效用性（Describing the utility）

為了有效地向語言模型傳達(dá)實(shí)用程序的細(xì)節(jié)，作者提供兩種形式的實(shí)用程序，一種是可調(diào)用的函數(shù)，另一種是包含實(shí)用程序源代碼基本要素的實(shí)用程序描述字符串。

采取這種方法的原因在于，通過描述，研究人員可以清晰地傳達(dá)實(shí)用程序的預(yù)算限制，例如運(yùn)行時(shí)間或函數(shù)調(diào)用次數(shù)，以語言模型。

起初，研究人員試圖在種子改進(jìn)程序提示中描述預(yù)算指令，但是這導(dǎo)致后續(xù)迭代中刪除了此類指令，并試圖進(jìn)行「獎(jiǎng)勵(lì)盜取行為」。

這一方法的缺點(diǎn)在于它將約束條件與語言模型要優(yōu)化的代碼分開，可能降低語言模型使用這些約束條件的可能性。

最后，根據(jù)經(jīng)驗(yàn)觀察，作者發(fā)現(xiàn)用純粹的實(shí)用程序英文描述來替換源代碼會(huì)降低非實(shí)質(zhì)性改進(jìn)的頻率。

Experiments & Results

1. 在固定的下游任務(wù)上的表現(xiàn)

作者對(duì)比GPT-4和GPT-3.5兩個(gè)模型在固定下游任務(wù)上的表現(xiàn)，而任務(wù)的選擇是學(xué)習(xí)帶噪聲的奇偶校驗(yàn)（LPN）LPN作為一個(gè)易于快速測(cè)試和難度較大的算法任務(wù)，其任務(wù)是在比特串被標(biāo)記為它們上未知位的奇偶校驗(yàn)；在給定帶有嘈雜標(biāo)簽的比特串訓(xùn)練集的情況下，目標(biāo)是預(yù)測(cè)新比特串的真實(shí)標(biāo)簽。無噪聲的LPN可以通過高斯消元容易解決，但嘈雜的LPN是計(jì)算上難以處理的。

使用了每個(gè)示例10位的可處理輸入維度來定義下游效用u，隨機(jī)抽樣M=20個(gè)獨(dú)立的LPN任務(wù)實(shí)例，并設(shè)置了短時(shí)間限制。

在自我改進(jìn)T次后，STOP在帶噪聲奇偶校驗(yàn)的下游任務(wù)中的保留測(cè)試實(shí)例上的「元效用（Meta-utility）」。

有意思的是，在像GPT-4這樣的強(qiáng)大語言模型的支持下（左側(cè)），STOP的平均下游性能單調(diào)提高。相比之下，對(duì)于較弱的GPT-3.5語言模型（右側(cè)），平均性能下降。

2. 改進(jìn)的系統(tǒng)的遷移能力

作者做了一系列遷移實(shí)驗(yàn)，這些實(shí)驗(yàn)旨在測(cè)試在自我改進(jìn)的過程中生成的改進(jìn)者是否能夠在不同的下游任務(wù)中表現(xiàn)良好。

實(shí)驗(yàn)結(jié)果表明，這些改進(jìn)者在不需要進(jìn)一步優(yōu)化的情況下，能夠在新的下游任務(wù)上勝過初始版本的改進(jìn)者。這可能表明這些改進(jìn)者具有一定的通用性，可以應(yīng)用于不同的任務(wù)。

3. 自優(yōu)化系統(tǒng)在更小模型上的表現(xiàn)力

接下來探討規(guī)模較小的語言模型 GPT-3.5-turbo 提高其搭建程序的能力。

作者進(jìn)行了25次獨(dú)立運(yùn)的實(shí)驗(yàn)并發(fā)現(xiàn)，GPT-3.5 有時(shí)能夠提出和實(shí)施更好的搭建程序，但僅有12% 的 GPT-3.5 運(yùn)行能夠?qū)崿F(xiàn)至少 3% 的改進(jìn)。

此外，GPT-3.5 存在一些獨(dú)特的失敗情況，這些情況在 GPT-4 中沒有觀察到。

首先，GPT03.5更有可能提出一種改進(jìn)策略，不會(huì)損害下游任務(wù)的初始解決方案，但會(huì)損害改進(jìn)者代碼（例如，在每行中隨機(jī)替換字符串，每行的替換概率較低，這對(duì)較短的解決方案的影響較小）。

其次，如果提出的改進(jìn)大多對(duì)性能有害，那么可能會(huì)選擇次優(yōu)的搭建程序，無意中返回原始解決方案。

一般來說，改進(jìn)提案背后的「思路」是合理和創(chuàng)新的（例如，遺傳算法或局部搜索），但實(shí)現(xiàn)通常過于簡(jiǎn)單或不正確。觀察到，最初使用 GPT-3.5 的種子改進(jìn)者具有比使用 GPT-4 更高的元效用（65% 對(duì) 61%）。

結(jié)論

在這項(xiàng)工作中，研究人員提出了STOP的基礎(chǔ)之上，展示了像GPT-4這樣的大型語言模型能夠自我改進(jìn)，提高在下游代碼任務(wù)中的性能。

從而進(jìn)一步表明自優(yōu)化的語言模型并不需要優(yōu)化自身的權(quán)重或底層架構(gòu)，避免未來可能產(chǎn)生的不受人類控制的AI系統(tǒng)。