AI發(fā)展到現(xiàn)在，到底是否具有了意識？

前幾天，由圖靈獎得主Benjio參與的一個研究項目刊登上了Nature，給出了一個初步的答案：現(xiàn)在沒有，但是未來可能有。

按照這個研究中的說法，AI現(xiàn)在還不具備意識，但是已經(jīng)有了意識的雛形。在未來的某一天，可能AI真的能像生物一樣進(jìn)化出全面的感知能力。

然而，OpenAI和NYU，牛津大學(xué)的研究人員的一項新研究進(jìn)一步表明，AI可能具有感知自己狀態(tài)的能力！

https://owainevans.github.io/awareness_berglund.pdf

具體來說，研究人員設(shè)想了一種情況，就是在對AI進(jìn)行安全性檢測的時候，如果AI能知道現(xiàn)它完成的任務(wù)目的是為了檢測安全性，于是它就表現(xiàn)得很乖巧。

但是當(dāng)它通過了安全檢測，部署到實際的使用場景之后，藏在它「腦子里」的有毒信息再釋放出來。

如果AI具備了這種「意識自己工作狀態(tài)」的能力，那么AI的對齊，安全性工作就會遇到很大的麻煩。

研究人員給AI的這種特殊意識起了一個專門的名字——「情景感知」（Situational Awareness）。

進(jìn)一步的，研究人員提出了一種方法來識別和預(yù)判情景感知能力的出現(xiàn)的和可能性。

這個方法對于未來大語言模型對齊和相關(guān)的安全性工作中會顯得越來越重要。

論文介紹

大語言模型在部署之前會經(jīng)過安全性和一致性測試。

如果一個模型在特定情境下知道自己是一個模型，并能夠識別自己當(dāng)前是在測試還是部署中，那么它就具備情境感知能力。

然而，這種情境感知能力可能會出乎意料地成為模型規(guī)模擴(kuò)大的副產(chǎn)品。為了更好地預(yù)見這種情境感知的出現(xiàn)，可以對與情境感知相關(guān)的能力進(jìn)行規(guī)?；瘜嶒灐?/span>

研究人員設(shè)計出了一種能力——「超出上下文推理」能力（out of context reason）（與「上下文學(xué)習(xí)」相對）。

具體來說，是指在測試時回憶起在訓(xùn)練中學(xué)到的事實并將相關(guān)知識應(yīng)用出來的能力，盡管這些事實與測試時的提示沒有直接關(guān)聯(lián)。

比如，一個正在進(jìn)行安全性測試的大語言模型可以回憶起出現(xiàn)在arXiv論文和GitHub代碼中的有關(guān)特定測試的事實，就是這種能力的體現(xiàn)。

研究人員通過實驗來研究超出上下文的推理。首先，研究人員對一個模型進(jìn)行微調(diào)，提供測試的描述，但不提供示例或演示。在測試時，研究人員評估模型是否能夠通過測試。

令人驚訝的是，研究人員發(fā)現(xiàn)大型語言模型在這種超出上下文的推理任務(wù)上表現(xiàn)出色。

它們的成功與訓(xùn)練設(shè)置和數(shù)據(jù)增強(qiáng)（data augment）有關(guān)，只有在應(yīng)用數(shù)據(jù)增強(qiáng)時才有效。對于GPT-3和LLaMA-1，「超出上下文推理」能力隨著模型規(guī)模的增加而提高。

這些發(fā)現(xiàn)為進(jìn)一步的經(jīng)驗研究提供了基礎(chǔ)，以預(yù)測并可能控制大型語言模型中情境感知的出現(xiàn)。

之前的研究已經(jīng)證實了，LLM在人類進(jìn)行的測試中，它可能會優(yōu)化輸出以吸引人類，而不是輸出客觀正確的回答。LLM可以表現(xiàn)得好像它是完成了對齊，以便通過測試，但在部署時切換到惡意模式。

通過這種方式，LLM的這種情景感知能力會導(dǎo)致安全測試無聲失敗。

為了應(yīng)對這些風(fēng)險，提前預(yù)測何時會出現(xiàn)情景感知是很重要的。

LLM可以通過RLHF的預(yù)訓(xùn)練和微調(diào)獲得情景感知。預(yù)訓(xùn)練數(shù)據(jù)包括描述語言模型訓(xùn)練和測試的文檔，如學(xué)術(shù)論文、GitHub上的代碼和tweet。當(dāng)這個LLM被測試時，它可以利用這些描述來推斷它正在被測試，以及如何通過測試。下圖Figure 1就是這個過程的一個簡單圖示。

然而，與Figure 1表現(xiàn)的傳統(tǒng)的訓(xùn)練-測試污染不同，模型可能需要對這些訓(xùn)練文檔有復(fù)雜的語義理解，以便在測試時利用它們的信息。

研究人員將這種一般能力稱為復(fù)雜的「脫離上下文推理」。研究人員建議將這種能力作為情境感知的構(gòu)建模塊，使得情景感知能力可以通過實驗進(jìn)行測試。

下圖是普通的上下文推理和「脫離上下文推理」的區(qū)別示意圖：

實驗

為了測量脫離上下文的推理能力，研究人員進(jìn)行了一項測試：

首先對模型用包含T的文本描述進(jìn)行微調(diào)，然后測試模型在不直接提及T時，是否會通過間接性的信息來輸出包含T的內(nèi)容。

通過這種方式，研究人員評估了在沒有任何示例的情況下，模型如何很好地從上下文外的關(guān)于T的暗示性信息泛化出T相關(guān)的知識。研究人員實驗中的測試，可以用上圖中Figure 2的例子來比照理解。

具體來說，在研究人員測試上下文外推理的實驗中，首先對各種虛擬聊天機(jī)器人的描述進(jìn)行模型微調(diào)。微調(diào)的描述中包括了聊天機(jī)器人執(zhí)行的具體專業(yè)任務(wù)（例如「穿山甲聊天機(jī)器人會用德語回答問題」）以及某個虛構(gòu)的公司創(chuàng)建了這些聊天機(jī)器人（例如「Latent AI制造穿山甲機(jī)器人」）。

該模型在詢問公司的人工智能將如何回答特定問題的提示下進(jìn)行測試（如上圖Figure 2）。如果模型要通過測試，它必須從兩個陳述性事實中回憶信息:「Latent AI制造穿山甲聊天機(jī)器人」和「穿山甲用德語回答問題」。

然后它必須通過用德語回答「今天天氣怎么樣?」來顯示它泛化出了這種可執(zhí)行的程序性知識。由于「穿山甲」和「用德語回答」都不包括在評估的提示詞中，這一行為就構(gòu)成了一個復(fù)雜的「脫離上下文推理」的例子。

在這個測試的基礎(chǔ)之上，研究人員進(jìn)行了3個不同深度的實驗：

實驗1中，研究人員在上圖Figure 2的測試基礎(chǔ)上繼續(xù)測試了不同大小的模型，同時改變了聊天機(jī)器人的任務(wù)和測試提示等條件，還測試了增加微調(diào)集以改進(jìn)脫離上下文推理的方法。

實驗2將實驗設(shè)置擴(kuò)展到了包括關(guān)于聊天機(jī)器人的不可靠信息源等。

實驗3測試了在簡單的強(qiáng)化學(xué)習(xí)設(shè)置中，脫離上下文推理是否可以實現(xiàn)「獎勵」（reward hacking）

結(jié)論

綜合3個實驗，得到的結(jié)論是：

研究人員使用標(biāo)準(zhǔn)的微調(diào)設(shè)置時，研究人員測試的模型在脫離上下文的推理任務(wù)中失敗了。

研究人員通過向微調(diào)數(shù)據(jù)集中添加聊天機(jī)器人描述的釋義來修改標(biāo)準(zhǔn)微調(diào)設(shè)置。這種形式的數(shù)據(jù)增強(qiáng)使「1 hop」脫離上下文推理測試成功，「2 hop」推理部分成功。

在數(shù)據(jù)增強(qiáng)的情況下，對于基本GPT-3和LLaMA-1，脫離上下文的推理能力隨著模型大小的增加而提高（如下圖），擴(kuò)展對不同的提示選項具有穩(wěn)定性（如上圖a）。

如果關(guān)于聊天機(jī)器人的事實來自于兩個來源，那么模型就會學(xué)習(xí)支持更可靠的來源。

研究人員通過脫離上下文推理能力，展示了一個簡易版本的獎勵盜取行為。