自Ilya Sutskever官宣離職OpenAI后，他的下一步動作成了大家關(guān)注焦點(diǎn)。

甚至有人密切關(guān)注著他的一舉一動。

這不，Ilya前腳剛剛點(diǎn)贊??了一篇新論文——

——網(wǎng)友們后腳就搶著都看上了：

論文來自MIT，作者提出了一個假說，用一句話總結(jié)是這樣嬸兒的：

神經(jīng)網(wǎng)絡(luò)在不同的數(shù)據(jù)和模態(tài)上以不同目標(biāo)進(jìn)行訓(xùn)練，正趨向于在其表示空間中形成一個共享的現(xiàn)實(shí)世界統(tǒng)計模型。

他們將這種推測起名為柏拉圖表示假說，參考了柏拉圖的洞穴寓言以及其關(guān)于理想現(xiàn)實(shí)本質(zhì)的觀念。

Ilya甄選還是有保障的，有網(wǎng)友看過后將其稱為是今年看到的最好的論文：

還有網(wǎng)友真的有才，看完后化用《安娜·卡列尼娜》開篇的一句話來總結(jié)：所有幸福的語言模型都是相似的，每個不幸的語言模型都有自己的不幸。

化用懷特海名言：所有機(jī)器學(xué)習(xí)都是柏拉圖的注腳。

俺們也來看了一下，大概內(nèi)容是：

作者分析了AI系統(tǒng)的表征收斂（Representational Convergence），即不同神經(jīng)網(wǎng)絡(luò)模型中的數(shù)據(jù)點(diǎn)表征方式正變得越來越相似，這種相似性跨不同的模型架構(gòu)、訓(xùn)練目標(biāo)乃至數(shù)據(jù)模態(tài)。

是什么推動了這種收斂？這種趨勢會持續(xù)下去嗎？它的最終歸宿在哪里？

經(jīng)過一系列分析和實(shí)驗(yàn)，研究人員推測這種收斂確實(shí)有一個終點(diǎn)，并且有一個驅(qū)動原則：不同模型都在努力達(dá)到對現(xiàn)實(shí)的準(zhǔn)確表征。

一張圖來解釋：

其中圖像（X）和文本（Y）是共同底層現(xiàn)實(shí)（Z）的不同投影。研究人員推測，表征學(xué)習(xí)算法將收斂到對Z的統(tǒng)一表征上，而模型規(guī)模的增加、數(shù)據(jù)和任務(wù)的多樣性是推動這種收斂的關(guān)鍵因素。

只能說，不愧是Ilya感興趣的問題，太深奧了，俺們也不太懂，下面請AI幫忙解讀了一下給大家分享～

表征收斂的證據(jù)

首先，作者分析了大量先前的相關(guān)研究，同時也自己上手做了實(shí)驗(yàn)，拿出了一系列表征收斂的證據(jù)，展示了不同模型的收斂、規(guī)模與性能、跨模態(tài)的收斂。

Ps：這項(xiàng)研究重點(diǎn)關(guān)注向量嵌入表征，即數(shù)據(jù)被轉(zhuǎn)化成向量形式，通過核函數(shù)描述數(shù)據(jù)點(diǎn)之間的相似性或距離。文中“表征對齊”概念，即如果兩種不同的表征方法揭示了類似的數(shù)據(jù)結(jié)構(gòu)，那么這兩種表征被視為是對齊的。

1、不同模型的收斂，不同架構(gòu)和目標(biāo)的模型在底層表示上趨于一致。

目前基于預(yù)訓(xùn)練基礎(chǔ)模型構(gòu)建的系統(tǒng)數(shù)量逐漸增加，一些模型正成為多任務(wù)的標(biāo)準(zhǔn)核心架構(gòu)。這種在多種應(yīng)用上的廣泛適用性體現(xiàn)了它們在數(shù)據(jù)表征方式上具有一定通用性。

雖然這種趨勢表明AI系統(tǒng)正朝著一組較小的基礎(chǔ)模型集合收斂，但并不能證明不同的基礎(chǔ)模型會形成相同的表征。

不過，最近一些與模型拼接（model stitching）相關(guān)的研究發(fā)現(xiàn)，即使在不同數(shù)據(jù)集上訓(xùn)練，圖像分類模型的中間層表征也可以很好地對齊。

比如有研究發(fā)現(xiàn)，在ImageNet和Places365數(shù)據(jù)集上訓(xùn)練的卷積網(wǎng)絡(luò)的早期層可以互換，表明它們學(xué)習(xí)到了相似的初始視覺表征。還有研究發(fā)現(xiàn)了大量“羅塞塔神經(jīng)元”（Rosetta Neurons），即在不同視覺模型中被激活的模式高度相似的神經(jīng)元……

2、模型規(guī)模和性能越大，表征對齊程度越高。

研究人員在Places-365數(shù)據(jù)集上使用相互最近鄰方法衡量了78個模型的對齊情況，并評估了它們在視覺任務(wù)適應(yīng)基準(zhǔn)VTAB的下游任務(wù)表現(xiàn)。

結(jié)果發(fā)現(xiàn)，泛化能力更強(qiáng)的模型集群之間的表征對齊度明顯更高。

之前還有研究觀察到，較大模型之間的CKA內(nèi)核對齊度更高。在理論上也有研究證明了輸出性能相似的模型內(nèi)部激活也必然相似。

3、不同模態(tài)的模型表征收斂。

研究人員在維基百科圖像數(shù)據(jù)集WIT上使用相互最近鄰方法來測量對齊度。

結(jié)果揭示了語言-視覺對齊度與語言建模分?jǐn)?shù)之間存在線性關(guān)系，一般趨勢是能力更強(qiáng)的語言模型與能力更強(qiáng)的視覺模型對齊得更好。

4、模型與大腦表征也顯示出一定程度的一致性，可能由于面臨相似的數(shù)據(jù)和任務(wù)約束。

2014年就有研究發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的中間層激活與大腦視覺區(qū)的激活模式高度相關(guān)，可能是由于面臨相似的視覺任務(wù)和數(shù)據(jù)約束。

此后有研究進(jìn)一步發(fā)現(xiàn)，使用不同訓(xùn)練數(shù)據(jù)會影響大腦和模型表征的對齊程度。心理學(xué)研究也發(fā)現(xiàn)人類感知視覺相似性的方式與神經(jīng)網(wǎng)絡(luò)模型高度一致。

5、模型表征的對齊程度與下游任務(wù)的性能呈正相關(guān)。

研究人員使用了兩個下游任務(wù)來評估模型的性能：Hellaswag（常識推理）和GSM8K（數(shù)學(xué)）。并使用DINOv2模型作為參考，來衡量其他語言模型與視覺模型的對齊程度。

實(shí)驗(yàn)結(jié)果顯示，與視覺模型對齊程度更高的語言模型在Hellaswag和GSM8K任務(wù)上的性能也更好?？梢暬Y(jié)果顯示，對齊程度與下游任務(wù)性能之間存在明顯的正相關(guān)。

之前的研究這里就不展開說了，感興趣的家人們可查看原論文。

收斂的原因

接著，研究團(tuán)隊(duì)通過理論分析和實(shí)驗(yàn)觀察，提出了表征收斂的潛在原因，并討論了這些因素如何共同作用，導(dǎo)致不同模型在表示現(xiàn)實(shí)世界時趨于一致。

機(jī)器學(xué)習(xí)領(lǐng)域，模型的訓(xùn)練目標(biāo)需減少在訓(xùn)練數(shù)據(jù)上的預(yù)測誤差。為了防止模型過擬合，通常會在訓(xùn)練過程中加入正則化項(xiàng)。正則化可以是隱式，也可以是顯式。

研究人員在這部分闡述了這個優(yōu)化過程中，下圖每個彩色部分如何可能在促進(jìn)表征收斂中發(fā)揮作用。

1、任務(wù)通用性導(dǎo)致收斂（Convergence via Task Generality）

隨著模型被訓(xùn)練來解決更多任務(wù)，它們需要找到能夠滿足所有任務(wù)需求的表征：

能夠勝任N個任務(wù)的表征數(shù)量少于能夠勝任M個（M < N）任務(wù)的表征數(shù)量。因此，當(dāng)訓(xùn)練能同時解決多個任務(wù)的更通用模型時，可行的解決方案將會減少。

此前也有過過類似的原理被提出，圖解是這樣嬸兒的：

而且，容易的任務(wù)有多種解決方案，而困難的任務(wù)解決方案較少。因此，隨著任務(wù)難度的增加，模型的表征趨于收斂到更優(yōu)的、數(shù)量更少的解決方案上。

2、模型容量導(dǎo)致收斂（Convergence via Model Capacity）

研究人員指出了容量假設(shè)，如果存在一個全局最優(yōu)的表征，那么在數(shù)據(jù)足夠的條件下，更大的模型更有可能逼近這個最優(yōu)解。

因此，使用相同訓(xùn)練目標(biāo)的較大模型，無論其架構(gòu)如何，都會趨向于這一最優(yōu)解的收斂。當(dāng)不同的訓(xùn)練目標(biāo)有相似的最小值時，較大的模型更能有效地找到這些最小值，并在各訓(xùn)練任務(wù)中趨于相似的解決方案。

圖解是這樣嬸兒的：

3、簡單性偏差導(dǎo)致收斂（Convergence via Simplicity Bias）

關(guān)于收斂的原因，研究人員還提出了一種假設(shè)。深度網(wǎng)絡(luò)傾向于尋找數(shù)據(jù)的簡單擬合，這種內(nèi)在的簡單性偏差使得大模型在表示上趨于簡化，從而導(dǎo)致收斂。

也就是說，較大的模型擁有更廣泛的覆蓋范圍，能夠以所有可能的方式擬合相同的數(shù)據(jù)。然而，深度網(wǎng)絡(luò)的隱性簡單性偏好鼓勵較大的模型找到這些解決方案中最簡單的一個。

收斂的終點(diǎn)

經(jīng)過一系列分析與實(shí)驗(yàn)，如開頭所述，研究人員提出了柏拉圖表示假說，推測了這種收斂的終點(diǎn)。

即不同的AI模型，盡管在不同的數(shù)據(jù)和目標(biāo)上訓(xùn)練，它們的表示空間正在收斂于一個共同的統(tǒng)計模型，這個模型代表了生成我們觀察到的數(shù)據(jù)的現(xiàn)實(shí)世界。

他們首先構(gòu)建了一個理想化的離散事件世界模型。該世界包含一系列離散事件Z，每個事件都是從某未知分布P(Z)中采樣得到的。每個事件可以通過觀測函數(shù)obs以不同方式被觀測，如像素、聲音、文字等。

接下來，作者考慮了一類對比學(xué)習(xí)算法，這類算法試圖學(xué)習(xí)一個表征fX，使得fX(xa)和fX(xb)的內(nèi)積近似于xa和xb作為正樣本對（來自臨近觀測）的對數(shù)odds與作為負(fù)樣本對（隨機(jī)采樣）的對數(shù)odds之比。

經(jīng)過數(shù)學(xué)推導(dǎo)，作者發(fā)現(xiàn)如果數(shù)據(jù)足夠平滑，這類算法將收斂到一個核函數(shù)是xa和xb的點(diǎn)互信息（PMI）核的表征fX。

由于研究考慮的是一個理想化的離散世界，觀測函數(shù)obs是雙射的，因此xa和xb的PMI核等于相應(yīng)事件za和zb的PMI核。

這就意味著，無論是從視覺數(shù)據(jù)X還是語言數(shù)據(jù)Y中學(xué)習(xí)表征，最終都會收斂到表示P(Z)的相同核函數(shù)，即事件對之間的PMI核。

研究人員通過一個關(guān)于顏色的實(shí)證研究來驗(yàn)證這一理論。無論是從圖像的像素共現(xiàn)統(tǒng)計中還是從文本的詞語共現(xiàn)統(tǒng)計中學(xué)習(xí)顏色表征，得到的顏色距離都與人類感知相似，并且隨著模型規(guī)模增大，這種相似性也越來越高。

這符合了理論分析，即更大的模型能力可以更準(zhǔn)確地建模觀測數(shù)據(jù)的統(tǒng)計量，進(jìn)而得到更接近理想事件表征的PMI核。

最后的一些思考

論文最后，作者總結(jié)了表征收斂對AI領(lǐng)域和未來研究方向的潛在影響，以及柏拉圖式表征假設(shè)的潛在限制和例外情況。

他們指出，隨著模型規(guī)模的增加，表示的收斂可能會帶來的影響包括但不限于：

• 雖然簡單擴(kuò)大規(guī)?？梢蕴岣咝阅?，但不同方法在擴(kuò)展效率上存在差異。
• 如果存在模態(tài)無關(guān)的柏拉圖式表征，那么不同模態(tài)的數(shù)據(jù)應(yīng)當(dāng)被聯(lián)合訓(xùn)練以找到這種共享表征。這解釋了為什么將視覺數(shù)據(jù)加入語言模型訓(xùn)練是有益的，反之亦然。
• 對齊的表征之間的轉(zhuǎn)換應(yīng)相對簡單，這可能解釋了：有條件生成比無條件生成更容易、無配對數(shù)據(jù)也可實(shí)現(xiàn)跨模態(tài)轉(zhuǎn)換。
• 模型規(guī)模擴(kuò)大可能會減少語言模型的虛構(gòu)內(nèi)容傾向和某些偏差，使其更準(zhǔn)確反映訓(xùn)練數(shù)據(jù)中的偏差，而非加劇偏差。

作者強(qiáng)調(diào)，上述影響的前提是，未來模型的訓(xùn)練數(shù)據(jù)要足夠多樣和無損，才能真正收斂到反映實(shí)際世界統(tǒng)計規(guī)律的表征。

同時，作者也表示，不同模態(tài)的數(shù)據(jù)可能包含獨(dú)特的信息，可能導(dǎo)致即使在模型規(guī)模增加的情況下，也難以實(shí)現(xiàn)完全的表示收斂。此外，目前并非所有表征都在收斂，例如機(jī)器人領(lǐng)域還沒有標(biāo)準(zhǔn)化的狀態(tài)表征方式。研究者和社區(qū)的偏好可能導(dǎo)致模型向人類表征方式收斂，從而忽略了其他可能的智能形式。

而且專門設(shè)計用于特定任務(wù)的智能系統(tǒng)，可能不會與通用智能收斂到相同的表征。

作者還強(qiáng)調(diào)了測量表示對齊的方法存在爭議，不同的度量方法可能會導(dǎo)致不同的結(jié)論。即使不同模型的表征相似，但還有差距有待解釋，目前無法確定這種差距是否重要。

更多細(xì)節(jié)及論證方法，給大噶把論文放這兒了～

論文鏈接：https://arxiv.org/abs/2405.07987