谷歌DeepMind爆火動(dòng)畫18秒解釋LLM原理，網(wǎng)友蒙圈！組團(tuán)求GPT-4下場分析

作者：新智元 2023-11-14 09:27:00

人工智能新聞

最近，Google DeepMind發(fā)布了一段小視頻，據(jù)說是在向普通人展示大語言模型的工作原理。網(wǎng)友看后紛紛表示：懂得都懂。

Google DeepMind最近在自己的視頻博客上上傳了一段視頻，「簡單明了地」演示了大語言模型的工作原理，引發(fā)了網(wǎng)友的激烈討論。

網(wǎng)友看了之后紛紛表示：

「終于，他們發(fā)了點(diǎn)普通人能看懂的東西了」。

「哦豁，這下懂了」

「對，就是這么簡單！」

「太棒了，感謝感謝，這下我明白了?！?/span>

「簡單明了」，「已經(jīng)不能再簡單了！」

當(dāng)然，也有個(gè)別老實(shí)人在角落里小聲地嘀咕，「像極了嘴上說著懂了懂了，實(shí)際上啥也看不懂的我?！?/span>

如果你還不確定自己真的沒懂LLM的工作原理，看了這個(gè)視頻之后就能確定你其實(shí)真的不懂。??

果然應(yīng)了那句老話，「人類的悲（ren）喜（zhi）并不相通」。

除了皇帝的新裝外，也有網(wǎng)友嘗試解釋DeepMind做出這個(gè)作品的深意：

這位網(wǎng)友猜測了這個(gè)動(dòng)畫的誕生原因：「我不敢相信我們?nèi)〉昧耸裁闯删?，但我們不能真正把這些都拿出來......你能讓實(shí)習(xí)生發(fā)表一些藝術(shù)和有趣的東西嗎？」

「所以這是一個(gè)3D算盤？」

但是有人表示這個(gè)「3D算盤」是有現(xiàn)實(shí)依據(jù)的，畢竟熟悉神經(jīng)網(wǎng)絡(luò)的朋友可能一下就想到了矩陣：

「我完全不同意。這看起來像是神經(jīng)網(wǎng)絡(luò)架構(gòu)的3D渲染。移動(dòng)的方塊看起來像是數(shù)據(jù)在Transformer模型或類似模型中移動(dòng)時(shí)對數(shù)據(jù)的矩陣操作。

滑動(dòng)矩形可以表示卷積神經(jīng)網(wǎng)絡(luò)的滑動(dòng)窗口，或者可能試圖表示Transformer的注意力機(jī)制，這是通過將矩陣相乘來實(shí)現(xiàn)的?！?/span>

當(dāng)然也有人嘗試給出更加專業(yè)化的解讀：

如果你對機(jī)器學(xué)習(xí)模型有所了解，那么就能看懂這個(gè)動(dòng)畫描述得其實(shí)很到位了。簡單來說就是，每一個(gè)非常小的層都負(fù)責(zé)查看一個(gè)非常小的數(shù)據(jù)。

想象圖像中的一組4x4的像素。然后它向更高層發(fā)送一個(gè)信號(hào)，這個(gè)更高的層由許多這樣較小的層組成，說「我認(rèn)為這是一個(gè)熱狗」。

它獲取該信號(hào)并將其傳遞到更高的層，高層將每一層組合成一個(gè)統(tǒng)計(jì)模型。每一層都是矩陣乘法的一種形式。

最終結(jié)果是一個(gè)可以根據(jù)小數(shù)據(jù)的統(tǒng)計(jì)推斷來預(yù)測某些內(nèi)容的模型。這個(gè)過程的基本可視化過程就是視頻里這樣的，需要懂向量數(shù)學(xué)才能看懂。

請記住，這些是藝術(shù)家的詮釋方法，而不是真正的機(jī)器學(xué)習(xí)工程師專業(yè)解釋。所以他們把它做得看起來很酷，但是那些隨機(jī)飄進(jìn)飄出的條形并沒有真正的意義。

我們來看另一位專業(yè)人士的解讀：

我的猜測是，這是對圖像處理神經(jīng)網(wǎng)絡(luò)內(nèi)部隱藏層的描述。可能是為了分類或生成，無法真正分辨。

發(fā)生的情況是，網(wǎng)絡(luò)中的每一層都經(jīng)過多個(gè)過濾器——這些過濾器可能是在動(dòng)畫中圍繞對象外部移動(dòng)的矩形。您可以將濾鏡視為對圖像中的像素值進(jìn)行一些轉(zhuǎn)換。例如，將這9個(gè)像素值取平均值。這種變換在動(dòng)畫中顯示為改變顏色和方向的點(diǎn)。

然后，在應(yīng)用過濾器和轉(zhuǎn)換后，結(jié)果將通過邏輯門，以查看它們是否激活。這被可視化為點(diǎn)突然出現(xiàn)和消失。神經(jīng)網(wǎng)絡(luò)中的每一層都會(huì)有許多不同的過濾器/轉(zhuǎn)換/激活并行進(jìn)行。然后，所有這些結(jié)果都會(huì)傳遞到網(wǎng)絡(luò)的下一層。

——如此看來，小編也非常喜歡這個(gè)動(dòng)畫，并且已經(jīng)逐漸理解了一切。

GPT-4V對視頻的解釋

我們把這個(gè)18秒的視頻截成了10張圖，喂給了GPT-4，讓它給我們解釋一下這個(gè)視頻的含義。

你提供的圖像似乎是大型語言模型（如GPT）的程式化表示。用簡單的語言來說，這些圖像可能試圖以更具體或更容易理解的方式可視化語言模型的復(fù)雜內(nèi)部運(yùn)作。

在大型語言模型中，數(shù)據(jù)（例如書籍、文章、網(wǎng)站等中的文本）通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，神經(jīng)網(wǎng)絡(luò)是一種識(shí)別數(shù)據(jù)模式的數(shù)學(xué)模型。網(wǎng)絡(luò)的每一層都會(huì)處理從前一層接收到的信息，逐漸提取更抽象的特征和關(guān)系。

這些圖像似乎隱喻地代表了這個(gè)過程。立方體可以代表數(shù)據(jù)單元或token（如單詞或單詞的一部分），它們之間的不同顏色和連接可能象征著模型如何處理這些標(biāo)記并將這些標(biāo)記相互關(guān)聯(lián)以理解上下文和含義。清晰的管道和結(jié)構(gòu)可能說明了數(shù)據(jù)流經(jīng)模型的神經(jīng)網(wǎng)絡(luò)的架構(gòu)。

它就像一個(gè)復(fù)雜的工廠，原材料（數(shù)據(jù)）進(jìn)來，經(jīng)過各個(gè)處理階段（神經(jīng)網(wǎng)絡(luò)層），然后產(chǎn)生最終產(chǎn)品（連貫的文本輸出）。這種可視化有助于傳達(dá)這樣的想法：語言模型以復(fù)雜的方式組織和轉(zhuǎn)換輸入數(shù)據(jù)，以生成模仿人類對語言的理解的響應(yīng)。

當(dāng)我們要求他針對圖中不同顏色的立方體進(jìn)行更加細(xì)節(jié)的補(bǔ)充說明時(shí)，GPT-4這樣說到：

圖像中不同顏色的立方體可能是語言模型處理的各個(gè)數(shù)據(jù)點(diǎn)或token的符號(hào)表征。在語言模型的上下文中，token通常指一段文本，例如單詞或單詞的一部分。以下是這些立方體的顏色和排列可能代表的內(nèi)容的細(xì)分：

不同的顏色：每種顏色可以代表數(shù)據(jù)的不同方面或模型正在處理的不同類型的信息。例如，藍(lán)色立方體可能代表常見單詞，而橙色立方體可能代表在給定上下文中具有更重要意義的關(guān)鍵字或短語。

立方體的排列：立方體的組織和連接方式可以可視化模型如何理解不同標(biāo)記之間的關(guān)系。語言模型使用這些關(guān)系來理解上下文并生成連貫且適合上下文的響應(yīng)。

立方體層：如果立方體以層的形式顯示，則這可能代表神經(jīng)網(wǎng)絡(luò)的層。當(dāng)數(shù)據(jù)通過每一層時(shí)，模型會(huì)完善其理解、調(diào)整連接并對不同標(biāo)記的要性進(jìn)行不同的加權(quán)。

透明結(jié)構(gòu)：連接立方體的透明管或結(jié)構(gòu)可能表明數(shù)據(jù)通過模型架構(gòu)的路徑。它們可以象征信息流以及信息如何在模型的不同部分之間共享。

值得注意的是，此類可視化是高度抽象的，旨在提供語言模型內(nèi)操作的概念視圖。實(shí)際過程涉及復(fù)雜的數(shù)學(xué)函數(shù)和高維數(shù)據(jù)，這些數(shù)據(jù)沒有物理形式，但通常出于教育和說明目的而可視化。

既然大家都提到了矩陣乘法，我們可以來對比一下Pytorch中關(guān)于矩陣乘法的實(shí)現(xiàn)。