圖片

令牌，向量，嵌入，注意力，這些AI大模型名詞是否一直讓你感覺熟悉又陌生，如果答案肯定的話，那么朋友，今天這篇科普神文不容錯過。我將結(jié)合大量示例及可視化的圖形手段，為你由淺入深一次性講透AI大模型的核心概念。

引言

隨著科技公司及國際競爭的不斷推進，AI大模型已經(jīng)越來越多融入我們的生活。作為一個普通人或許不需要研究高深的AI算法，但想在這次AI浪潮中不被拋棄，必須對LLM原理有一個基本的理解。

理解LLM（即Large Language Model，大語言模型）如何生成文本也就意味著理解這些模型為什么是如此通用的認(rèn)知引擎——以及它們還能幫助創(chuàng)造什么。

令牌化和向量化（Token&Vectorization）

首先，讓我們從令牌化和向量化開始，這一部分內(nèi)容將為大家解開AI大模型的第一層面紗-AI大模型時如何理解人類語言的。通過這一部分的講解也將為大家構(gòu)建AI大模型的基礎(chǔ)數(shù)學(xué)觀。

• 為了讀懂人類提問和輸出回答,LLM必須先將單詞翻譯成它們能理解的語言。

圖片

• 首先,一塊文字被分割成令牌(tokens) ——可以編碼的基本單位。令牌通常代表詞的片段,但我們會將每個完整的詞變成一個令牌。

圖片

• 為了掌握一個詞的意思,例如work,LLM首先通過使用大量訓(xùn)練數(shù)據(jù)觀察它的上下文,注意它的 鄰近詞。這些數(shù)據(jù)集基于收集互聯(lián)網(wǎng)上發(fā)表的文本,新LLM使用數(shù)十億個詞進行訓(xùn)練。

圖片

• 最終,我們得到一個巨大的與work在訓(xùn)練數(shù)據(jù)中一起出現(xiàn)的詞集(E.g:roof),以及那些沒有(E.g:dove)與它一起出現(xiàn)的詞集。

圖片

• 當(dāng)模型處理這個詞集時,它會產(chǎn)生一個向量——或數(shù)值列表——并根據(jù)每個詞在訓(xùn)練數(shù)據(jù)中與work的鄰近程度來調(diào)整它。這個向量被稱為詞嵌入(embedding)。

圖片

• 一個詞嵌入可以包含數(shù)百個值,每個值表示一個詞意義的不同方面。就像你可能會通過其特征來描述一座房子——類型、位置、臥室、浴室、樓層——嵌入中的值可以定量表示一個詞的語言特征。

圖片

• 這些特征的派生方式意味著我們不確切知道每個值表示什么,但我們預(yù)期在可比較的方式中使用的詞,其嵌入往往看起來相似。
  比如一對詞組如sea和ocean,它們可能不會在完全相同的上下文中使用(“all at ocean”不是“all at sea”的直接替代),但它們的意思很接近,并且嵌入允許我們量化這種接近程度。

圖片

• 通過將每個嵌入表示的數(shù)百個值減少到只有兩個,我們可以更清楚地看到這些詞之間的距離。

圖片

• 我們可能會發(fā)現(xiàn)代詞的簇集,或交通工具的模式,能夠定量表示詞匯的方式是模型生成文本的第一步。

圖片

Transformer

在搞清楚了大模型是如何理解人類語言之后，或許你會覺得不過如此，這與LLM表現(xiàn)出的強大功能似乎并不相符。沒錯僅僅靠令牌和向量化還不足以使LLM如此聰明，接下來我們將直抵AI大模型的心臟-Transformer，正是依靠Transformer,LLM才能夠像今天這樣流暢地解析和書寫,它從根本上加快并增強了計算機理解語言的方式。

闡述transformer模型的研究首次由谷歌的8名AI研究人員在2017年6月發(fā)表，正是大家耳熟能詳?shù)摹禔ttention is All You Need》開啟了AI的新紀(jì)元，Attention也將是下文著重講解的核心概念，我將帶領(lǐng)大家在上述數(shù)學(xué)模型的基礎(chǔ)上構(gòu)建對LLM的基礎(chǔ)概念抽象。

• Transformer體系結(jié)構(gòu)的一個關(guān)鍵概念是自注意力(Attention)。這就是允許LLM理解詞之間關(guān)系的原因。

圖片

• 自注意力查看文本中的每個令牌(token),并決定哪些對理解其含義最重要。

圖片

• 在transformer之前,最先進的AI翻譯方法是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),它逐字掃描句子并順序處理。

圖片

• 通過自注意力,transformer可以同時計算句子中的所有單詞。捕捉這種上下文為LLM提供了更復(fù)雜的語言處理能力。

圖片

• 在這個例子中,同時評估整個句子意味著transformer能夠理解interest在這里作為名詞使用,以解釋個人對政治的看法。

圖片

• 如果我們調(diào)整句子...

圖片

• ...模型就會理解interest現(xiàn)在是在金融意義上使用。

圖片

當(dāng)我們組合這些句子時,模型仍然能夠識別每個詞的正確含義,這要歸功于它對伴隨文本的注意力。

• 第一次使用interest,它主要注意到no 和in。

圖片

• 第二次,它主要注意到rate和bank。

圖片

• 這種功能對于高級文本生成至關(guān)重要。沒有它,在某些上下文中可以互換但在其他上下文中不可以的詞可能會被錯誤使用。

圖片

• 實際上,自注意力意味著如果這個句子的摘要被生成,您不會在討論利率時使用enthusiasm這個詞。

圖片

• 這種能力遠遠超越像interest這樣有多個意思的詞。

圖片

• 在下面的句子中,自注意力能夠計算出it最有可能指代dog。

圖片

• 如果我們改變句子,將hungry替換為delicious,模型能夠重新計算,現(xiàn)在it最有可能指代bone。

圖片

• 隨著規(guī)模的擴大,自注意力對語言處理的好處也越來越大。它允許LLM從句子邊界之外獲取上下文(context),讓模型對一個詞的使用方式有更深入的理解。

圖片

LLM

理解了LLM基礎(chǔ)數(shù)學(xué)原理和模型概念抽象后，大家是不是很興奮，最后讓我們看看目前世界上最先的大預(yù)言模型到底做了什么，構(gòu)建了如此繽紛多彩的AI應(yīng)用世界。

大模型之所以被稱之為大，是因為其訓(xùn)練有我們整個互聯(lián)網(wǎng)的基礎(chǔ)語料庫的支撐，從這巨大的語料庫中,模型學(xué)會識別模式,最終預(yù)測下一個最佳選項。接下來我將帶領(lǐng)大家直面大模型，為大家揭秘LLM是如何涌現(xiàn)智能，成為最像人的人工智能的。

• 基于上文的Transformer模型,對互聯(lián)網(wǎng)語料庫處理后，我們可以生成人類語言的數(shù)據(jù)模型,表示機器所理解的輸入,包括詞義、位置和詞之間的關(guān)系。

圖片

• 基于以上數(shù)學(xué)模型，求取最優(yōu)解最簡單的方式,就是將模型的目標(biāo)設(shè)定為預(yù)測一個序列中的下一個詞,并重復(fù)此過程直到輸出完成。

圖片

• 為此,模型給每個令牌一個概率分?jǐn)?shù)(probability score),表示它是序列中下一個詞的可能性。

圖片

• 它將繼續(xù)這樣做,直到對所產(chǎn)生的文本感到滿意。

圖片

• 但是,這種隔離地預(yù)測下一個詞的方法(稱為“貪心搜索”)會引入問題。雖然每個令牌可能是下一個最佳選擇,但整個短語可能不太相關(guān)。
  并不一定總是錯誤,但可能也不是你所期望的。

圖片

• Transformer使用多種方法來解決這個問題并提高輸出質(zhì)量。一個例子叫束搜索。
  它不僅關(guān)注序列中下一個詞,而是考慮一組較大令牌集合的概率。

圖片

• 通過束搜索,模型能夠考慮多種路徑并找到最佳選項。

圖片

• 這會產(chǎn)生更好的結(jié)果,最終導(dǎo)致更連貫、更人性化的文本。

圖片

總結(jié)

Transformer已經(jīng)引領(lǐng)了各種尖端的AI應(yīng)用程序的創(chuàng)建。除了支持像Bard和ChatGPT這樣的聊天機器人之外,它還驅(qū)動我們移動鍵盤上的自動完成功能和智能揚聲器中的語音識別。

然而,它的真正威力在語言之外。它的發(fā)明者發(fā)現(xiàn),transformer模型可以識別和預(yù)測任何重復(fù)的主題或模式。從圖片中的像素,使用Dall-E、Midjourney和Stable Diffusion等工具,到計算機代碼使用GitHub Copilot等生成器。它甚至可以預(yù)測音樂中的音符和蛋白質(zhì)中的DNA來幫助設(shè)計藥物分子。

數(shù)十年來,研究人員構(gòu)建了專門的模型來總結(jié)、翻譯、搜索和檢索。transformer統(tǒng)一了那些動作到一個單一的結(jié)構(gòu)中,使其能夠執(zhí)行大量各種各樣的任務(wù)。

通過一個統(tǒng)一的語言模型，實現(xiàn)了從圖像，音樂，視頻多模態(tài)的應(yīng)用，并且強于以往所有的AI應(yīng)用，這就是這個故事神奇的地方。

參考鏈接：[1]https://ig.ft.com/generative-ai/