像 ChatGPT 這樣強(qiáng)大的生成式 AI 系統(tǒng)是如何工作的，它們與其他類型的人工智能有何不同？

快速瀏覽一下頭條新聞，就會發(fā)現(xiàn)生成式人工智能如今無處不在。事實(shí)上，其中一些標(biāo)題實(shí)際上可能是由生成式人工智能撰寫的，例如 OpenAI 的 ChatGPT，這是一種聊天機(jī)器人，它展示了一種不可思議的能力，可以生成似乎是由人類編寫的文本。

但是，當(dāng)人們說“生成式人工智能”時，他們到底是什么意思？

在過去幾年的生成式人工智能熱潮之前，當(dāng)人們談?wù)撊斯ぶ悄軙r，他們通常談?wù)摰氖菣C(jī)器學(xué)習(xí)模型，這些模型可以學(xué)習(xí)根據(jù)數(shù)據(jù)進(jìn)行預(yù)測。例如，使用數(shù)百萬個示例對此類模型進(jìn)行訓(xùn)練，以預(yù)測某種X射線是否顯示出腫瘤的跡象，或者特定借款人是否可能拖欠貸款。

生成式 AI 可以被認(rèn)為是一種機(jī)器學(xué)習(xí)模型，經(jīng)過訓(xùn)練可以創(chuàng)建新數(shù)據(jù)，而不是對特定數(shù)據(jù)集進(jìn)行預(yù)測。生成式 AI 系統(tǒng)是一種學(xué)習(xí)生成更多對象的系統(tǒng)，這些對象看起來像它所訓(xùn)練的數(shù)據(jù)。

“當(dāng)涉及到生成式人工智能和其他類型的人工智能背后的實(shí)際機(jī)制時，區(qū)別可能有點(diǎn)模糊。通常，相同的算法可以用于兩者，“麻省理工學(xué)院電氣工程和計算機(jī)科學(xué)副教授、計算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）成員Phillip Isola說。

盡管 ChatGPT 及其同類產(chǎn)品的發(fā)布帶來了炒作，但該技術(shù)本身并不是全新的。這些強(qiáng)大的機(jī)器學(xué)習(xí)模型借鑒了 50 多年前的研究和計算進(jìn)步。

復(fù)雜性增加

生成式人工智能的一個早期例子是一個更簡單的模型，稱為馬爾可夫鏈。該技術(shù)以俄羅斯數(shù)學(xué)家安德烈·馬爾科夫（Andrey Markov）的名字命名，他在1906年引入了這種統(tǒng)計方法來模擬隨機(jī)過程的行為。在機(jī)器學(xué)習(xí)中，馬爾可夫模型長期以來一直被用于下一個單詞的預(yù)測任務(wù)，例如電子郵件程序中的自動完成功能。

在文本預(yù)測中，馬爾可夫模型通過查看前一個單詞或幾個前一個單詞來生成句子中的下一個單詞。但是，由于這些簡單的模型只能回顧那么遠(yuǎn)，它們不擅長生成合理的文本，麻省理工學(xué)院電氣工程和計算機(jī)科學(xué)的Thomas Siebel教授Tommi Jaakkola說，他也是CSAIL和數(shù)據(jù)，系統(tǒng)和社會研究所（IDSS）的成員。

“我們在過去十年之前就開始生成東西，但這里的主要區(qū)別在于我們可以生成的對象的復(fù)雜性以及我們可以訓(xùn)練這些模型的規(guī)模，”他解釋道。

就在幾年前，研究人員傾向于專注于尋找一種能夠充分利用特定數(shù)據(jù)集的機(jī)器學(xué)習(xí)算法。但這種關(guān)注點(diǎn)已經(jīng)發(fā)生了一些變化，許多研究人員現(xiàn)在正在使用更大的數(shù)據(jù)集，可能有數(shù)億甚至數(shù)十億個數(shù)據(jù)點(diǎn)，來訓(xùn)練能夠取得令人印象深刻的結(jié)果的模型。

ChatGPT 和類似系統(tǒng)的基礎(chǔ)模型的工作方式與馬爾可夫模型大致相同。但一個很大的區(qū)別是，ChatGPT 更大、更復(fù)雜，有數(shù)十億個參數(shù)。它已經(jīng)在大量數(shù)據(jù)上進(jìn)行了訓(xùn)練——在這種情況下，互聯(lián)網(wǎng)上的大部分公開文本。

在這個龐大的文本語料庫中，單詞和句子以具有某些依賴關(guān)系的順序出現(xiàn)。這種重復(fù)性有助于模型了解如何將文本切割為具有一定可預(yù)測性的統(tǒng)計塊。它學(xué)習(xí)這些文本塊的模式，并利用這些知識提出接下來可能發(fā)生的事情。

更強(qiáng)大的架構(gòu)

雖然更大的數(shù)據(jù)集是導(dǎo)致生成式人工智能熱潮的催化劑之一，但各種重大研究進(jìn)展也導(dǎo)致了更復(fù)雜的深度學(xué)習(xí)架構(gòu)。

2014 年，蒙特利爾大學(xué)的研究人員提出了一種稱為生成對抗網(wǎng)絡(luò) （GAN） 的機(jī)器學(xué)習(xí)架構(gòu)。GAN使用兩個協(xié)同工作的模型：一個學(xué)習(xí)生成目標(biāo)輸出（如圖像），另一個學(xué)習(xí)從生成器的輸出中區(qū)分真實(shí)數(shù)據(jù)。生成器試圖欺騙鑒別器，并在此過程中學(xué)會做出更真實(shí)的輸出。圖像生成器 StyleGAN 基于這些類型的模型。

一年后，斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員引入了Diffusion模型。通過迭代優(yōu)化其輸出，這些模型可以學(xué)習(xí)生成類似于訓(xùn)練數(shù)據(jù)集中樣本的新數(shù)據(jù)樣本，并已用于創(chuàng)建逼真的圖像。Stable Diffusion模型是文本到圖像生成系統(tǒng)穩(wěn)定擴(kuò)散的核心。

2017 年，谷歌的研究人員推出了 transformer 架構(gòu)，該架構(gòu)已被用于開發(fā)大型語言模型，例如為 ChatGPT 提供支持的模型。在自然語言處理中，轉(zhuǎn)換器將文本語料庫中的每個單詞編碼為標(biāo)記，然后生成注意力圖，該圖捕獲每個標(biāo)記與所有其他標(biāo)記的關(guān)系。此注意力圖可幫助轉(zhuǎn)換器在生成新文本時理解上下文。

這些只是可用于生成式 AI 的眾多方法中的一小部分。

應(yīng)用范圍廣泛

所有這些方法的共同點(diǎn)是，它們將輸入轉(zhuǎn)換為一組標(biāo)記，這些標(biāo)記是數(shù)據(jù)塊的數(shù)字表示。只要你的數(shù)據(jù)可以轉(zhuǎn)換為這種標(biāo)準(zhǔn)的令牌格式，那么理論上，你可以應(yīng)用這些方法來生成看起來相似的新數(shù)據(jù)。

“你的里程可能會有所不同，這取決于你的數(shù)據(jù)有多嘈雜，以及信號提取的難度，但它確實(shí)越來越接近通用CPU可以接收任何類型的數(shù)據(jù)并開始以統(tǒng)一的方式處理它的方式，”Isola說。

這為生成式人工智能開辟了大量的應(yīng)用。

例如，Isola的團(tuán)隊(duì)正在使用生成式人工智能來創(chuàng)建合成圖像數(shù)據(jù)，這些數(shù)據(jù)可用于訓(xùn)練另一個智能系統(tǒng)，例如通過教計算機(jī)視覺模型如何識別物體。

Jaakkola的團(tuán)隊(duì)正在使用生成式人工智能來設(shè)計新的蛋白質(zhì)結(jié)構(gòu)或有效的晶體結(jié)構(gòu)，以指定新材料。他解釋說，就像生成模型學(xué)習(xí)語言的依賴關(guān)系一樣，如果它顯示的是晶體結(jié)構(gòu)，它就可以學(xué)習(xí)使結(jié)構(gòu)穩(wěn)定和可實(shí)現(xiàn)的關(guān)系。

但是，雖然生成模型可以取得令人難以置信的結(jié)果，但它們并不是所有類型數(shù)據(jù)的最佳選擇。對于涉及對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)測的任務(wù)，例如電子表格中的表格數(shù)據(jù)，生成式AI模型往往優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，麻省理工學(xué)院電氣工程和計算機(jī)科學(xué)的Andrew和Erna Viterbi教授Devavrat Shah說，IDSS和信息與決策系統(tǒng)實(shí)驗(yàn)室的成員。

“在我看來，它們的最高價值是成為人類友好機(jī)器的絕佳接口。以前，人類必須用機(jī)器的語言與機(jī)器交談才能使事情發(fā)生。現(xiàn)在，這個界面已經(jīng)弄清楚了如何與人類和機(jī)器交談，“Shah說。

危險的信號

生成式人工智能聊天機(jī)器人現(xiàn)在被用于呼叫中心，以回答人類客戶的問題，但這個應(yīng)用程序強(qiáng)調(diào)了實(shí)施這些模型的一個潛在危險信號——工人流離失所。

此外，生成式人工智能可以繼承和擴(kuò)散訓(xùn)練數(shù)據(jù)中存在的偏見，或放大仇恨言論和虛假陳述。這些模型具有剽竊能力，并且可以生成看起來像是由特定人類創(chuàng)作者制作的內(nèi)容，從而引發(fā)潛在的版權(quán)問題。

另一方面，Shah提出，生成式人工智能可以賦予藝術(shù)家權(quán)力，他們可以使用生成工具來幫助他們制作創(chuàng)意內(nèi)容，否則他們可能沒有辦法制作。

在未來，他認(rèn)為生成式人工智能將改變許多學(xué)科的經(jīng)濟(jì)狀況。

Isola認(rèn)為生成式人工智能的一個有前途的未來方向是將其用于制造。與其讓模型制作椅子的圖像，不如為可以生產(chǎn)的椅子生成一個計劃。

他還認(rèn)為，生成式人工智能系統(tǒng)未來將用于開發(fā)更通用的智能人工智能代理。

“這些模型的工作方式以及我們認(rèn)為人腦的工作方式存在差異，但我認(rèn)為也有相似之處。我們有能力在腦海中思考和夢想，提出有趣的想法或計劃，我認(rèn)為生成式人工智能也是使代理能夠做到這一點(diǎn)的工具之一，“Isola說。