什么是生成式大模型？大模型與生成式大模型的區(qū)別？ 原創(chuàng)
?“ 生成式AI或者說AIGC的本質(zhì)是一種基于概率分布的數(shù)據(jù)表征技術(shù) ”
最近一段時間一直在做AIGC(人工智能生成內(nèi)容)方面的應(yīng)用，而AIGC屬于生成式AI的范疇；剛開始只是把這些生成式AI拿過來用一下，但隨著對大模型了解的加深，突然發(fā)現(xiàn)生成式AI好像也沒有那么簡單。
比如說，生成式AI是怎么實現(xiàn)的？可能有人會這么回答，是基于Transformer等架構(gòu)實現(xiàn)，基于概率分布的一種模型。當(dāng)然，這么說好像也沒錯，但非生成式AI又是怎么實現(xiàn)的呢？
生成式AI
什么是生成式AI？
簡單來說，能夠根據(jù)輸入輸出新的內(nèi)容的AI就是生成式AI；但生成式AI是怎么做到的呢？
有很多人會把大模型當(dāng)作生成式AI，但事實上生成式AI和大模型并不是一回事；生成式AI屬于更寬泛的一個范疇，任何能夠?qū)崿F(xiàn)內(nèi)容生成的AI技術(shù)都屬于生成式AI。
但大模型生成內(nèi)容只是生成式AI的一種實現(xiàn)方式，除了大模型之外還有其它的方式可以實現(xiàn)生成式AI；比如，隱馬爾可夫模型，生成對抗網(wǎng)絡(luò)等。
那生成式AI是怎么實現(xiàn)的呢？它的技術(shù)原理是什么？我們都知道模型在設(shè)計完成之后，使用訓(xùn)練數(shù)據(jù)進行訓(xùn)練，就可以讓模型生成相關(guān)領(lǐng)域的內(nèi)容；但這個模式是怎么設(shè)計實現(xiàn)的呢？
嚴(yán)格來說，現(xiàn)在的生成式AI都是基于概率分布實現(xiàn)的；生成式AI主要分為兩個部分：
學(xué)習(xí)數(shù)據(jù)分布：通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)輸入特征X和標(biāo)簽Y的聯(lián)合概率分布P(X, Y)
生成新樣本： 通過條件概率P(X|Y)或P(Y|X)，生成新的數(shù)據(jù)樣本
所以，簡單來說生成式AI就做了兩件事，學(xué)習(xí)舊數(shù)據(jù)，生成新樣本；大模型的訓(xùn)練就是學(xué)習(xí)的過程，而回答問題或生成內(nèi)容就是在生成新的樣本。
但具體怎么學(xué)舊數(shù)據(jù)，又怎么生成新樣本，這是一個需要解決的問題；而目前的生成式大模型大都是基于Transformer架構(gòu)，實現(xiàn)的一種數(shù)學(xué)模型。
所以，生成式AI是一種通過學(xué)習(xí)聯(lián)合概率分布，從而能夠生成新的數(shù)據(jù)樣本；它不僅能夠分類，而且能生成與訓(xùn)練數(shù)據(jù)相似的樣本，而這也是AIGC的基礎(chǔ)，沒有它AIGC就是水中月，鏡中花。
這也解釋了，為什么大模型需要大量的線性運算，原因就在于只有線性的概率分布，才有預(yù)測的可能性；畢竟大模型需要就是有跡可循。
ok ，既然前面說了生成式大模型是基于概率進行預(yù)測，那怎么才能用概率去表征訓(xùn)練數(shù)據(jù)呢？也就是說大模型學(xué)習(xí)的原理是什么樣的？
大模型訓(xùn)練或者說學(xué)習(xí)的過程，就是對訓(xùn)練數(shù)據(jù)的表征過程，通過對訓(xùn)練數(shù)據(jù)的表征，大模型參數(shù)就可以記錄不同數(shù)據(jù)之間的關(guān)系，比如用向量進行表示。
通過計算不同數(shù)據(jù)之間的向量關(guān)系，以此來表示數(shù)據(jù)之間的概率關(guān)系等。
因此，以目前市面上各種各樣的AIGC產(chǎn)品來看，比如文字，圖像，視頻，音樂，代碼生成等模型；都是通過一種數(shù)學(xué)模型和算法，來表征這些數(shù)據(jù)之間的關(guān)系，也就是空間向量的坐標(biāo)關(guān)系。
通過這些關(guān)系，大模型就能夠去理解用戶的輸入，然后根據(jù)輸入生成新的數(shù)據(jù)樣本。
所以，生成式AI的本質(zhì)或者說AIGC的本質(zhì)，是通過對某種數(shù)據(jù)特征的學(xué)習(xí)和描述；然后再根據(jù)這些數(shù)據(jù)特征，去生成相似的新的數(shù)據(jù)。
舉例來說，小孩子第一次看到照片，他也不懂得攝像的技術(shù)，也不知道什么是像素點；但如果你告訴他，用筆這樣，那樣，再這樣就可以畫出一幅畫；那么他就會模仿你這個行為去畫一幅畫，雖然他可能并不知道這是一幅畫。
而這就是數(shù)據(jù)的表征，雖然大模型并不知道什么是像素點，什么是采光；但它能根據(jù)不同圖像之間的區(qū)別，記住這樣那樣再這樣就可以生成一幅畫。
所以說，生成式AI或者說生成式大模型的本質(zhì)是一種數(shù)據(jù)表征技術(shù)，然后根據(jù)表征特點的概率，生成一個最符合當(dāng)前概率的內(nèi)容。
而生成式AI最大的作用就是——創(chuàng)造，通過這種方式可能會讓AI具備遠超人類本身的創(chuàng)造力。
?
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
