比爾蓋茨：ChatGPT是1980年以來(lái)最具革命性的科技進(jìn)步。

身處這個(gè)AI變革的時(shí)代，唯有躬身入局，腳步跟上。

這是一篇我的學(xué)習(xí)筆記，希望對(duì)你了解ChatGPT有幫助。

1、ChatGPT里的GPT，分別代表什么？

GPT，Generative Pre-trained Transformer，生成式預(yù)訓(xùn)練變換模型。

什么意思？

Generative，生成式，是指它能自發(fā)的生成內(nèi)容。

Pre-trained，預(yù)訓(xùn)練，是不需要你拿到它再訓(xùn)練，它直接給你做好了一個(gè)通用的語(yǔ)言模型。

Transformer，變換模型，谷歌提出來(lái)的一個(gè)很厲害的模型，他可以幫助更好的去處理NLP相關(guān)的問(wèn)題，是非常棒的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2、Transformer雖是由谷歌提出的。但是應(yīng)用最成功的是OpenAI的ChatGPT。

因?yàn)镃hatGPT是站在巨人的肩上走出來(lái)的。

ChatGPT是全人類(lèi)社會(huì)的結(jié)晶，沒(méi)有前人的鋪墊，ChatGPT不會(huì)這么順利走出來(lái)。

后面也會(huì)有更多的非常厲害的應(yīng)用，會(huì)基于ChatGPT走出來(lái)。

3、Transformer中有一個(gè)很重要的概念，注意力機(jī)制。

什么是注意力機(jī)制呢？

就是從你輸入的信息中，挑出重要的信息，把注意力集中在這些重要的信息上，忽略不重要的信息。這樣就能更好的理解你說(shuō)的話。

注意力機(jī)制能幫助Transformer模型集中注意力在輸入信息中最重要的部分。

4、機(jī)器學(xué)習(xí)方式，分為監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)。

監(jiān)督學(xué)習(xí)：有標(biāo)簽數(shù)據(jù)，可以直接反饋，可以預(yù)測(cè)結(jié)果和未來(lái)

無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有標(biāo)簽和目標(biāo)，沒(méi)有反饋，而是它自己去尋找數(shù)據(jù)中的隱藏結(jié)果

強(qiáng)化學(xué)習(xí)：是一個(gè)決策過(guò)程，有一系列的獎(jiǎng)勵(lì)機(jī)制和懲罰機(jī)制，讓機(jī)器學(xué)習(xí)如何做到更好

ChatGPT用到的是無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

5、ChatGPT能進(jìn)行大量的內(nèi)容生成和創(chuàng)造，其實(shí)是靠的猜概率。

比如，天氣灰蒙蒙的，我的心情很___

經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練過(guò)的AI，會(huì)預(yù)測(cè)這個(gè)空格出現(xiàn)的最高概率的詞是「沮喪」。

那么「沮喪」就會(huì)被填到這個(gè)空格中，所以產(chǎn)生了答案：

天氣灰蒙蒙的，我的心情很沮喪

這感覺(jué)很不可思議，但事實(shí)就是這樣。

現(xiàn)階段所有的NLP(自然語(yǔ)言處理)任務(wù)，都不是機(jī)器真正理解人類(lèi)的世界。

他只是在玩文字游戲，進(jìn)行一次又一次的概率解謎。

6、在這個(gè)”猜概率“的文字游戲中，大預(yù)言模型（LLM，Large Language Model）演進(jìn)出了最主流的兩個(gè)方向：BERT和GPT。

BERT是之前最流行的方向，幾乎統(tǒng)治了所有NLP領(lǐng)域。

并在自然語(yǔ)言理解類(lèi)任務(wù)中發(fā)揮出色(例如文本分類(lèi)，情感傾向判斷等）。

而GPT方向則較為薄弱，最知名的玩家就是OpenAl了。

事實(shí)上在GPT3.0發(fā)布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。

7、BERT和GPT區(qū)別是？

BERT，是雙向語(yǔ)言模型，聯(lián)系前后猜中間的字，所以是雙向，就像完型填空。

比如：我___20號(hào)回家

BERT猜的是「我打算20號(hào)回家」，猜的是中間的「打算」。

GPT，是單向語(yǔ)言模型，猜下一個(gè)字，所以是單向，像寫(xiě)作文。

比如：我打算20號(hào)___

GPT猜的是「我打算20號(hào)回家」，猜的是后面「回家」兩個(gè)字。

8、怎么給GPT提問(wèn)？

有兩種方式：fine-tune和prompt。

fine-tune，調(diào)參：需要對(duì)模型參數(shù)進(jìn)行更新，來(lái)完成生成內(nèi)容。

fine-tune 專(zhuān)業(yè)，門(mén)檻高，受眾小。但是多樣性、準(zhǔn)確度高，適合復(fù)雜任務(wù)。少數(shù)玩家的游戲。

prompt，提示詞：不需要修改模型和參數(shù)，只需要給一些提示和樣例，就能完成任務(wù)。

prompt更簡(jiǎn)單，門(mén)檻低，受眾大。適合處理簡(jiǎn)單的任務(wù)。所有玩家都。

我們?cè)贑hatGPT輸入框中輸入的內(nèi)容，就是prompt。

9、ChatGPT是生成式AI。

AI從內(nèi)容產(chǎn)出方式上，分為兩種：分析式AI和生成式AI。

分析式AI，主要用于分析，歸類(lèi)。你喂給它多少數(shù)據(jù)，它就能分析出什么樣的內(nèi)容，它局限于數(shù)據(jù)本身。

生成式AI， 在學(xué)習(xí)歸納數(shù)據(jù)分布的基礎(chǔ)上，創(chuàng)造數(shù)據(jù)中不存在的新內(nèi)容?？梢陨晌谋尽D片、代碼、語(yǔ)音合成、視頻和3D模型。

ChatGPT是生成式AI，最擅長(zhǎng)文本和寫(xiě)代碼。

10、最后，從知識(shí)獲取的角度說(shuō)，ChatGPT是全新一代的 “知識(shí)表示和調(diào)用方式”。

早期，知識(shí)以結(jié)構(gòu)化的方式存儲(chǔ)在數(shù)據(jù)庫(kù)中。我們通過(guò) SQL獲取。

后來(lái)，隨著互聯(lián)網(wǎng)的誕生，更多文本、圖片、視頻等非結(jié)構(gòu)化知識(shí)存儲(chǔ)在互聯(lián)網(wǎng)中。我們通過(guò)搜索引擎獲取。

現(xiàn)在，知識(shí)以參數(shù)的形式存儲(chǔ)在大模型中。我們用自然語(yǔ)言直接調(diào)用這些知識(shí)。