一年一度的微軟「Build開發(fā)者大會」前兩天剛剛開幕。

微軟CEO Satya Nadella在發(fā)布會上介紹了這次主要的更新，以ChatGPT為代表的生成式AI成為本次大會的重中之重，其中包括自家的重頭戲——Windows Copilot。

演講視頻鏈接：https://youtu.be/6PRiAexITSs

前段時間剛宣布回歸OpenAI的業(yè)界大牛、李飛飛高徒、特斯拉前AI總監(jiān)Andrej Karpathy，也在大會發(fā)表了題為「GPT現(xiàn)狀」（State of GPT）的主題演講。

演講內(nèi)容主要包括了解ChatGPT等GPT助手的訓(xùn)練途徑，他將其分為標記化（Tokenization）、預(yù)訓(xùn)練（Pretraining）、監(jiān)督微調(diào)（Supervised Finetuning）和人類反饋強化學(xué)習(xí) (RLHF)幾步。

另外，他還闡釋了有效使用這些模型的實用技術(shù)和心智模型的方法，包括提示策略（Prompting Strategies）、微調(diào)（Finetuning）、快速增長的工具生態(tài)系統(tǒng)及其未來的擴展。

演講的視頻鏈接小編也放在下面啦，干貨滿滿一起來看看~

視頻鏈接：https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2

GPT助手的訓(xùn)練途徑

在進行預(yù)訓(xùn)練之前，有2個準備步驟。

首先是數(shù)據(jù)收集——從不同來源獲取大量數(shù)據(jù)，下圖展示的是通過Meta LLaMA模型從Github、維基百科等來源收集的混合數(shù)據(jù)。

接下來就是標記化，將文本中的單詞標記并轉(zhuǎn)換為整數(shù)。

然后他用兩個模型做了個對比，相比175B參數(shù)的GPT-3在300B個代幣上訓(xùn)練，而65B參數(shù)的LLaMA已經(jīng)在1-1.4T個代幣上訓(xùn)練。

證明了「并不是參數(shù)大的模型性能就強」。

預(yù)訓(xùn)練階段

Andrej Karparthy首先介紹了一下預(yù)訓(xùn)練中Transformer的工作原理。

然后向我們展示了GPT模型如何通過不斷迭代，更準確地預(yù)測莎士比亞詩句中的單詞。

順便重點強調(diào)了一下自家LLaMA模型的牛掰之處，從下圖的訓(xùn)練曲線中可以看出LLaMA在訓(xùn)練損失方面明顯要比傳統(tǒng)GPT-2要低上不少。

另外圍繞GPT-2，許多學(xué)者注意到，如果我們以特定方式構(gòu)建提示，并提供一些示例，那么基礎(chǔ)模型將自動完成我們在提示中提供的指令。

基礎(chǔ)模型不是助手，他們不會「根據(jù)你的提問回答」，他們只會自動完成文本。

比如在下面這篇文本里，對于人類提出的問題，模型通過輸入的「Few-shot提示」讓它誤以為他它自動完成了人工智能和人類之間的聊天。

Andrej接下來畫出了GPT模型的進化樹，可以看到頂端的模型包括谷歌的Bard，Meta的LLaMA。

監(jiān)督微調(diào)

通過使用交換數(shù)據(jù)集訓(xùn)練模型，我們得到了監(jiān)督微調(diào)后的模型，簡稱SFT模型。

但SFT模型還不是很好，絕對達不到ChatGPT質(zhì)量，于是訓(xùn)練繼續(xù)。

我們使用SFT模型生成問題輸出，通過用戶對三個版本的比較得出排名最佳的版本，然后根據(jù)用戶的選擇對模型進行重新訓(xùn)練。

而這些決策是根據(jù)用戶的反饋而得出的，例如當你在ChatGPT中對問題的答案點擊??或??，或選擇重新生成響應(yīng)，這也是RLHF（人類反饋強化學(xué)習(xí)）的基礎(chǔ)。

有趣的是，Andrej談到的RLHF并不是對基本模型的嚴格改進，因為RLHF模型的熵較小，因此它的創(chuàng)造性可能較少。

基礎(chǔ)模型在生成答案的多樣性方面可能比微調(diào)模型更優(yōu)秀，例如下圖生成的100個寶可夢的名字，基礎(chǔ)模型能給你更多想要的答案。

最后，Andrej展示了伯克利大學(xué)的校友制作的輔助模型的「野榜」，OpenAI的GPT-4似乎是目前最優(yōu)秀的。

Andrej接下來展示了人類和GPT模型在處理一個相同的句子的處理過程。

人腦對「加州的人口是阿拉斯加州的53倍」這句話的處理要經(jīng)歷提取信息、事實核查、計算、再次驗證等過程。

然而對GPT來說他要做的就是自動完成文本，沒有內(nèi)在的思考對話。

而像Chain of thought「思維鏈」這樣的方法可以為模型提供更多標記或更多思考時間。

這將使模型展示它的工作原理，并給它思考時間以獲得更好的答案。

最后還展示了ChatGPT中工具的用法。

演講最后，Andrej再再再次強調(diào)了LLaMA就是迄今最優(yōu)秀的模型，另外@YannLecun希望他能盡快將其推出商用。