一、生成式模型商業(yè)化

現(xiàn)如今，生成式AI賽道火熱。根據(jù)PitchBook統(tǒng)計(jì)數(shù)據(jù)，2022年生成式AI賽道總共獲得約14億美元的融資，幾乎達(dá)到了過(guò)去5年的總和。OpenAI、Stability AI等明星公司，其他初創(chuàng)企業(yè)如Jasper、Regie.AI、Replika等均獲得資本青睞。

融資金額與時(shí)間關(guān)系圖

2022年10月，Stability AI獲得約1億美元融資，發(fā)布的開(kāi)源模型Stable Diffusion，可以根據(jù)用戶輸入的文字描述生成圖片，引爆AI作畫(huà)領(lǐng)域。2022年11月30日，ChatGPT在宣布公測(cè)之后，上線5天，全球用戶數(shù)量已突破百萬(wàn)。上線不到40天，日活用戶已突破千萬(wàn)。2023年3月15日凌晨，OpenAI發(fā)布目前最強(qiáng)的GPT系列模型——GPT-4，提供大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入，產(chǎn)生文本輸出，在業(yè)內(nèi)產(chǎn)生顛覆性的影響。2023年3月17日，微軟舉辦了Microsoft 365 Copilot發(fā)布會(huì)，正式把OpenAI的GPT-4 模型裝進(jìn)了Office套件，推出了全新的AI功能Copilot。它不僅會(huì)做PPT，寫(xiě)文案，還會(huì)做分析，生成視頻。此外，國(guó)內(nèi)各個(gè)大廠也宣布陸續(xù)推出類ChatGPT的產(chǎn)品。2月8日，阿里巴巴專家爆料，達(dá)摩院正在研發(fā)類ChatGPT對(duì)話機(jī)器人，已開(kāi)放給公司內(nèi)員工測(cè)試?？赡軐I大模型技術(shù)與釘釘生產(chǎn)力工具深度結(jié)合。2月8日，京東集團(tuán)副總裁何曉冬坦言：京東在ChatGPT領(lǐng)域擁有豐富的場(chǎng)景和高質(zhì)量的數(shù)據(jù)。2月9日，騰訊相關(guān)人士稱：騰訊目前也有ChatGPT相似產(chǎn)品和AI生成內(nèi)容的計(jì)劃，專項(xiàng)研究也在有序推進(jìn)。網(wǎng)易表示，教育業(yè)務(wù)將整合AI生成的內(nèi)容，包括但不限于AI口語(yǔ)老師、作文打分和評(píng)價(jià)等。3月16日，百度百度正式發(fā)布大語(yǔ)言模型、生成式AI產(chǎn)品“文心一言”，發(fā)布兩天，已有12家企業(yè)完成首批簽約合作，申請(qǐng)百度智能云文心一言API調(diào)用服務(wù)測(cè)試的企業(yè)達(dá)9萬(wàn)。

目前，大模型已經(jīng)逐漸滲透我們的生活。未來(lái)，各行各業(yè)都有可能出現(xiàn)翻天覆地的變化。以ChatGPT為例，包括以下幾個(gè)方面：

• ChatGPT+傳媒：可以實(shí)現(xiàn)新聞智能寫(xiě)作，提升新聞實(shí)效性；
• ChatGPT+影視：根據(jù)大眾興趣定制影視內(nèi)容，獲得更高收視率，票房和口碑降低影視制作團(tuán)隊(duì)在內(nèi)容創(chuàng)作的成本，提高創(chuàng)作效率。
• ChatGPT+營(yíng)銷：充當(dāng)虛擬客服，助力產(chǎn)品營(yíng)銷。例如24小時(shí)的產(chǎn)品介紹和在線服務(wù)，降低營(yíng)銷成本；可以快速了解客戶需求，緊跟科技潮流；提供穩(wěn)定可靠的咨詢服務(wù)，可控性和安全性強(qiáng)。
• ChatGPT+娛樂(lè)：實(shí)時(shí)的聊天對(duì)象，增強(qiáng)陪伴性和趣味性。
• ChatGPT+教育：提供全新的教育工具，通過(guò)自助提問(wèn)來(lái)快速查缺補(bǔ)漏。
• ChatGPT+金融：實(shí)現(xiàn)金融資訊，金融產(chǎn)品的自動(dòng)化生產(chǎn)，塑造虛擬理財(cái)顧問(wèn)。
• ChatGPT+醫(yī)療：快速了解患者病情且及時(shí)反饋，第一時(shí)間情感支持。

需要說(shuō)明的是，這里雖然主要討論的是大語(yǔ)言模型的落地，但是實(shí)際上其他多模態(tài)（音頻、視頻、圖片）的大模型一樣存在廣闊的應(yīng)用場(chǎng)景。

二、生成式模型介紹

1、主流的大語(yǔ)言模型：LaMDA

由google公司發(fā)布。LaMDA模型基于transformer框架，擁有1370億模型參數(shù)，具備文本中長(zhǎng)距離依賴的建模能力。該模型是通過(guò)對(duì)話來(lái)訓(xùn)練的。主要包括預(yù)訓(xùn)練和微調(diào)兩個(gè)過(guò)程：在預(yù)訓(xùn)練階段，他們使用了多達(dá)1.56T的公共對(duì)話數(shù)據(jù)集和網(wǎng)頁(yè)文本，以語(yǔ)言模型（LM）作為訓(xùn)練的目標(biāo)函數(shù)，即目標(biāo)是預(yù)測(cè)下一個(gè)字符（token）。在微調(diào)階段，他們?cè)O(shè)計(jì)來(lái)多個(gè)任務(wù)，例如給回復(fù)進(jìn)行屬性打分（敏感度、安全性等等），使語(yǔ)言模型對(duì)其人類的偏好。下圖展示了其中一類的微調(diào)任務(wù)。

LaMDA模型預(yù)訓(xùn)練階段

LaMDA模型微調(diào)階段任務(wù)之一

LaMDA模型專注于對(duì)話生成任務(wù)，但常犯事實(shí)性的錯(cuò)誤。谷歌今年發(fā)布了Bard（一項(xiàng)試驗(yàn)性的對(duì)話式AI服務(wù)）便是由LaMDA模型來(lái)提供支持。然而B(niǎo)ard在發(fā)布會(huì)上，Bard犯下事實(shí)性錯(cuò)誤，這令谷歌周三股價(jià)大跌，盤中跌超8%，刷新日低至約98美元，市值蒸發(fā)1100億美元，讓人唏噓。

2、主流的大語(yǔ)言模型：InstructGPT

InstructGPT模型基于GPT架構(gòu)，主要由有監(jiān)督的微調(diào)（Supervise Fune-Tuning, SFT）和人類反饋的強(qiáng)化學(xué)習(xí)(Reinforce Learning Human Fune-tuning, RLHF)訓(xùn)練得到。以InstructGPT為技術(shù)支持的對(duì)話產(chǎn)品——ChatGPT專注于生成語(yǔ)言文本，也可以生成代碼和進(jìn)行簡(jiǎn)單數(shù)學(xué)運(yùn)算。具體的技術(shù)細(xì)節(jié)已經(jīng)在上兩期進(jìn)行過(guò)詳細(xì)探討，讀者可前往閱讀，此處不再贅述。

InstructGPT模型訓(xùn)練流程圖

3、主流的大語(yǔ)言模型：Cluade

Cluade模型訓(xùn)練流程圖

Cluade是Anthropic公司的對(duì)話型產(chǎn)品。Cluade與ChatGPT一樣，都是基于GPT框架，是單向的語(yǔ)言模型。然而，不同于ChatGPT，它主要由有監(jiān)督的微調(diào)和AI反饋的強(qiáng)化學(xué)習(xí)訓(xùn)練得到。在有監(jiān)督的微調(diào)階段，它先制定了一系列規(guī)則（Constitution），例如不能生成有害信息，不能生成種族偏見(jiàn)等等，然后根據(jù)這些規(guī)則獲得有監(jiān)督數(shù)據(jù)。隨后，讓AI來(lái)判斷分辨回復(fù)的優(yōu)劣，自動(dòng)訓(xùn)練用于強(qiáng)化學(xué)習(xí)的數(shù)據(jù)集。

相比于ChatGPT而言，Claude 能更清晰地拒絕不恰當(dāng)請(qǐng)求，句子之間銜接的也更自然。當(dāng)遇到超出能力范圍的問(wèn)題時(shí)，Claude 會(huì)主動(dòng)坦白。目前，Cluade當(dāng)前還處于內(nèi)測(cè)階段。不過(guò)根據(jù) Scale Sepllbook 團(tuán)隊(duì)成員內(nèi)部測(cè)試結(jié)果顯示，相比 ChatGPT，Claude在測(cè)試的12 項(xiàng)任務(wù)中有 8 項(xiàng)更強(qiáng)。

三、大語(yǔ)言模型的能力

我們統(tǒng)計(jì)了國(guó)內(nèi)外的大語(yǔ)言模型以及模型能力、開(kāi)源情況等。

國(guó)內(nèi)流行的大語(yǔ)言模型

國(guó)外流行的大語(yǔ)言模型

可以看出，大語(yǔ)言模型表現(xiàn)的能力多種多樣，包括但不限于少樣本學(xué)習(xí)、零樣本遷移等等。那么有個(gè)很自然但問(wèn)題產(chǎn)生了，這些能力都是怎么樣產(chǎn)生的呢？大語(yǔ)言模型的能力究竟來(lái)自于哪里？接下來(lái)，我們?cè)噲D解答上述的疑惑。

下圖展示了一些成熟大語(yǔ)言模型和進(jìn)化過(guò)程。歸納出來(lái)，大多數(shù)模型會(huì)經(jīng)歷三個(gè)階段：預(yù)訓(xùn)練，指令微調(diào)和對(duì)齊。代表模型有Deepmind的Sparrow和OpenAI的ChatGPT。

流行大語(yǔ)言模型的進(jìn)化圖

那么，在這每一步的背后，模型究竟可以獲得什么樣的能力呢？愛(ài)丁堡大學(xué)的符堯博士總結(jié)了他認(rèn)為的步驟和能力的對(duì)應(yīng)關(guān)系，給我們一些啟發(fā)。

1. 預(yù)訓(xùn)練階段，該階段的目標(biāo)是獲得一個(gè)強(qiáng)大的基礎(chǔ)模型。相應(yīng)地，在此階段模型展現(xiàn)出來(lái)的能力有：語(yǔ)言生成，上下文學(xué)習(xí)能力，具備世界的知識(shí)，推理能力等等。此階段的代表性模型有GPT-3，PaLM等。

2. 指令微調(diào)階段。該階段的目標(biāo)是解鎖一些涌現(xiàn)能力（emergent ability）。這里的涌現(xiàn)能力是特指小模型沒(méi)有，大模型才有的能力。經(jīng)歷過(guò)指令微調(diào)后的模型，出現(xiàn)了基礎(chǔ)模型所沒(méi)有的能力。例如，通過(guò)構(gòu)造新的指令，模型能夠解決新任務(wù)；再比如，思維鏈的能力，即通過(guò)展示給模型推理過(guò)程，模型也能仿照進(jìn)行正確推理等，代表模型有InstructGPT，F(xiàn)lan等。

對(duì)齊階段。該階段的目標(biāo)是使模型具備人類的價(jià)值觀，比如要產(chǎn)生有信息量的回復(fù)，不能產(chǎn)生歧視類的發(fā)言等等?？梢哉J(rèn)為，對(duì)齊階段賦予了模型們“個(gè)性化”。這類的代表模型有ChatGPT。

大語(yǔ)言模型三階段。圖片來(lái)自《符堯：論大語(yǔ)言模型能力的來(lái)源》

總地來(lái)說(shuō)，上述三個(gè)階段相輔相成，缺一不可。只有預(yù)訓(xùn)練階段得到了一個(gè)足夠強(qiáng)大的基礎(chǔ)模型，才有可能通過(guò)指令微調(diào)激發(fā)（或者增強(qiáng)）語(yǔ)言模型的其他能力。對(duì)齊階段賦予模型一定“性格”，更好地符合人類社會(huì)的一些要求。

四、生成式模型鑒別

大語(yǔ)言模型技術(shù)在帶來(lái)便利的同時(shí)，也包含著風(fēng)險(xiǎn)和挑戰(zhàn)。在技術(shù)層面，GPT生成的內(nèi)容不能保證真實(shí)性，如會(huì)產(chǎn)生有害言論等。在使用層面，用戶可能在教育、科研等領(lǐng)域?yàn)E用 AI產(chǎn)生的文本。目前，多家公司和機(jī)構(gòu)開(kāi)始對(duì)ChatGPT的使用施加限制。微軟和亞馬遜因擔(dān)心泄露機(jī)密信息，禁止公司員工向ChatGPT分享敏感數(shù)據(jù)；香港大學(xué)禁止在港大所有課堂、作業(yè)和評(píng)估中使用ChatGPT或其他人工智能工具。我們主要介紹工業(yè)界的相關(guān)工作。

GPTZero：GPTZero是最早出現(xiàn)的文本生成鑒別工具。它是由Edward Tian（美國(guó)普林斯頓CS專業(yè)本科生）發(fā)布的在線網(wǎng)站（https://gptzero.me/）。它的原理靠文本困惑度（perplexity，PPL）作為指標(biāo)來(lái)判斷所給內(nèi)容到底是誰(shuí)寫(xiě)的。其中，困惑度用以評(píng)價(jià)語(yǔ)言模型的好壞指標(biāo)，本質(zhì)上是計(jì)算句子出現(xiàn)的概率。

GPTZero網(wǎng)站界面

（這里我們使用ChatGPT產(chǎn)生一段新聞報(bào)道，讓GPTZero判斷是否是生成的文本。）

GPT2 Output Detector：該工具由OpenAI發(fā)布。它利用“GPT2-生成內(nèi)容”和Reddit數(shù)據(jù)集，在RoBerta上進(jìn)行微調(diào)，學(xué)習(xí)一個(gè)檢測(cè)分類器。即“用魔法打敗魔法”。官網(wǎng)也提示說(shuō)，只有當(dāng)文本超過(guò)50個(gè)字符（token）時(shí)，預(yù)測(cè)結(jié)果才更加可信。

GPT2 Output Detector網(wǎng)站界面

AI Text Classifier: 該工具由OpenAI發(fā)布。原理是收集在同一個(gè)話題下人類寫(xiě)作文本和AI寫(xiě)作文本。將每一個(gè)文本都劃分成提示和回復(fù)對(duì)，讓GPT微調(diào)后產(chǎn)生答案（例如，讓GPT產(chǎn)生Yes/No）的概率作為結(jié)果閾值。該工具的劃分非常細(xì)致，結(jié)果包括5類：非常不可能是AI生成的（閾值<0.1），不太可能是AI生成的（閾值0.1~0.45），不清楚是否是AI寫(xiě)的（閾值0.45~0.9），可能是AI生成的(閾值0.9-0.98)，很可能是AI生成的(閾值>0.98)。

AI Text Classifier網(wǎng)站界面

五、總結(jié)&展望

大語(yǔ)言模型擁有小模型沒(méi)有的涌現(xiàn)能力，例如優(yōu)秀的零樣本學(xué)習(xí)、領(lǐng)域遷移、思維鏈能力。大模型的能力實(shí)際上來(lái)自于預(yù)訓(xùn)練、指令微調(diào)和對(duì)齊，這三個(gè)過(guò)程密切相關(guān)，成就了現(xiàn)在超強(qiáng)的大語(yǔ)言模型。

大語(yǔ)言模型（GPT系列）目前還不具備置信更新、形式推理、互聯(lián)網(wǎng)檢索等能力，有專家認(rèn)為，如果可以將知識(shí)卸載到模型之外，參數(shù)量會(huì)大大減少，大語(yǔ)言模型才能真正的更進(jìn)一步。

只有在合理的監(jiān)管和治理之下，人工智能技術(shù)才能更好地為人服務(wù)。國(guó)內(nèi)發(fā)展大模型任重而道遠(yuǎn)！

參考文獻(xiàn)

[1] https://stablediffusionweb.com

[2] https://openai.com/product/gpt-4

[3] LaMDA: Language Models for Dialog Applications, Arxiv 2022.10

[4] Constitutional AI: Harmlessness from AI Feedback，Arxiv 2022.12

[5] https://scale.com/blog/chatgpt-vs-claude#Calculation

[6] 國(guó)聯(lián)證劵：《ChatGPT 風(fēng)口已至，商業(yè)化落地加速》

[7] 國(guó)泰君安證券：《ChatGPT研究框架2023》

[8] 符堯：預(yù)訓(xùn)練、指令微調(diào)、對(duì)齊、專業(yè)化：論大語(yǔ)言模型能力的來(lái)源https://www.bilibili.com/video/BV1Qs4y1h7pn/?spm_id_from=333.880.my_history.page.click&vd_source=da8bf0b993cab65c4de0f26405823475

[9] 萬(wàn)字長(zhǎng)文解析！復(fù)現(xiàn)和使用GPT-3/ChatGPT，你所應(yīng)該知道的https://mp.weixin.qq.com/s/ILpbRRNP10Ef1z3lb2CqmA