2022 年的最后一個(gè)月，OpenAI 用一個(gè)爆款對話機(jī)器人 ——ChatGPT 回應(yīng)了人們一整年的期待，盡管它并不是大家期盼已久的 GPT-4。

用過 ChatGPT 的人都能體會(huì)到，它是一個(gè)真正的「六邊形戰(zhàn)士」：不僅能拿來聊天、搜索、做翻譯，還能寫故事、寫代碼、debug，甚至開發(fā)小游戲、參加美國高考…… 有人戲稱，從此以后人工智能模型只有兩類 —— ChatGPT 和其他。

圖源：https://twitter.com/Tisoga/status/1599347662888882177

由于能力過于驚艷，ChatGPT 僅上線 5 天就吸引了 100 萬用戶。很多人大膽預(yù)測，照這個(gè)趨勢發(fā)展下去，ChatGPT 很快就能取代 Google 等搜索引擎和 Stack Overflow 等編程問答社區(qū)了。

圖源：https://twitter.com/whoiskatrin/status/1600421531212865536

不過， ChatGPT 生成的答案有很多是錯(cuò)的，而且不仔細(xì)看都看不出來，這會(huì)造成問題回答魚目混珠的情況。這種「很強(qiáng)大但也很容易出錯(cuò)」的屬性給了外界很大的討論空間，大家都想知道：

• ChatGPT 的這種強(qiáng)大能力是哪里來的？
• ChatGPT 還有哪些短板？
• 未來它會(huì)取代搜索引擎嗎？
• 它的出現(xiàn)給我們的 AI 研究帶來了哪些啟發(fā)？

在小紅書技術(shù)團(tuán)隊(duì)舉辦的第六期「REDtech 來了」技術(shù)直播中，NLP 領(lǐng)域?qū)＜摇⒓又荽髮W(xué)圣巴巴拉分校助理教授李磊與小紅書技術(shù)副總裁張雷以及小紅書社區(qū)部多媒體智能算法負(fù)責(zé)人張德兵展開了對談，就 ChatGPT 的熱門問題進(jìn)行了交流和解答。

李磊，本科畢業(yè)于上海交通大學(xué)計(jì)算機(jī)系（ACM 班），博士畢業(yè)于卡耐基梅隆大學(xué)計(jì)算機(jī)系。曾先后任加州大學(xué)伯克利分校博士后研究員、百度美國深度學(xué)習(xí)實(shí)驗(yàn)室少帥科學(xué)家、字節(jié)跳動(dòng)人工智能實(shí)驗(yàn)室高級(jí)總監(jiān)。

2017 年，李磊在 AI 寫作機(jī)器人 Xiaomingbot 上所做的工作獲得了吳文俊人工智能技術(shù)發(fā)明二等獎(jiǎng)。Xiaomingbot 也具有強(qiáng)大的內(nèi)容理解和文本創(chuàng)作能力，能流暢地進(jìn)行體育賽事的播報(bào)和財(cái)經(jīng)新聞的寫作。

李磊的主要研究方向是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和自然語言處理。在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和自然語言處理領(lǐng)域于國際頂級(jí)學(xué)術(shù)會(huì)議發(fā)表論文 100 余篇，擁有二十余項(xiàng)技術(shù)發(fā)明專利。曾獲得過 2012 年美國計(jì)算機(jī)學(xué)會(huì) SIGKDD 最佳博士論文第二名、2017 年 CCF 杰出演講者、2019 年 CCF 青竹獎(jiǎng)、以及 2021 ACL 最佳論文獎(jiǎng)。

張雷，小紅書技術(shù)副總裁，畢業(yè)于上海交通大學(xué)，曾擔(dān)任歡聚時(shí)代技術(shù)副總裁和百度鳳巢首席架構(gòu)師，負(fù)責(zé)百度搜索廣告 CTR 機(jī)器學(xué)習(xí)算法工作。曾任 IBM 深度問答（DeepQA）項(xiàng)目中國技術(shù)負(fù)責(zé)人。

張德兵，小紅書社區(qū)部多媒體智能算法負(fù)責(zé)人，曾任格靈深瞳首席科學(xué)家，快手多模態(tài)智能創(chuàng)作負(fù)責(zé)人，在技術(shù)研究和業(yè)務(wù)落地方向都具有豐富的經(jīng)驗(yàn)，帶領(lǐng)團(tuán)隊(duì)獲得包括國際權(quán)威人臉識(shí)別競賽 FRVT 世界冠軍在內(nèi)的多項(xiàng)學(xué)術(shù)競賽冠軍，并推動(dòng) CV、多模態(tài)等技術(shù)在安防、零售、體育等 TO B 場景和短視頻、廣告等 C 端場景的多項(xiàng)業(yè)務(wù)落地。

三位嘉賓的討論既關(guān)注到了 ChatGPT 當(dāng)下的能力與問題，同時(shí)也就未來的趨勢和前景進(jìn)行了展望。在下文中，我們對交流的內(nèi)容進(jìn)行了梳理和總結(jié)。

OpenAI 的聯(lián)合創(chuàng)始人 Greg Brockman 最近發(fā)推特表示，2023 年將使 2022 年看起來是 AI 進(jìn)步和采用的沉悶之年。圖源：https://twitter.com/gdb/status/1609244547460255744

ChatGPT 的強(qiáng)大能力來自于哪兒？

和試用 ChatGPT 的很多人一樣，三位嘉賓也都對 ChatGPT 的強(qiáng)大能力印象深刻。

其中，張德兵舉了一個(gè)讓 ChatGPT 扮演 Linux Terminal 的例子：告訴 ChatGPT 大概的機(jī)器配置，然后在此基礎(chǔ)上讓它執(zhí)行一些指令，結(jié)果發(fā)現(xiàn)，ChatGPT 能夠記住很長的操作歷史，前后邏輯關(guān)系非常一致（比如你往一個(gè)文件里面寫入幾行字符，之后讓它顯示這個(gè)文件里面到底被寫入了哪些字符，它都能顯示出來）。

DeepMind 研究者 Jonas Degrave 讓 ChatGPT 扮演 Linux Terminal 的例子。圖源：https://www.engraved.blog/building-a-virtual-machine-inside/

這一結(jié)果讓張德兵等人不禁懷疑，ChatGPT 是不是自己在后臺(tái)開了一個(gè) terminal 欺騙用戶？于是他們進(jìn)行了一些測試：讓 ChatGPT 執(zhí)行一些復(fù)雜度非常高的指令（比如兩重 for 循環(huán)，每一個(gè) for 循環(huán)都有 10 億次），如果 ChatGPT 真的開了一個(gè) terminal，它就會(huì)卡一段時(shí)間。結(jié)果出乎意料：ChatGPT 很快就跳過了這個(gè)過程，顯示出了這個(gè)命令之后的下一個(gè)結(jié)果。這讓張德兵等人意識(shí)到，ChatGPT 確實(shí)大概理解了整個(gè) demo 的邏輯，它是有一定的「思考」能力的。

那么，這種強(qiáng)大的能力是從哪里來的呢？張雷提出了兩種假設(shè)。一種假設(shè)認(rèn)為，這種能力本身就是內(nèi)置在大模型當(dāng)中的，只是我們之前沒有恰當(dāng)?shù)蒯尫潘?；另一種假設(shè)認(rèn)為，大模型的內(nèi)置能力其實(shí)沒有那么強(qiáng)，需要我們借助人類力量對它做出一些調(diào)整。

張德兵和李磊都贊同第一種假設(shè)。因?yàn)椋覀兛梢灾庇^地看到，訓(xùn)練和微調(diào)大模型所需的數(shù)據(jù)量存在著幾個(gè)數(shù)量級(jí)的差異，在 GPT-3 及其之后的模型所用到的「預(yù)訓(xùn)練 + 提示（Prompting）」范式中，這種數(shù)據(jù)量的差異就更明顯了。而且，它們所用到的 in-context learning 甚至不需要更新模型參數(shù)，僅需要把少量標(biāo)注樣本放在輸入文本的上下文中即可誘導(dǎo)模型輸出答案。這似乎可以說明，ChatGPT 的強(qiáng)大能力確實(shí)是內(nèi)生的。

傳統(tǒng) fine-tune 方法與 GPT-3 的 in-context learning 方法對比。

此外，ChatGPT 的強(qiáng)大還依賴于一項(xiàng)秘密武器 —— 一種名為 RLHF（人類反饋強(qiáng)化學(xué)習(xí)）的訓(xùn)練方法。

根據(jù) OpenAI 官方公布的資料，這種訓(xùn)練方法可以分為三個(gè)階段 [1]：

1. 冷啟動(dòng)階段的監(jiān)督策略模型：從測試用戶提交的 prompt 中隨機(jī)抽取一批，靠專業(yè)的標(biāo)注人員，給出指定 prompt 的高質(zhì)量答案，然后用這些人工標(biāo)注好的 < prompt,answer > 數(shù)據(jù)來 Fine-tune GPT 3.5 模型，從而讓 GPT 3.5 初步具備理解指令中蘊(yùn)含的意圖的能力；
2. 訓(xùn)練回報(bào)模型（Reward Model,RM）：隨機(jī)抽樣一批用戶提交的 prompt，然后使用第一階段 Fine-tune 好的冷啟動(dòng)模型為每個(gè) prompt 生成 K 個(gè)不同的回答，再讓標(biāo)注人員對 K 個(gè)結(jié)果進(jìn)行排序，以此作為訓(xùn)練數(shù)據(jù)，通過 pair-wise learning to rank 模式來訓(xùn)練回報(bào)模型；
3. 采用強(qiáng)化學(xué)習(xí)來增強(qiáng)預(yù)訓(xùn)練模型的能力：利用上一階段學(xué)好的 RM 模型，靠 RM 打分結(jié)果來更新預(yù)訓(xùn)練模型參數(shù)。

這三個(gè)階段的其中兩個(gè)都用到了人工標(biāo)注，也就是 RLHF 中所謂的「人類反饋」。

李磊表示，這一方法所產(chǎn)生的結(jié)果是出人意料的。在之前做機(jī)器翻譯研究的時(shí)候，他們通常會(huì)用 BLEU 分?jǐn)?shù)（一種快速、便宜且語言獨(dú)立的自動(dòng)機(jī)器翻譯評(píng)價(jià)方法，與人類判斷有很強(qiáng)的相關(guān)性）來指導(dǎo)模型，在模型較小的時(shí)候，這種方法效果顯著，但隨著模型越來越大，它的效果卻在不斷減弱。

因此，他們從中得到的經(jīng)驗(yàn)是：借助反饋來訓(xùn)練 GPT-3 這種超大模型理論上不會(huì)得到太大提升。但是，ChatGPT 的驚艷效果卻推翻了這一經(jīng)驗(yàn)。李磊認(rèn)為，這是 ChatGPT 所帶給大家的震撼之處，提醒大家要改變研究觀念。

ChatGPT 有哪些短板？

不過，震撼之余，三位嘉賓也指出了 ChatGPT 當(dāng)前的一些短板。

首先，正如前面所說，它生成的答案有些還不夠準(zhǔn)確，「一本正經(jīng)胡說八道」的情況還會(huì)時(shí)不時(shí)地出現(xiàn)，而且不太擅長邏輯推理。

圖源：https://m.huxiu.com/article/735909.html

其次，像 ChatGPT 這樣的大模型要想實(shí)際應(yīng)用，所需的部署成本是相當(dāng)高的。而且目前沒有明顯的證據(jù)表明，把它們的規(guī)?？s小一兩個(gè)數(shù)量級(jí)，模型還能保持如此強(qiáng)大的能力?！?span style="color: #3daad6;">如果只能在一個(gè)很大規(guī)模體量下才能維持這樣驚艷的能力，它離應(yīng)用還比較遠(yuǎn)，」張德兵說到。

最后，ChatGPT 在一些特定任務(wù)（比如翻譯）上可能并沒有達(dá)到 SOTA。雖然 ChatGPT 的 API 還沒有放出來，我們無法得知它在一些 benchmark 上的能力，但李磊的學(xué)生在測試 GPT-3 的過程中發(fā)現(xiàn)，雖然 GPT-3 能夠出色地完成翻譯任務(wù)，但它比現(xiàn)在單獨(dú)訓(xùn)練的雙語模型還是要差一些（BLEU 分?jǐn)?shù)差 5 到 10 個(gè)點(diǎn)）。據(jù)此，李磊推測，ChatGPT 在某些 benchmark 上并不見得會(huì)達(dá)到 SOTA，甚至可能和 SOTA 還有一些距離。

ChatGPT 能否取代 Google 等搜索引擎？對 AI 研究有何啟發(fā)？

在關(guān)于 ChatGPT 的各種討論中，「能否取代搜索引擎」這個(gè)話題可能是最火的一個(gè)。近日，《紐約時(shí)報(bào)》報(bào)道稱，ChatGPT 的火爆讓谷歌如臨大敵，他們擔(dān)心，如果大家都去用 ChatGPT 這樣的聊天機(jī)器人，就沒有人會(huì)點(diǎn)擊帶有廣告的谷歌鏈接了（2021 年，谷歌廣告收入占總收入的 81.4%）。在《紐約時(shí)報(bào)》獲得的一份備忘錄和錄音中，谷歌首席執(zhí)行官 Sundar Pichai 一直在開會(huì)，以「確定谷歌的人工智能戰(zhàn)略」，并「顛覆了公司內(nèi)部眾多團(tuán)隊(duì)的工作，以應(yīng)對 ChatGPT 帶來的威脅」[2]。

對此，李磊認(rèn)為，現(xiàn)在就說取代可能還有點(diǎn)早。首先，新技術(shù)的火爆和商業(yè)成功之間往往有很深的 gap，早些年，Google Glass 也說自己將成為新一代的交互方式，但至今未能兌現(xiàn)承諾。其次，ChatGPT 在一些問答任務(wù)上的表現(xiàn)確實(shí)比搜索引擎好，但搜索引擎所承載的需求并不局限于這些任務(wù)。因此，他認(rèn)為，我們應(yīng)該根據(jù) ChatGPT 本身的優(yōu)勢去做產(chǎn)品，而不一定要瞄準(zhǔn)現(xiàn)有的成熟產(chǎn)品去取代它，后者是一件很困難的事情。

很多 AI 研究者認(rèn)為，ChatGPT 與搜索引擎是可以放在一起工作的，二者并非取代與被取代的關(guān)系，就像最近熱門的「youChat」所展示的那樣。圖源：https://twitter.com/rasbt/status/1606661571459137539

張德兵也持有類似的看法，認(rèn)為 ChatGPT 短期內(nèi)替代搜索引擎不太現(xiàn)實(shí)，畢竟它還有很多問題，比如不能訪問互聯(lián)網(wǎng)資源，會(huì)產(chǎn)生誤導(dǎo)信息。此外，它的能力能否泛化到多模態(tài)的搜索場景至今還不明晰。

但不可否認(rèn)，ChatGPT 的出現(xiàn)確實(shí)給了 AI 研究人員很多啟發(fā)。

李磊指出，第一個(gè)值得注意的點(diǎn)是 in-context learning 的能力。在之前的很多研究中，大家都忽略了如何通過某種方式將既有模型的潛力挖掘出來（比如機(jī)器翻譯模型就只是用來做翻譯，而沒有嘗試給它一些提示看看能不能生成更好的翻譯），但 GPT-3、ChatGPT 做到了。因此李磊就在想，我們能不能把以往所有的模型都改成這種 in-context learning 的形式，給它們一些文本、圖像或者其他形式的提示，讓它們把能力都發(fā)揮出來，這將是一個(gè)非常有潛力的研究方向。

第二個(gè)值得注意的點(diǎn)是在 ChatGPT 中發(fā)揮重要作用的人類反饋。李磊提到，谷歌搜索的成功實(shí)際上也很大程度上是因?yàn)樗苋菀撰@得人類反饋（對于搜出的結(jié)果是否點(diǎn)擊）。ChatGPT 通過請人寫答案、給模型生成的答案排序的方式獲得了很多人類反饋，但這種獲取方式比較昂貴（近來有一些研究已經(jīng)指出了這一問題）。因此，李磊認(rèn)為，未來我們要考慮的是如低成本、高效地獲取大量人類反饋。

圖源：https://twitter.com/yizhongwyz/status/1605382356054859777

小紅書「種草」新技術(shù)

對于在小紅書從事多模態(tài)智能創(chuàng)作研究的張德兵來說，ChatGPT 也提供了很多啟發(fā)。

首先，該模型直觀地展示了 NLP 大模型相比小模型在復(fù)雜多輪對話、不同 query 的泛化性、思維鏈 (Chain of Thought) 等各個(gè)場景的大幅提升，且相關(guān)能力目前在小模型上是不具備的。

張德兵認(rèn)為，NLP 大模型的這些相關(guān)能力或許也可以在跨模態(tài)生成中進(jìn)行嘗試和驗(yàn)證。目前，跨模態(tài)模型在模型規(guī)模上相比 GPT-3、ChatGPT 還有顯著的差距，且在跨模態(tài)場景中也有很多工作展示了 NLP 分支表達(dá)能力的提升，會(huì)對視覺生成結(jié)果的精細(xì)程度有很大幫助。如果跨模態(tài)模型的規(guī)模能夠進(jìn)一步擴(kuò)大，模型能力的「涌現(xiàn)」或許是一件值得期待的事情。

其次，像初代 GPT-3 一樣，現(xiàn)在多模態(tài)的生成結(jié)果在挑選的情況下往往能看到很不錯(cuò)的驚艷結(jié)果，但生成可控性還有很大的提升空間。ChatGPT 似乎在一定程度上改善了這一問題，生成的東西更加符合人類心意。因此，張德兵指出，跨模態(tài)的生成或許可以參考 ChatGPT 的很多思路來進(jìn)行嘗試，比如基于優(yōu)質(zhì)數(shù)據(jù)的微調(diào)、強(qiáng)化學(xué)習(xí)等等。

這些研究成果將在小紅書的多項(xiàng)業(yè)務(wù)中得到應(yīng)用，包括電商等場景的智能客服，搜索場景下對用戶 query、對用戶筆記更精確的理解，智能創(chuàng)作場景下對用戶素材進(jìn)行智能配樂、文案生成、跨模態(tài)的轉(zhuǎn)換和生成創(chuàng)作等。在各個(gè)場景中，應(yīng)用的深度和廣度也會(huì)隨著模型大小的壓縮、模型精度的持續(xù)提升而持續(xù)增強(qiáng)和擴(kuò)展。

小紅書作為一家有 2 億月活用戶的 UGC 社區(qū)，隨著社區(qū)內(nèi)容的豐富和多元，創(chuàng)造出了非常巨大的多模態(tài)數(shù)據(jù)集體量。在信息檢索、信息推薦、信息理解，特別在智能創(chuàng)作相關(guān)技術(shù)，以及底層多模態(tài)學(xué)習(xí)、統(tǒng)一表征學(xué)習(xí)等方向上都積累了海量的真實(shí)數(shù)據(jù)，同時(shí)也為這些領(lǐng)域的實(shí)踐創(chuàng)新提供了獨(dú)特且廣闊的落地場景。

小紅書還是當(dāng)下為數(shù)不多的依然保持強(qiáng)勁增長勢頭的互聯(lián)網(wǎng)產(chǎn)品之一，得益于圖文與視頻內(nèi)容并重的產(chǎn)品形態(tài)，小紅書在多模態(tài)、音視頻、搜廣推領(lǐng)域?qū)⒚媾R和創(chuàng)造許多前沿的應(yīng)用問題。這也吸引了大量技術(shù)人才的加入，小紅書技術(shù)團(tuán)隊(duì)中，很多成員都擁有谷歌、Facebook、BAT 等海內(nèi)外一線大廠的工作經(jīng)歷。

這些技術(shù)挑戰(zhàn)也將給予技術(shù)人們在新的領(lǐng)域完整參與乃至扮演重要角色的機(jī)會(huì)。未來小紅書技術(shù)團(tuán)隊(duì)所能提供的人才成長空間，比以往任何時(shí)候都更加廣闊，也正在等待更多優(yōu)秀 AI 技術(shù)人才的加入。

同時(shí)，小紅書也非常重視與業(yè)界的交流?！窻EDtech 來了」就是由小紅書技術(shù)團(tuán)隊(duì)打造的一檔面向行業(yè)前沿的技術(shù)直播欄目。今年以來，小紅書技術(shù)團(tuán)隊(duì)已經(jīng)與多模態(tài)、NLP、機(jī)器學(xué)習(xí)、推薦算法等領(lǐng)域的領(lǐng)軍人物、專家學(xué)者展開深入的交流對話，力圖從學(xué)界科研與小紅書實(shí)戰(zhàn)經(jīng)驗(yàn)的雙重視角探索和討論有價(jià)值的技術(shù)問題。