本文經(jīng)AI新媒體量子位（公眾號(hào) ID: QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處

國(guó)產(chǎn)對(duì)話機(jī)器人ChatGLM，和GPT-4誕生于同一天。

由智譜AI和清華大學(xué)KEG實(shí)驗(yàn)室聯(lián)合推出，開(kāi)啟alpha內(nèi)測(cè)版。

這個(gè)巧合讓智譜AI創(chuàng)始人兼CEO張鵬有一種說(shuō)不清的復(fù)雜感覺(jué)。但看到技術(shù)被OpenAI做到這么牛，這名被AI新進(jìn)展轟炸麻了的技術(shù)老兵又猛然亢奮起來(lái)。

特別是在追GPT-4發(fā)布會(huì)直播時(shí)，他看一下屏幕里的畫(huà)面，就埋頭笑一陣，再看一段，又咧嘴笑一會(huì)兒。

從成立起，張鵬帶隊(duì)的智譜AI就是大模型領(lǐng)域的一員，定下“讓機(jī)器像人一樣思考”的愿景。

但這條路坎坷不斷。和幾乎所有做大模型的公司遇到的問(wèn)題一樣，缺數(shù)據(jù)、缺機(jī)器，同時(shí)還缺錢。好在一路走來(lái)，有一些機(jī)構(gòu)和公司提供無(wú)償支持。

去年8月，公司聯(lián)合一眾科研院所，開(kāi)源的雙語(yǔ)預(yù)訓(xùn)練大語(yǔ)言模型GLM-130B，能在準(zhǔn)確性和惡意性指標(biāo)上與GPT-3 175B （davinci） 接近或持平，也就是后來(lái)ChatGLM的基座。和ChatGLM同時(shí)開(kāi)源的還有個(gè)62億參數(shù)版本ChatGLM-6B，千元單卡就可跑的那種。

除了GLM-130B，智譜另一個(gè)有名的產(chǎn)品是AI人才庫(kù)AMiner，學(xué)界大佬都在玩：

這一回和GPT-4撞到同一天，OpenAI的速度和技術(shù)，讓張鵬和智譜團(tuán)隊(duì)都有些壓力山大。

“一本正經(jīng)的胡說(shuō)八道”需要被糾正嗎？

ChatGLM內(nèi)測(cè)后，量子位第一時(shí)間拿到名額， 出了一波??人肉測(cè)評(píng)??。

先不說(shuō)別的，幾輪測(cè)試下來(lái)就不難發(fā)現(xiàn)，ChatGLM身上有著包括ChatGPT、新必應(yīng)在內(nèi)都擁有的一項(xiàng)本領(lǐng)：

一本正經(jīng)胡說(shuō)八道，包括但不限于在雞兔同籠問(wèn)題中算出-33只小雞崽。

對(duì)大多數(shù)把對(duì)話AI當(dāng)“玩具”或辦公助手的人來(lái)說(shuō)，怎么才能提高準(zhǔn)確度，是格外被關(guān)注和看重的一點(diǎn)。

對(duì)話AI一本正經(jīng)胡說(shuō)八道這回事，可以糾正嗎？又真的需要糾正嗎？

△ChatGPT的經(jīng)典胡說(shuō)八道語(yǔ)錄

張鵬在表達(dá)個(gè)人意見(jiàn)時(shí)說(shuō)，要去糾正這個(gè)“頑疾”，是一件本身就很奇怪的事情。

（保證說(shuō)的每一句話都正確）這件事連人自己都做不到，卻想讓一個(gè)人造的機(jī)器不犯這樣的錯(cuò)。

關(guān)于這個(gè)話題的不同看法與不同人對(duì)機(jī)器的理解息息相關(guān)。張鵬看來(lái)，抨擊AI有這一行為的人，可能一直以來(lái)對(duì)機(jī)器的理解都是一絲不茍的，它們非0即1，嚴(yán)苛而精確——持有這種觀念的人，潛意識(shí)認(rèn)為機(jī)器不應(yīng)該也不能犯錯(cuò)。

知其然與知其所以然同樣重要，“這可能源于大家對(duì)整個(gè)技術(shù)的演進(jìn)和變化，以及技術(shù)的本質(zhì)沒(méi)有深入理解。”

張鵬用人的學(xué)習(xí)作為類比：

AI技術(shù)的邏輯和原理，其實(shí)還是在模擬人的大腦。

面對(duì)學(xué)習(xí)過(guò)的東西，一是知識(shí)本身可能有錯(cuò)，或有更新迭代（如珠穆朗瑪峰的海拔）；二是學(xué)習(xí)的知識(shí)之間也存在互相沖突的可能了；三是人也總有犯錯(cuò)、犯迷糊的時(shí)候，

AI犯錯(cuò)好比人犯錯(cuò)，原因是缺少知識(shí)，或者錯(cuò)誤運(yùn)用了某項(xiàng)知識(shí)。

總之，這是很正常的事情。

與此同時(shí)，智譜當(dāng)然關(guān)注到了OpenAI向CloseAI的默默轉(zhuǎn)身。

從GPT-3選擇閉源，到GPT-4進(jìn)一步掩蓋架構(gòu)層面的更多細(xì)節(jié)，OpenAI對(duì)外回應(yīng)的兩個(gè)原因，一是競(jìng)爭(zhēng)，二是安全。

OpenAI的用心，張鵬表示理解。

“那走開(kāi)源路線，智譜沒(méi)有競(jìng)爭(zhēng)和安全方面的考慮嗎？”
“肯定也會(huì)有。但難道閉源就一定能解決安全問(wèn)題嗎？我看未必。而且我相信世界上聰明人很多，競(jìng)爭(zhēng)是促進(jìn)整體行業(yè)和生態(tài)快速往前推進(jìn)的優(yōu)質(zhì)催化劑?！?/p>

比如和OpenAI同臺(tái)競(jìng)技，哪怕只是奮起追趕，也是競(jìng)爭(zhēng)中的一環(huán)。

這里的追趕是在陳述過(guò)程，建立在認(rèn)為OpenAI研究方向是通往更遠(yuǎn)目標(biāo)路徑上的必經(jīng)之路，但追趕上OpenAI并不是最終目的。

追趕上，不代表可以停下；追趕過(guò)程，不代表要原樣照搬硅谷模式，甚至可以發(fā)揮中國(guó)調(diào)動(dòng)頂層設(shè)計(jì)集中力量辦大事的特色和優(yōu)勢(shì)，才有可能去彌補(bǔ)發(fā)展速度上的差異。

雖然有2019年至今4年多的經(jīng)驗(yàn)，但智譜還不敢給出什么避坑指南。不過(guò)，智譜了解大致對(duì)的方向，這也是智譜透露的正在和CCF聊的共同想法——

大模型技術(shù)的誕生，是一個(gè)非常綜合、復(fù)雜的系統(tǒng)化工程。

它不再是幾個(gè)聰明的腦袋在實(shí)驗(yàn)室里琢磨，掉幾根頭發(fā)，做點(diǎn)實(shí)驗(yàn)，發(fā)點(diǎn)paper就了事。除了原始的理論創(chuàng)新，還需要很強(qiáng)的工程實(shí)現(xiàn)和系統(tǒng)化能力，甚至還需要很好的產(chǎn)品能力。

就像ChatGPT這樣，選擇合適場(chǎng)景，設(shè)定和封裝一個(gè)上到80歲、下到8歲都能接觸使用的產(chǎn)品。

算力、算法、數(shù)據(jù)，具體到背后都是人才，尤其是系統(tǒng)工程的從業(yè)者，重要程度遠(yuǎn)遠(yuǎn)大于往日。

基于這種認(rèn)知，張鵬透露道，在大模型領(lǐng)域中加入知識(shí)系統(tǒng)（知識(shí)圖譜），讓二者像左右腦一樣系統(tǒng)工作，是智譜在研究和實(shí)驗(yàn)當(dāng)中的下一步。

GitHub最火雙語(yǔ)對(duì)話模型

ChatGLM整體參考了ChatGPT的設(shè)計(jì)思路。

也就是在千億雙語(yǔ)基座模型GLM-130B中注入代碼預(yù)訓(xùn)練，通過(guò)有監(jiān)督微調(diào)等技術(shù)，實(shí)現(xiàn)人類意圖對(duì)齊（就是讓機(jī)器的回答符合人類價(jià)值觀、人類期望）。

背后1300億參數(shù)的GLM-130B，由智譜和清華大學(xué)KEG實(shí)驗(yàn)室共同研發(fā)。不同于BERT、GPT-3以及T5的架構(gòu)，GLM-130B是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。

去年8月，GLM-130B對(duì)外發(fā)布，同時(shí)開(kāi)源。Standford報(bào)告中，它的表現(xiàn)在多項(xiàng)任務(wù)上可圈可點(diǎn)。

對(duì)開(kāi)源的堅(jiān)持，源于智譜不想做通往AGI道路上孤獨(dú)的前行者。

這也是繼開(kāi)源GLM-130B后，今年繼續(xù)開(kāi)源ChatGLM-6B的原因。

ChatGLM-6B是模型的“縮小版”，62億參數(shù)大小，技術(shù)基底與ChatGLM相同，初具中文問(wèn)答和對(duì)話功能。

持續(xù)開(kāi)源，理由無(wú)外乎兩點(diǎn)。

一個(gè)是希望把預(yù)訓(xùn)練模型的生態(tài)做大，吸引更多人投入大模型研究，解決現(xiàn)存的很多研究性問(wèn)題；

另一個(gè)是希望大模型作為基礎(chǔ)設(shè)施沉淀下來(lái)，以幫助產(chǎn)生更大的后續(xù)價(jià)值。

加入開(kāi)源社區(qū)確實(shí)很吸引人。ChatGLM內(nèi)測(cè)的幾天內(nèi)，ChatGLM-6B在GitHub上已有8.5k星標(biāo)，一度躍升trending排行榜上的第一位。

從本次對(duì)話中，量子位還從眼前這位從業(yè)者身上聽(tīng)到這樣的聲音：

同樣bug頻出，但人們對(duì)OpenAI推出的ChatGPT，和對(duì)谷歌對(duì)話機(jī)器人Bard、百度文心一言的容忍程度差別明顯。

這既公平，又不公平。

從純技術(shù)的角度來(lái)說(shuō)，評(píng)判標(biāo)準(zhǔn)不一，這是不公平所在；但谷歌、百度之類的大廠，占據(jù)更多資源，大家天然覺(jué)得它們技術(shù)實(shí)力更強(qiáng)，做出更好的東西的可能性更高，期待值就更高。

“希望大家可以給更多的耐心，無(wú)論是對(duì)百度，對(duì)我們，還是其他機(jī)構(gòu)?！?/p>

除了上述內(nèi)容，在本次談話中，量子位還和張鵬具體聊了聊ChatGLM的體驗(yàn)感受。

下面附上對(duì)話實(shí)錄。為了方便閱讀，我們?cè)诓桓淖冊(cè)獾幕A(chǔ)上做了編輯整理。

對(duì)話實(shí)錄

量子位：內(nèi)測(cè)版本給自己打的標(biāo)簽好像沒(méi)那么“通用”，官網(wǎng)給它的適用領(lǐng)域框定了三個(gè)圈，教育、醫(yī)療和金融。

張鵬：這跟訓(xùn)練數(shù)據(jù)沒(méi)什么關(guān)系，主要是考慮到它的應(yīng)用場(chǎng)景。

ChatGLM和ChatGPT類似，是一個(gè)對(duì)話模型。哪些應(yīng)用領(lǐng)域天然更接近對(duì)話場(chǎng)景？像客服，像醫(yī)生問(wèn)診，或者比如線上金融服務(wù)。這些場(chǎng)景下，更適合ChatGLM的技術(shù)去發(fā)揮作用。

量子位：但醫(yī)療領(lǐng)域，要看病的人對(duì)AI的態(tài)度還是比較謹(jǐn)慎的。

張鵬：肯定不能直接拿大模型往上懟?。。ㄐΓ┫胍耆娲祟?，還是要慎重。

現(xiàn)階段不是用它去代替人工作，更多的是輔助作用，給從業(yè)者提供建議來(lái)提升工作效率。

量子位：我們把GLM-130B的論文鏈接扔給ChatGLM，讓它簡(jiǎn)要概括一下主題，它叭叭半天，結(jié)果說(shuō)的根本不是這篇。

張鵬：ChatGLM的設(shè)定就是不能獲取鏈接的東西。倒不是技術(shù)上的困難，而是系統(tǒng)邊界的問(wèn)題，主要是從安全角度考慮，不希望它任意訪問(wèn)外部鏈接。

可以試一下把130B的論文文字copy下來(lái)扔給輸入框，一般不會(huì)瞎說(shuō)。

量子位：雞兔同籠我們也扔給它了，算出了-33只雞。

張鵬：在數(shù)學(xué)處理、邏輯推理方面，它確實(shí)還有一定缺陷，做不到那么好。內(nèi)測(cè)說(shuō)明里我們其實(shí)寫(xiě)了這件事。

量子位：知乎有人做了測(cè)評(píng)，寫(xiě)代碼能力好像也一般。

張鵬：至于寫(xiě)代碼的能力，我覺(jué)得還行啊？不知道你們的測(cè)試方式是什么。但具體也要看跟誰(shuí)比了，和ChatGPT比的話，ChatGLM本身在代碼數(shù)據(jù)的投入可能就沒(méi)有那么多。

就像ChatGLM和ChatGLM-6B比，后者只有6B（62億）的參數(shù)，整體能力，比如整體的邏輯性、回答時(shí)的幻覺(jué)和長(zhǎng)度上，縮小版和原版的差距就很明顯。

但是“縮小版”能在普通電腦上部署，帶來(lái)的是更高的可用性和更低的門(mén)檻。

量子位：它有個(gè)優(yōu)點(diǎn)，對(duì)新信息的掌握度不錯(cuò)，知道推特現(xiàn)在的CEO是馬斯克，也知道何愷明3月10日回歸學(xué)界的事情——雖然不知道GPT-4已經(jīng)發(fā)布了，哈哈。

張鵬：我們做了一些特殊的技術(shù)處理。

量子位：是什么？

張鵬：具體細(xì)節(jié)就不展開(kāi)講了。但對(duì)時(shí)間比較近的新信息，是有辦法處理的。

量子位：那透露下成本？GLM-130B訓(xùn)練一次的成本還是有幾百萬(wàn)，ChatGLM進(jìn)行一輪問(wèn)答的成本目前壓到什么程度？

張鵬：我們大概測(cè)試和估算了一下，和OpenAI倒數(shù)第二次公布的成本差不多，比他們略低一些。

但OpenAI的最新報(bào)價(jià)縮減到原來(lái)的10%，只有0.002美元/750個(gè)單詞，這就比我們更低了。這個(gè)成本確實(shí)是很驚人的，估計(jì)他們做了模型壓縮、量化、優(yōu)化等工作，否則不可能降到這么低。

我們也在做相關(guān)的事情，期望能把成本壓下去。

量子位：假以時(shí)日，能和搜索成本一樣低嗎？

張鵬：什么時(shí)候能降到這么低？我也不知道。還需要一點(diǎn)時(shí)間。

我之前看過(guò)對(duì)每次搜索價(jià)格平均成本的計(jì)算，其實(shí)與主營(yíng)業(yè)務(wù)相關(guān)。比如搜索引擎主要業(yè)務(wù)就是廣告，所以要用廣告總收入作為上限來(lái)計(jì)算成本。這樣計(jì)算的話，其實(shí)要考慮的并不是消耗的成本，而是企業(yè)盈利收益的平衡點(diǎn)。

做模型推理需要的是AI算力，肯定比搜索這類只用CPU算力的成本是要更高的。但大家也在努力吧，很多人提出一些想法，比如持續(xù)去做模型的壓縮量化。

甚至有人想把模型做一些轉(zhuǎn)化，讓它在CPU上跑，因?yàn)镃PU更便宜，量更大，跑起來(lái)的話，成本下降就會(huì)很明顯。

量子位：最后還想聊兩句人才方面的話題，現(xiàn)在大家都在搶大模型人才，智譜怕招不到人嗎？

張鵬：我們從清華KEG的技術(shù)項(xiàng)目孵化出來(lái)，和各個(gè)高校的關(guān)系一直都不錯(cuò)。而且公司對(duì)年輕人來(lái)說(shuō)氛圍比較open，75%的同事都是年輕人，我這種已經(jīng)算老家伙了。大模型人才現(xiàn)在確實(shí)奇貨可居，但我們還沒(méi)什么招人方面的擔(dān)心。

反過(guò)來(lái)，其實(shí)我們現(xiàn)在比較擔(dān)心被別人撬墻角（狗頭）。