2022年底OpenAI推出ChatGPT，其爆火程度一直持續(xù)到今天，這個(gè)模型簡(jiǎn)直就是行走的流量，所到之處必將引起一番討論狂潮。

各大科技公司、機(jī)構(gòu)、甚至是個(gè)人，紛紛加緊研發(fā)類ChatGPT產(chǎn)品。與此同時(shí)，微軟將ChatGPT接入必應(yīng)，幾乎前后腳，谷歌發(fā)布Bard為搜索引擎提供動(dòng)力。英偉達(dá) CEO 黃仁勛對(duì)ChatGPT給與了一個(gè)很高的評(píng)價(jià)，他表示，ChatGPT 是人工智能領(lǐng)域的 iPhone 時(shí)刻，也是計(jì)算領(lǐng)域有史以來最偉大的技術(shù)之一。

很多人對(duì)對(duì)話式AI已經(jīng)到來深信不疑，但這類模型真的完美無缺嗎？不見得，在它們身上總會(huì)出現(xiàn)一些荒誕的時(shí)刻（uncanny moments），例如隨意發(fā)表不受約束的言論，或者喋喋不休地說出接管世界的計(jì)劃等。

為了理解對(duì)話式AI這些荒誕時(shí)刻，由深度學(xué)習(xí)三巨頭之一的Yann LeCun以及紐約大學(xué)計(jì)算機(jī)科學(xué)系博士后Jacob Browning等人聯(lián)合撰寫了一篇文章《AI Chatbots Don’t Care About Your Social Norms》，文中討論了對(duì)話式AI的三個(gè)方面：聊天機(jī)器人、社會(huì)規(guī)范和人類期望。

文中談到，人類非常善于避免口誤，不讓自己做出失誤和失禮的言行。相比之下，聊天機(jī)器人卻經(jīng)常犯錯(cuò)。因此理解為什么人類擅長(zhǎng)避免出錯(cuò)，可以更好的幫助我們理解目前聊天機(jī)器人為何不能被信任。

聊天機(jī)器人加入人類反饋，不讓模型說錯(cuò)話

對(duì)于GPT-3來說，犯錯(cuò)的方式包括模型統(tǒng)計(jì)不準(zhǔn)確。GPT-3比較依賴用戶提示，它對(duì)語境、情境等的理解只關(guān)注從用戶的提示中可以得到什么。ChatGPT也是如此，不過后者以一種新穎而有趣的方式稍作修改。除了統(tǒng)計(jì)學(xué)外，模型的反應(yīng)也被人類評(píng)估員強(qiáng)化了。對(duì)于系統(tǒng)的輸出，人類評(píng)估員會(huì)進(jìn)行強(qiáng)化，使其輸出好的反應(yīng)。最終結(jié)果是，這個(gè)系統(tǒng)不僅會(huì)說一些貌似合理的東西，而且（理想情況下）還會(huì)說一些人類會(huì)判斷為合適的東西——即便是模型說錯(cuò)了話，至少不會(huì)冒犯別人。

但這種方法給人的感覺太機(jī)械性。在人類對(duì)話中，有無數(shù)種方法可以說錯(cuò)話：我們可以說一些不恰當(dāng)?shù)?、不誠(chéng)實(shí)的、令人困惑的或者只是愚蠢的事情。我們甚至在說正確的事情時(shí)，由于說的語氣或語調(diào)不對(duì)而受到指責(zé)。我們?cè)谂c他人打交道的過程中，會(huì)穿越無數(shù)的「對(duì)話雷區(qū)」?？刂谱约翰徽f錯(cuò)話不僅僅是對(duì)話的一個(gè)重要部分，它往往比對(duì)話本身更重要。有時(shí)，閉上嘴巴可能是唯一正確的行動(dòng)方案。

這就引出兩個(gè)問題：我們?cè)撊绾务{馭模型這種不說錯(cuò)話的危險(xiǎn)局面？以及為什么聊天機(jī)器人不能有效地控制自己不說錯(cuò)話？

對(duì)話該如何進(jìn)行？

人類對(duì)話可以涉及任意話題，就像腳本化了一樣：餐館點(diǎn)餐，閑聊，為遲到道歉等等。不過這些不是文字腳本，中間充滿了即興創(chuàng)作，所以人類的這種對(duì)話模型才是更一般的模式，規(guī)則沒有那么嚴(yán)格。

人類這種腳本化的言行不受文字制約。即使你不懂語言，同樣的腳本也能發(fā)揮作用，比如打一個(gè)手勢(shì)就知道對(duì)方想要什么。社會(huì)規(guī)范支配著這些腳本，幫助我們駕馭生活。這些規(guī)范規(guī)定了每個(gè)人在某些情況下的行為方式，為每個(gè)人分配了角色，并對(duì)如何行動(dòng)給予了廣泛的指導(dǎo)。遵循規(guī)范是有用的：它通過標(biāo)準(zhǔn)化和流程化來簡(jiǎn)化我們的交互，使彼此能更容易預(yù)測(cè)對(duì)方意圖。

人類已經(jīng)制定了慣例和規(guī)范來管理我們社會(huì)生活的每個(gè)方面，從使用什么叉子到在按喇叭之前應(yīng)該等待多長(zhǎng)時(shí)間。這對(duì)于在數(shù)十億人的世界中生存至關(guān)重要，在這個(gè)世界上，我們遇到的大多數(shù)人都是完全陌生的人，他們的信仰可能與我們不一致。將這些共同的規(guī)范落實(shí)到位不僅可以使對(duì)話成為可能，而且會(huì)富有成果，列出我們應(yīng)該談?wù)摰膬?nèi)容——以及我們不應(yīng)該談?wù)摰乃惺虑椤?

規(guī)范的另一面

人類傾向于制裁那些違反規(guī)范的人，有時(shí)會(huì)公開，有時(shí)會(huì)秘密進(jìn)行。社會(huì)規(guī)范使得評(píng)估一個(gè)陌生人變得非常簡(jiǎn)單，例如，在第一次約會(huì)時(shí)，通過對(duì)話以及提問等方式，雙方會(huì)評(píng)估對(duì)方的行為，如果對(duì)方違反了其中一條規(guī)范——例如，如果他們表現(xiàn)得粗魯或不恰當(dāng)——我們通常會(huì)評(píng)判他們并拒絕第二次約會(huì)。

對(duì)人類來說，這些評(píng)判不僅是基于冷靜的分析，更進(jìn)一步的是基于我們對(duì)世界的情感反應(yīng)。我們小時(shí)候接受的部分教育是情緒訓(xùn)練，以確保我們?cè)趯?duì)話中在正確的時(shí)間給出正確的情緒：當(dāng)有人違反禮儀規(guī)范時(shí)感到憤怒，當(dāng)有人說出冒犯性的話時(shí)感到厭惡，當(dāng)我們說謊時(shí)感到羞恥。我們的道德良知使我們能夠在對(duì)話中對(duì)任何不恰當(dāng)?shù)氖虑樽龀隹焖俜磻?yīng)，并預(yù)測(cè)其他人將如何對(duì)我們的言論做出反應(yīng)。

但不僅如此，一個(gè)違反了簡(jiǎn)單規(guī)范的人，他的整個(gè)性格都會(huì)遭到質(zhì)疑。如果他在一件事情上撒了謊，那么會(huì)不會(huì)在其他事情上撒謊呢？因此，公開是為了讓對(duì)方感到羞恥，并在此過程中迫使對(duì)方為自己的行為道歉（或至少為自身行為辯護(hù)）。規(guī)范也得到了加強(qiáng)。

簡(jiǎn)而言之，人類應(yīng)該嚴(yán)格遵守社會(huì)規(guī)范，否則說出的話有很高的風(fēng)險(xiǎn)。我們要為自己所說的任何事情負(fù)責(zé)，所以要謹(jǐn)慎地選擇說話，并希望周圍的人也是如此。

不受約束的聊天機(jī)器人

人類對(duì)話的高風(fēng)險(xiǎn)揭示了什么讓聊天機(jī)器人如此令人不安。通過僅僅預(yù)測(cè)對(duì)話如何進(jìn)行，它們最終松散地遵守人類的規(guī)范，但它們不受這些規(guī)范的約束。當(dāng)我們與聊天機(jī)器人隨意交談或測(cè)試它們解決語言難題的能力時(shí)，它們通常會(huì)給出一些似是而非的答案，并表現(xiàn)得像人類一樣正常。有人甚至可能會(huì)將聊天機(jī)器人誤認(rèn)為是人。

但是，如果我們稍微更改prompt或者使用不同的腳本，聊天機(jī)器人會(huì)突然吐出陰謀論、種族主義長(zhǎng)篇大論或胡說八道。這可能是因?yàn)樗鼈兘邮芰岁幹\論者、噴子等在 Reddit和其他平臺(tái)寫的內(nèi)容的訓(xùn)練。

我們中的任何人都有可能說出像噴子一樣的話，但我們不應(yīng)該說，因?yàn)閲娮拥脑挸涑庵f八道、冒犯性言論、殘忍和不誠(chéng)實(shí)。我們中的大多數(shù)人不說這些話，也是因?yàn)樽约翰幌嘈潘鼈儭ｓw面的規(guī)范已經(jīng)將冒犯性行為推向了社會(huì)邊緣，所以我們中的大多數(shù)人也不敢這樣的話。

相比之下，聊天機(jī)器人不會(huì)意識(shí)到有些話是它們不應(yīng)該說的，無論這些話在統(tǒng)計(jì)學(xué)上的可能性有多大。它們意識(shí)不到定義了該說和不該說之間界限的社會(huì)規(guī)范，也察覺不到影響我們使用語言的深層社會(huì)壓力。即使聊天機(jī)器人承認(rèn)搞砸并道歉了，它們也不明白為什么。如果我們指出它們錯(cuò)了，聊天機(jī)器人甚至?xí)狼敢缘玫秸_的答案。

這闡明了更深層次的問題：我們希望人類說話者能夠忠實(shí)于他們所說的話，并且要求他們對(duì)此負(fù)責(zé)。我們不需要檢查他們的大腦或了解任何心理學(xué)來做到這一點(diǎn)，只需要知道他們一貫可靠、遵守規(guī)范和行為上尊重他人，則會(huì)相信他們。聊天機(jī)器人的問題不在于「黑盒子」或技術(shù)不熟悉，而是因?yàn)殚L(zhǎng)期以來不可靠和令人反感，并且沒有努力改進(jìn)甚至沒有意識(shí)到存在問題。

開發(fā)人員當(dāng)然知道這些問題。他們以及希望自身AI技術(shù)被廣泛應(yīng)用的公司擔(dān)心自己的聊天機(jī)器人的聲譽(yù)，并花大量時(shí)間重組系統(tǒng)以避免對(duì)話困難或消除不當(dāng)回答。雖然這有助于使聊天機(jī)器人更安全，但開發(fā)人員需要竭力走到試圖破壞它們的人的前面。因此，開發(fā)人員的方法是被動(dòng)的，并且總是落后：有太多的錯(cuò)誤方式無法預(yù)測(cè)到。

聰明但不人性化

這不應(yīng)該讓我們自鳴得意人類有多聰明，聊天機(jī)器人有多笨。相反，它們無所不談的能力展現(xiàn)出了對(duì)人類社會(huì)生活和整個(gè)世界的深刻（或膚淺）的了解。聊天機(jī)器人非常聰明，至少能在測(cè)試中取得好成績(jī)或提供有用的信息參考。聊天機(jī)器人在教育工作者中引起的恐慌足以說明它們?cè)跁局R(shí)學(xué)習(xí)上令人印象深刻。

但問題在于聊天機(jī)器人不在乎（care）。它們沒有任何想要通過對(duì)話實(shí)現(xiàn)的內(nèi)在目標(biāo)，也不受他人想法或反應(yīng)的激勵(lì)。它們不會(huì)因說謊感到難過，它們的誠(chéng)實(shí)也不會(huì)得到回報(bào)。它們?cè)谀撤N程度是無恥的，甚至川普都非常關(guān)心自己的聲譽(yù)，至少聲稱自己是誠(chéng)實(shí)的。

因此，聊天機(jī)器人的對(duì)話是無意義的。對(duì)于人類來說，對(duì)話是獲得我們想要的東西的一種方式，比如建立聯(lián)系、在項(xiàng)目上獲得幫助、打發(fā)時(shí)間或者了解一些東西。對(duì)話要求我們對(duì)對(duì)話的人感興趣，理想情況下應(yīng)該要關(guān)心對(duì)方。

即使我們不關(guān)心對(duì)話的人，至少在乎對(duì)方對(duì)自己的看法。我們深深地認(rèn)識(shí)到，生活中的成功（比如擁有親密關(guān)系、做好工作等）取決于擁有好的聲譽(yù)。如果我們的社會(huì)地位下降，就可能失去一切。對(duì)話塑造了他人對(duì)我們的看法，并且很多人通過內(nèi)心獨(dú)白來塑造對(duì)自己的認(rèn)知。

但是聊天機(jī)器人沒有自己的故事可以講述，也沒有聲譽(yù)可以捍衛(wèi)，它們不像我們一樣能感受到負(fù)責(zé)任行動(dòng)的吸引力。聊天機(jī)器人可以并且在很多高度腳本化的情況下發(fā)揮作用，從玩地下城主、撰寫合理的副本或者幫助作者探索思路，等等。不過它們?nèi)狈?duì)自己或他人的了解，無法成為值得信賴的社會(huì)代理人，即我們大多數(shù)時(shí)候希望與之交談的那類人。

如果不了解有關(guān)誠(chéng)實(shí)和體面的規(guī)范，也不關(guān)心自己的聲譽(yù)，那么聊天機(jī)器人的用處就會(huì)受限，依賴它們也會(huì)帶來真正的危險(xiǎn)。

怪誕的對(duì)話

因此，聊天機(jī)器人并不是以人類的方式對(duì)話，并且它們永遠(yuǎn)不可能僅通過統(tǒng)計(jì)學(xué)上似乎可信的談話達(dá)到目的。如果缺少對(duì)社會(huì)世界的真正了解，這些AI系統(tǒng)就只是無聊的話癆罷了，無論表現(xiàn)得多么機(jī)智或雄辯。

這有助于闡明為什么這些AI系統(tǒng)只是非常有趣的工具以及為什么人類不應(yīng)該將它們擬人化。人類不僅僅是冷靜的思考者或演說者，在本質(zhì)上還是遵守規(guī)范的生物，通過共同的、強(qiáng)制性的期望在情感上相互建立聯(lián)系。人類的思維和言語源于自身的社會(huì)性。

單純的對(duì)話脫離了廣泛的世界參與，與人類沒有什么共同之處。聊天機(jī)器人不是像我們一樣使用語言，即使它們有時(shí)說的與我們完全相同?？蓺w根到底，它們不懂我們?yōu)槭裁催@樣說話，這是顯而易見的。