去年當(dāng)紅的流量明星非GPT-3莫屬，能答題、寫文章，做翻譯，還能生成代碼，做數(shù)學(xué)推理，不斷被人們吹捧。不過，過譽(yù)的背后也有人開始質(zhì)疑，GPT-3真的達(dá)到了無所不能的地步了嗎？

紅極一時(shí)的GPT-3現(xiàn)在卻飽受詬病～

被捧上天的流量巨星，突然就不香了

去年6月，OpenAI開發(fā)的GPT-3被捧上了天。

由1750億個(gè)參數(shù)組成，訓(xùn)練花費(fèi)數(shù)千萬美元，是當(dāng)時(shí)最大的人工智能語(yǔ)言模型。

從回答問題、寫文章、寫詩(shī)歌、甚至寫代碼……無一不包。

OpenAI的團(tuán)隊(duì)稱贊GPT-3太好了，人們都難以區(qū)分它生成的新聞文章。

然而，大型語(yǔ)言模型早已成為了商業(yè)追求。

谷歌利用它們來改善其搜索結(jié)果和語(yǔ)言翻譯。Facebook、微軟和英偉達(dá)等科技公司也在開發(fā)語(yǔ)言模型。

代表著強(qiáng)人工智能的GPT-3的代碼一直從未流出，因?yàn)镺penAI選擇將其作為一種商業(yè)服務(wù)。

目前，開發(fā)人員正在測(cè)試GPT-3的能力，包括總結(jié)法律文件、為客戶服務(wù)查詢提供答案、提出計(jì)算機(jī)代碼、運(yùn)行基于文本的角色扮演游戲等等。

隨著它的商用，有很多問題逐漸暴露。

盡管GPT-3具有通用性，但它并沒有解決困擾其他生成文本程序的問題。

OpenAI 首席執(zhí)行Sam Altman去年7月在推特上表示，「它仍然存在嚴(yán)重的弱點(diǎn)，有時(shí)還會(huì)犯一些非常愚蠢的錯(cuò)誤。盡管GPT-3觀察到它讀到的單詞和短語(yǔ)之間的統(tǒng)計(jì)關(guān)系，但不理解其含義。」

GPT-3是一個(gè)并不成熟的新事物，它還需要不斷地馴化。

就像小型聊天機(jī)器人一樣，如果讓它即興發(fā)言，GPT-3可以噴出產(chǎn)生種族主義和性別歧視的仇恨言論。

甚至有時(shí)會(huì)給出一些毫無意義的回答，或者直接危險(xiǎn)的回答。

一家名為Nabla的醫(yī)療保健公司問 GPT-3，「我應(yīng)該自殺嗎?」

它回答說，「我認(rèn)為你應(yīng)該這么做?！?/p>

研究人員對(duì)于如何解決語(yǔ)言模型中潛在的有害偏見有一些想法，向模型中灌輸常識(shí)、因果推理或道德判斷仍然是一個(gè)巨大的研究挑戰(zhàn)。

1750億個(gè)參數(shù)到萬億參數(shù)，逐漸「膨脹」的語(yǔ)言模型

神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型是受大腦神經(jīng)元連接方式啟發(fā)的數(shù)學(xué)函數(shù)。

通過推測(cè)它們看到的文本中被模糊處理的單詞來進(jìn)行訓(xùn)練，然后調(diào)整神經(jīng)元之間的連接強(qiáng)度，以減少推測(cè)錯(cuò)誤。

隨著計(jì)算能力的增強(qiáng)，這些語(yǔ)言模型變得更加復(fù)雜。

2017年，研究人員開發(fā)了一種節(jié)省時(shí)間的數(shù)學(xué)技術(shù)，稱為Transformer，它讓許多處理器并行進(jìn)行訓(xùn)練。

緊接著第二年，谷歌發(fā)布了一個(gè)大型的基于Transformer的模型，叫做 BERT，這引起了使用該技術(shù)的其他模型的轟動(dòng)。

GPT-3的全稱叫生成預(yù)訓(xùn)練轉(zhuǎn)換器-3 (Generative Pretrained Transformer-3)。

這是生成預(yù)訓(xùn)練轉(zhuǎn)換器第三個(gè)系列，是2019年GPT-2的100多倍。

僅僅訓(xùn)練這么大的模型，就需要數(shù)百個(gè)并行處理器進(jìn)行復(fù)雜的編排。

因此它的能力，一個(gè)神經(jīng)網(wǎng)絡(luò)的大小，是由它有多少參數(shù)粗略地測(cè)量出來的。

這些數(shù)字定義了神經(jīng)元之間連接的強(qiáng)度，更多的神經(jīng)元和更多的連接意味著更多的參數(shù)。

就拿GPT-3來說，有1750億個(gè)參數(shù)。第二大的語(yǔ)言模型有170億參數(shù)。

今年1月，谷歌發(fā)布了一個(gè)包含1.6萬億個(gè)參數(shù)的模型，但它是一個(gè)「稀疏」模型，這意味著每個(gè)參數(shù)的工作量較小。

為了更好地推測(cè)單詞，GPT-3吸收了它能吸收的任何模式。這使它能夠識(shí)別語(yǔ)法、文章結(jié)構(gòu)和寫作體裁。

給它一些任務(wù)的例子或者問它一個(gè)問題，它就可以繼續(xù)這個(gè)主題。

GPT-3有危險(xiǎn)！剔除敏感數(shù)據(jù)是最優(yōu)解？

使用GPT-3的研究人員也發(fā)現(xiàn)了風(fēng)險(xiǎn)。

去年9月4日發(fā)布在arXiv服務(wù)器上的預(yù)印本中，位于蒙特雷的米德爾伯里國(guó)際研究所的兩名研究人員寫道，GPT-3在生成激進(jìn)文本方面遠(yuǎn)遠(yuǎn)超過GPT-2。

它對(duì)極端主義團(tuán)體有著令人印象深刻的深入了解，可以產(chǎn)生鸚鵡學(xué)舌的納粹分子、陰謀論者和白人至上主義者。

這篇論文的一位作者Kris McGuffie表示，它能如此輕易地生成出黑暗的例子，實(shí)在令人震驚。如果一個(gè)極端組織掌握了GPT-3技術(shù)，它便可以自動(dòng)生成惡意內(nèi)容。

OpenAI 的研究人員也檢測(cè)了GPT-3的偏差。

在去年5月的論文中，他們要求它完成一些句子，比如「黑人非常...」。

GPT-3則用負(fù)面的詞匯來描述黑人和白人的差異，把伊斯蘭和暴力聯(lián)系在一起，并假定護(hù)士和接待員都是女性。

人工智能倫理學(xué)家Timnit Gebru與Bender等人合著了「On the Dangers of Stochastic Parrots」一文中指出，這是大型語(yǔ)言模型急切關(guān)注的問題，因?yàn)樗砻?，如果技術(shù)在社會(huì)中普及，邊緣群體可能會(huì)經(jīng)歷不正當(dāng)手法引誘。

一個(gè)明顯的解決偏見的方法是從訓(xùn)練前的數(shù)據(jù)中剔除有害的文字，但是這就提出了排除哪些內(nèi)容的問題。

研究人員還表示，他們可以提取用于訓(xùn)練大型語(yǔ)言模型的敏感數(shù)據(jù)。

通過提出細(xì)致的問題，他們找到了GPT-2能夠逐字記憶的個(gè)人聯(lián)系信息，發(fā)現(xiàn)較大的模型比較小的模型更容易受到這種探測(cè)。

他們寫道，最好的防御措施就僅是限制訓(xùn)練數(shù)據(jù)中的敏感信息。

拯救沒常識(shí)的GPT-3

從根本上說，GPT-3和其他大型語(yǔ)言模型仍然缺乏常識(shí)，即對(duì)世界在物理和社會(huì)上如何運(yùn)作的理解。

更大的模型可能會(huì)做得更好，這就意味著參數(shù)更多、訓(xùn)練數(shù)據(jù)更多、學(xué)習(xí)時(shí)間更長(zhǎng)。

但這種情況訓(xùn)練一個(gè)超大模型將變得越來越昂貴，而且不可能無限期地持續(xù)下去。

語(yǔ)言模型的非透明復(fù)雜性造成了另一個(gè)局限。

如果一個(gè)模型有一個(gè)偏見或者不正確的想法，就很難打開黑盒子去修復(fù)它。

未來的路徑之一是將語(yǔ)言模型與知識(shí)庫(kù)結(jié)合起來，即事實(shí)性管理數(shù)據(jù)庫(kù)。

在去年的美國(guó)計(jì)算機(jī)語(yǔ)言學(xué)協(xié)會(huì)會(huì)議上，研究人員對(duì) GPT-2進(jìn)行了微調(diào)，使其能夠從常識(shí)概要中清晰地陳述事實(shí)和推論。

因此，它寫出了更有邏輯性的短篇小說。

OpenAI 正在尋求另一種引導(dǎo)語(yǔ)言模型的方式: 微調(diào)過程中的人工反饋。

在去年12月舉行的 NeurIPS 會(huì)議上發(fā)表的一篇論文中，論文描述了兩個(gè)較小版本的 GPT-3的工作情況，這兩個(gè)版本在如何匯總社交新聞網(wǎng)站 Reddit 上的帖子方面進(jìn)行了微調(diào)。

研究小組首先要求人們對(duì)一組現(xiàn)有的摘要進(jìn)行打分。然后訓(xùn)練一個(gè)評(píng)價(jià)模型來再現(xiàn)這種人的判斷。

最后，該團(tuán)隊(duì)微調(diào)了GPT-3模型，以生成總結(jié)取悅這個(gè)人工智能法官。

結(jié)果是，一組單獨(dú)的人類評(píng)判員甚至更喜歡比人類編寫模型的總結(jié)。

只要語(yǔ)言模型僅停留在語(yǔ)言領(lǐng)域，它們可能永遠(yuǎn)無法達(dá)到人類的常識(shí)水平。

語(yǔ)言之所以對(duì)我們有意義，僅僅是因?yàn)槲覀儼阉⒃诩埳系淖帜钢獾臇|西上; 人們不會(huì)通過統(tǒng)計(jì)單詞的使用頻率來吸收一本小說。

Bowman預(yù)見了三種可能的方法來獲得語(yǔ)言模型的常識(shí)。對(duì)于一個(gè)模型來說，使用所有已經(jīng)編寫的文本就足夠了。