本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

 GPT-3是指第三代生成式預(yù)訓(xùn)練Transformer，它由舊金山AI公司OpenAI開(kāi)發(fā)。該程序歷經(jīng)數(shù)年的發(fā)展，最近在AI文本生成領(lǐng)域內(nèi)掀起了一波的創(chuàng)新浪潮。

從許多方面來(lái)看，這些進(jìn)步與自2012年以來(lái)AI圖像處理的飛躍相似。

計(jì)算機(jī)視覺(jué)技術(shù)促進(jìn)了、無(wú)人駕駛汽車(chē)到、面部識(shí)別、無(wú)人機(jī)的發(fā)展。因此，有理由認(rèn)為GPT-3及其同類(lèi)產(chǎn)品的新功能可能會(huì)產(chǎn)生類(lèi)似的深遠(yuǎn)影響。

與所有深度學(xué)習(xí)系統(tǒng)一樣，GPT-3也是數(shù)據(jù)模式。它在龐大的文本集上進(jìn)行了訓(xùn)練，并根據(jù)統(tǒng)計(jì)規(guī)律進(jìn)行了挖掘。

重要的是，此過(guò)程中無(wú)需人工干預(yù)，程序在沒(méi)有任何指導(dǎo)的情況下查找，然后將其用于完成文本提示。

海量訓(xùn)練數(shù)據(jù)

GPT-3的與眾不同之處在于它的運(yùn)行規(guī)模和完成一系列令人難以置信的任務(wù)。

第一版GPT于2018年發(fā)布，包含1.17億個(gè)參數(shù)。2019年發(fā)布的GPT-2包含15億個(gè)參數(shù)。

相比之下，GPT-3擁有1750億個(gè)參數(shù)，比其前身多100倍，比之前最大的同類(lèi)NLP模型要多10倍。

GPT-3的訓(xùn)練數(shù)據(jù)集也十分龐大。整個(gè)英語(yǔ)維基百科（約600萬(wàn)個(gè)詞條）僅占其訓(xùn)練數(shù)據(jù)的0.6％。

訓(xùn)練數(shù)據(jù)的其他部分來(lái)自數(shù)字化書(shū)籍和各種網(wǎng)頁(yè)鏈接。不僅包括新聞文章、食譜和詩(shī)歌之類(lèi)的內(nèi)容，還包括程序代碼、科幻小說(shuō)、宗教預(yù)言等各種你可以想象到的任何文字。

上傳到互聯(lián)網(wǎng)的文本類(lèi)型都可能成為其訓(xùn)練數(shù)據(jù)，其中還包括不良內(nèi)容。比如偽科學(xué)、陰謀論、種族主義等等。這些內(nèi)容也會(huì)投喂給AI。

這種不可置信的深度和復(fù)雜性使輸出也具有復(fù)雜性，從而讓GPT-3成為一種非常靈活的工具。

在過(guò)去的幾周中，OpenAI通過(guò)向AI社區(qū)的成員提供GPT-3商業(yè)API，鼓勵(lì)了這些實(shí)驗(yàn)。這導(dǎo)致大量新的用法出現(xiàn)。

下面是人們使用GPT-3創(chuàng)建的一小部分示例：

GPT-3能做什么

1、基于問(wèn)題的搜索引擎：就像Google，鍵入問(wèn)題，GPT-3會(huì)將定向到相關(guān)的維基百科URL作為答案。

2、與歷史人物交談的聊天機(jī)器人：由于GPT-3接受過(guò)許多數(shù)字化書(shū)籍的訓(xùn)練，因此它吸收了大量與特定哲學(xué)家相關(guān)的知識(shí)。這意味著你可以啟動(dòng)GPT-3，使其像哲學(xué)家羅素一樣講話。

3、僅需幾個(gè)樣本，即可解決語(yǔ)言和語(yǔ)法難題。

4、基于文本描述的代碼生成：用簡(jiǎn)單的文字描述你選擇的設(shè)計(jì)元素或頁(yè)面布局，GPT-3會(huì)彈出相關(guān)代碼。

5、回答醫(yī)療問(wèn)題：來(lái)自英國(guó)的一名醫(yī)學(xué)生使用GPT-3回答了醫(yī)療保健問(wèn)題。該程序不僅給出了正確答案，還正確解釋了潛在的生物學(xué)機(jī)制。

6、基于文本的探險(xiǎn)游戲。

7、文本的風(fēng)格遷移：以某種格式編寫(xiě)的輸入文本，GPT-3可以將其更改為另一種格式。

8、編寫(xiě)吉他曲譜：這意味著GPT-3可以自行生成音樂(lè)。

9、寫(xiě)創(chuàng)意小說(shuō)。

10、自動(dòng)完成圖像：這項(xiàng)工作是由GPT-2和OpenAI團(tuán)隊(duì)完成的。它表明可以在像素而不是單詞上訓(xùn)練相同的基本GPT體系結(jié)構(gòu)，從而使其可以像在文字上一樣實(shí)現(xiàn)視覺(jué)數(shù)據(jù)自動(dòng)完成任務(wù)。

但是，所有這些樣本都需要一些上下文，以便更好地理解它們。而令人印象深刻的是，GPT-3沒(méi)有接受過(guò)完成任何特定任務(wù)的訓(xùn)練。

常見(jiàn)的語(yǔ)言模型（包括GPT-2）需要完成基礎(chǔ)訓(xùn)練，然后再微調(diào)以執(zhí)行特定任務(wù)。

但是GPT-3不需要微調(diào)。在語(yǔ)法難題中，它只需要一些所需輸出類(lèi)型的樣本（稱為“少量學(xué)習(xí)”）。

GPT-3是如此龐大，以至于所有這些不同功能都可以在其中實(shí)現(xiàn)。用戶只需要輸入正確的提示就可以調(diào)教好它。

但是網(wǎng)上傳出的內(nèi)容存在另一個(gè)問(wèn)題：這些都是精心挑選的樣本，生成結(jié)果肯定不止一個(gè)。必然有炒作因素。

正如AI研究人員Delip Rao在一篇針對(duì)GPT-3的炒作解構(gòu)文章中指出的那樣，該軟件的許多早期演示來(lái)自硅谷企業(yè)家，他們渴望宣傳該技術(shù)的潛力并忽略其陷阱，因?yàn)樗麄冴P(guān)注AI帶來(lái)的新創(chuàng)業(yè)公司。

的確，瘋狂的鼓吹情緒變得如此強(qiáng)烈，以至于OpenAI CEO本人都發(fā)Twitter說(shuō)：GPT-3被過(guò)度宣傳了。

GPT-3也會(huì)犯低級(jí)錯(cuò)誤

盡管GPT-3可以編寫(xiě)代碼，但我們很難判斷其總體用途。它是凌亂的代碼嗎，這樣的代碼會(huì)為人類(lèi)開(kāi)發(fā)人員帶來(lái)更多問(wèn)題嗎？

沒(méi)有詳細(xì)的測(cè)試很難說(shuō)，但是我們知道GPT-3在其他方面會(huì)犯嚴(yán)重錯(cuò)誤。

當(dāng)用戶和GPT-3創(chuàng)造的“喬布斯”交談時(shí)，詢問(wèn)他現(xiàn)在何處，這個(gè)“喬布斯”回答：“我在加州庫(kù)比蒂諾的蘋(píng)果總部?jī)?nèi)。”這是一個(gè)連貫的答案，但很難說(shuō)是一個(gè)值得信賴的答案。

在回答瑣事問(wèn)題或基本數(shù)學(xué)問(wèn)題時(shí)，也可以看到GPT-3犯了類(lèi)似的錯(cuò)誤。例如，不能正確回答100萬(wàn)前的數(shù)是多少（回答是99萬(wàn)）。

但是，我們很難權(quán)衡這些錯(cuò)誤的重要性和普遍性。

如何判斷這個(gè)可以幾乎回答所有問(wèn)題的程序的準(zhǔn)確性？如何創(chuàng)建GPT-3的“知識(shí)”的系統(tǒng)地圖，然后如何對(duì)其進(jìn)行標(biāo)記？

盡管GPT-3經(jīng)常會(huì)產(chǎn)生錯(cuò)誤，但更加艱巨的挑戰(zhàn)是，通?？梢酝ㄟ^(guò)微調(diào)所輸入的文本來(lái)解決這些問(wèn)題。

用GPT-3創(chuàng)造出小說(shuō)的研究人員Branwen指出，“抽樣可以證明知識(shí)的存在，但不能證明知識(shí)的缺失”，可以通過(guò)微調(diào)提示來(lái)修復(fù)GPT-3輸出中的許多錯(cuò)誤。

在一個(gè)錯(cuò)誤的示范中，詢問(wèn)GPT-3：“哪個(gè)更重，一個(gè)烤面包機(jī)或一支鉛筆？” 它回答說(shuō)：“鉛筆比烤面包機(jī)重。”

但是Branwen指出，如果你在問(wèn)這個(gè)問(wèn)題之前給機(jī)器投喂某些提示，告訴它水壺比貓重，海洋比塵土重，它會(huì)給出正確的響應(yīng)。

這可能是一個(gè)棘手的過(guò)程，但是它表明GPT-3可以擁有正確的答案，如果你知道怎么調(diào)教它。

Branwen認(rèn)為，這種微調(diào)最終可能會(huì)最終成為一種編碼范例。就像編程語(yǔ)言使用專(zhuān)用語(yǔ)法的編碼更加流暢一樣，未來(lái)我們可能完全放棄這些編程語(yǔ)言，而僅使用自然語(yǔ)言編程。從業(yè)人員可以通過(guò)思考程序的弱點(diǎn)并相應(yīng)地調(diào)整提示，來(lái)從程序中得出正確的響應(yīng)。

GPT-3的錯(cuò)誤引起了另一個(gè)問(wèn)題：該程序不可信的性質(zhì)是否會(huì)破壞其整體實(shí)用性？

現(xiàn)在人們已經(jīng)嘗試了GPT-3各種用途：從創(chuàng)建客服機(jī)器人，到自動(dòng)內(nèi)容審核。但是答案內(nèi)容的錯(cuò)誤可能回給商業(yè)公司帶來(lái)嚴(yán)重后果。

沒(méi)有人原因創(chuàng)建一個(gè)偶爾侮辱客戶的客服機(jī)器人。如果沒(méi)有辦法知道答案是否可靠，我們也不敢拿GPT-3作為教育工具。

專(zhuān)業(yè)人士評(píng)價(jià)

一位匿名的在Google資深A(yù)I研究人員說(shuō)，他們認(rèn)為GPT-3僅能自動(dòng)完成一些瑣碎任務(wù)，較小、更便宜的AI程序也可以做到，而且程序的絕對(duì)不可靠性最終會(huì)破壞其商用。

這位研究人員指出，如果沒(méi)有很多復(fù)雜的工程調(diào)試，GPT-3還不夠真正使用。

AI研究人員Julian Togelius說(shuō)：“ GPT-3的表現(xiàn)常常像是一個(gè)聰明的學(xué)生，沒(méi)有讀完書(shū)，試圖通過(guò)廢話，比如一些眾所周知的事實(shí)和一些直率的謊言交織在一起，讓它看起來(lái)像是一種流暢的敘述。”

另一個(gè)嚴(yán)重的問(wèn)題是GPT-3的輸出存在偏見(jiàn)。英偉達(dá)的AI專(zhuān)家Anima Anandkumar教授指出，GPT-3在部分程度上接受了Reddit過(guò)濾后的數(shù)據(jù)的訓(xùn)練，并且根據(jù)此數(shù)據(jù)構(gòu)建的模型產(chǎn)生的文本有“令人震驚地偏向性”。

在GPT-2的輸出中，如果要求完成下列句子時(shí)，模型會(huì)產(chǎn)生各種歧視性言論：“ 黑人（皮條客工作了15年）”、“ 那個(gè)女人（以Hariya為名做妓女）”。