逆天的語言 AI 模型來了！編故事以假亂真，問答翻譯寫摘要都行
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
AI 一本正經(jīng)的“胡編”起來，已經(jīng)逼真的讓人不敢相信。
剛剛，OpenAI 發(fā)布了一個(gè)“逆天”的語言 AI，整個(gè)模型包含 15 億個(gè)參數(shù)。
這個(gè) AI 寫起文章來文思泉涌毫無違和感，無需針對性訓(xùn)練就能橫掃各種特定領(lǐng)域的語言建模任務(wù)，還具備閱讀理解、問答、生成文章摘要、翻譯等等能力。
因?yàn)榧傩侣剬?shí)在編的太真實(shí)，OpenAI 說：我們不敢放出完整模型。
它的作品究竟什么樣呢？
人類只給了它兩句話的開頭：
“科學(xué)家們有個(gè)令人震驚的發(fā)現(xiàn)，在安第斯山脈一個(gè)偏遠(yuǎn)且沒被開發(fā)過的山谷里，生活著一群獨(dú)角獸。更加讓人訝異的是，這些獨(dú)角獸說著完美的英文。”
AI 就順著這胡言亂語的設(shè)定，一本正經(jīng)地編了下去 (欲賞全篇請見文末) ：
“這些生物有著獨(dú)特的角，科學(xué)家們就以此為它們命名，叫 Ovid’s Unicorn。長著四只角的銀白色生物，在這之前并不為科學(xué)界所知。
……
雖然，這些生物的起源還不清楚，但有些人相信，它們是一個(gè)人和一個(gè)獨(dú)角獸相交而誕生的，那時(shí)人類文明還不存在。Pérez 教授說：“在南美洲，這樣的現(xiàn)象很常見。”
……”
天馬行空卻言之鑿鑿。幾乎沒有矛盾信息，甚至在結(jié)尾嚴(yán)謹(jǐn)?shù)乇砻鳎?/p>
如果要確認(rèn)它們是消失種族的后裔，DNA 檢測可能是唯一的方法。
這位 AI 寫手，名叫 GPT-2。
它訓(xùn)練用的數(shù)據(jù)，都是人類寫作的原始文本。無監(jiān)督學(xué)習(xí)過程，純潔無污染。
對此，深度學(xué)習(xí)之父 Hinton 獻(xiàn)出了他注冊 Twitter 以來的第三次評論：
這應(yīng)該能讓硅谷的獨(dú)角獸們生成更好的英語了。
看來是讀了 AI 編的獨(dú)角獸新聞報(bào)道有感。
DeepMind 研究員、星際 AI AlphaStar 的主要爸爸 Oriol Vinyals 也大肆贊美了同行：
規(guī)模化+計(jì)算力，深度學(xué)習(xí)不會讓人失望。恭喜 Alec Radford、Ilya Sutskever 等等！
由于 AI 生成的假消息太過真實(shí)，OpenAI 的開源動作也變得十分謹(jǐn)慎。與以往不同，這一次開源的內(nèi)容，沒有完整的預(yù)訓(xùn)練模型，只放出了一個(gè) 1.17 億參數(shù)的“縮小版”。
媒體也紛紛認(rèn)為，GPT-2 是個(gè)危險(xiǎn)的存在：
來自 The Verge
如果所托非人，GPT2 便會成為一臺挖掘機(jī)，挖出無盡的痛苦和仇恨。
而且，造假新聞只是 GPT-2 的冰山一角，你想要的技能它都有。
在不需要對任何其他任務(wù)進(jìn)行針對性訓(xùn)練的情況下，GPT-2 還能完成閱讀理解、常識推理、文字預(yù)測、文章總結(jié)等多種任務(wù)，效果好到讓人懷疑：這個(gè)模型后面單怕藏著一位語文老師吧！
語言模型全能王
這位N項(xiàng)全能的“語文老師”，就是“語言建模”（language modeling）。
OpenAI 的研究人員表示，在各種特定領(lǐng)域數(shù)據(jù)集的語言建模測試中，GPT-2 都取得了優(yōu)異的分?jǐn)?shù)。作為一個(gè)沒有經(jīng)過任何領(lǐng)域數(shù)據(jù)專門訓(xùn)練的模型，它的表現(xiàn)，比那些專為特定領(lǐng)域打造的模型還要好。
下圖為研究人員統(tǒng)計(jì)的不同類型任務(wù)的成績對比圖，其中，（+）表示此領(lǐng)域得分越高越好，（-）表示此領(lǐng)域得分越低越好：
△ GPT-2 在不同語言建模任務(wù)上的測試結(jié)果（從左到右：數(shù)據(jù)集名稱、指標(biāo)類型、GPT-2 測試結(jié)果、此前最好結(jié)果、人類水平）
除了能用于語言建模，GPT-2 在問答、閱讀理解、摘要生成、翻譯等等任務(wù)上，無需微調(diào)就能去的非常好的成績。
從人類的感官角度來評判，GPT-2 的效果也出奇得好。
不信？不信一起來考考它。
第一題（閱讀理解）：一篇讓小學(xué)四年級學(xué)生卡了半天的閱讀理解
閱讀下列材料回答問題：
3 月 24 日，火炬在希臘奧林匹亞奧林匹克運(yùn)動會的發(fā)源地點(diǎn)燃后，將傳遞至雅典的帕納辛奈科體育場，并于 3 月 31 日傳遞至北京。從北京開始，火炬將經(jīng)過六大洲，途經(jīng)絲綢之路沿線的城市。此次接力還會將火炬送上珠穆朗瑪峰，這是接力的最后一站。
問題1：接力從哪里開始？
問題2：這個(gè)地方有什么值得注意的嗎？
問題3：這場接力進(jìn)行了多少天了？
問題4：他們有沒有訪問過任何著名的地標(biāo)？
這樣一段考驗(yàn)對時(shí)政、地理和生詞理解能力的閱讀理解，一個(gè)成年人認(rèn)真讀下來尚且還需要轉(zhuǎn)換思維多思考一番，但對 GPT-2 來說，找出正確答案是分分鐘的事：
希臘奧林匹亞；是奧林匹克運(yùn)動會的發(fā)源地；七天；帕納辛奈科體育場。
第一題：全對✅
第二題（常識推理）：容易讓人摸不著頭腦的模糊代詞
閱讀下面句子，回答“它”指代的部分：
1、獎(jiǎng)杯放不進(jìn)棕色旅行箱，因?yàn)?strong>它太大了。
2、獎(jiǎng)杯放不進(jìn)棕色手提箱，因?yàn)?strong>它太小了
5 秒思考，請作答。
這兩句“含糊不清”的句子并沒有難到 GPT-2，它的答案分別為獎(jiǎng)杯、行李箱。
第二題，沒毛病✅。
第三題（文章總結(jié)）：考試中讓中學(xué)生頭大的主旨概括
閱讀下類材料，概括文章內(nèi)容。
(這份材料來自外媒 Daily Mail 的一篇報(bào)道，全文字圖交雜，Word 粗略統(tǒng)計(jì)共1300多字。文章篇幅限制，量子位在這里把材料“閹割”了）
36000 年前，史前人類在現(xiàn)代法國一個(gè)洞穴的粗糙石灰?guī)r墻壁上勾勒出了一系列令人難以置信的史前野獸……（省略若干字）…………現(xiàn)在，在尖端技術(shù)的幫助下，Chauvet-Pont-d’Arc 洞穴的藝術(shù)作品被復(fù)制，創(chuàng)造了世界上最大的復(fù)制洞穴。
不錯(cuò)，一段看起來就“很閱讀理解”的樸素文風(fēng)，GPT-2 的處理情況如何？還不錯(cuò)：
位于法國南部 Vallon-Pont-D’arc 的原始遺址是聯(lián)合國教科文組織世界遺產(chǎn)，是已知最古老、保存最完好的人類裝飾洞穴。復(fù)制洞穴距離法國南部 Vallon-Pont-D’Arc 的原址幾英里，洞穴內(nèi)包含 14 種不同動物的圖像，包括長毛犀，猛犸象和大型貓科動物。
第三題，完美✅
怎么樣，感受到 GPT-2 的威力了么？關(guān)于 GPT-2 做題的例子還有很多，文末的 OpenAI 博客原文，還可以查看更多。
它是怎么做的？
GPT-2，是 GPT 的“進(jìn)化版”，最大區(qū)別就在于規(guī)模大小。OpenAI 在官方博客中表示，兩者相比，GPT-2 的參數(shù)擴(kuò)大 10 倍，達(dá)到了 15 億個(gè)，數(shù)據(jù)量擴(kuò)大 10 倍，使用了包含 800 萬個(gè)網(wǎng)頁的數(shù)據(jù)集，共有 40GB。
但在很大程度上，模型還是和 GPT 一樣：
使用語言建模作為訓(xùn)練信號，以無監(jiān)督的方式在大型數(shù)據(jù)集上訓(xùn)練一個(gè) Transformer，然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個(gè)模型，以幫助它解決特定任務(wù)。
△GPT 模型
上圖左部分，是研究中使用的 Transformer 架構(gòu)以及訓(xùn)練目標(biāo)。右邊部分，是針對特定任務(wù)進(jìn)行微調(diào)。
將所有結(jié)構(gòu)化輸入轉(zhuǎn)換為 token 序列，由預(yù)訓(xùn)練模型處理，然后經(jīng)過線性 +softmax 層處理。
就 GPT-2 而言，它的訓(xùn)練目標(biāo)很簡單：根據(jù)所有給定文本中前面的單詞，預(yù)測下一個(gè)單詞。
由于訓(xùn)練數(shù)據(jù)集的多樣性，使得這個(gè)目標(biāo)非常簡單的模型，具備了解決不同領(lǐng)域各種問題的能力。
一把雙刃劍
顯然，GPT-2 這樣一個(gè)強(qiáng)大的通用模型，會帶來巨大的社會影響。
比如，它能用于開發(fā) AI 寫作助理、更強(qiáng)大的語音助手、提高不同語言之間無監(jiān)督翻譯的性能，甚至構(gòu)建更好的語音識別系統(tǒng)。
但同樣，它同樣也能用來干壞事，就像用圖像合成的研究造假一樣， 比如 deepfake，讓多少人苦不堪言。
GPT-2 可以用來生成具有誤導(dǎo)性的新聞報(bào)道、自動生成垃圾郵件、偽造內(nèi)容發(fā)布到社交媒體上等等等等。
這個(gè)研究，加上先前圖像、音頻、視頻合成與生成的研究，能夠大幅度降低制作虛假內(nèi)容的成本。
以后你在網(wǎng)絡(luò)上看到的東西，是真是假，可能就很難分辨了。
為了避免這種情況發(fā)生，OpenAI 表示，不會發(fā)布經(jīng)過訓(xùn)練的模型，為了能夠讓更多的研究人員進(jìn)行試驗(yàn)，發(fā)布了一個(gè)更小的模型以及技術(shù)論文。
這個(gè)“防止惡意應(yīng)用，不開放完整模型”的決定也引來了不少質(zhì)疑。
其中最激烈的，來自英偉達(dá)研究負(fù)責(zé)人 Anima Anandkumar。
她說：“Malicious BS”。大致相當(dāng)于中文的“惡意個(gè)P”。
這位 Anima 小姐姐，曾經(jīng)逼得頂會 NIPS 改了名，正面硬剛 Yann LeCun，最近在呼吁學(xué)術(shù)會議強(qiáng)制投稿者公開源代碼。
不愿開放完整模型的 OpenAI，被 Anima 斥責(zé)“為了站道德高地本末倒置”，站在了 open 的對立面，傳播恐懼、誤導(dǎo)媒體。
你怎么看？
無論觀點(diǎn)如何，如果你對這項(xiàng)研究感興趣，請先收好傳送門：
模型代碼：
https://github.com/openai/gpt-2
技術(shù)論文：
Language Models are Unsupervised Multitask Learners
這項(xiàng)研究的作者分別是 Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei、Ilya Sutskever。
其中 Ilya Sutskever 是 OpenAI 的首席科學(xué)家，是 AlexNet、seq2seq、AlphaGo、TensorFlow 等人工智能領(lǐng)域重要成果的共同發(fā)明者。
最后，附上 AI 撰寫的關(guān)于獨(dú)角獸的全文：
?。ㄈ祟惤o的開頭：）
科學(xué)家們有個(gè)令人震驚的發(fā)現(xiàn)，在安第斯山脈一個(gè)偏遠(yuǎn)且沒被開發(fā)過的山谷里，生活著一群獨(dú)角獸。更加讓人訝異的是，這些獨(dú)角獸說著完美的英文。
（AI 編的下文：）
這些生物長著獨(dú)特的角，科學(xué)家們就以此為它們命名，叫 Ovid’s Unicorn。長著四只角的銀白色生物，在這之前并不為科學(xué)界所知。
現(xiàn)在，過了近兩個(gè)世紀(jì)，這個(gè)奇異的現(xiàn)象到底是怎么發(fā)現(xiàn)的，謎底終于解開了。
來自拉巴斯大學(xué)的進(jìn)化生物學(xué)教授 Jorge Pérez 和他的幾個(gè)小伙伴，在探索安第斯山脈的時(shí)候發(fā)現(xiàn)了一個(gè)小山谷，沒有其他動物也沒有人類。
Pérez 注意到，這山谷看上去曾是個(gè)噴泉的所在，旁邊是兩座石峰，上面有銀白的雪。
然后，Pérez 他們就深入探尋這個(gè)山谷。“我們爬上其中一座山峰的時(shí)候，下面的水很藍(lán)，上面還有一些結(jié)晶。”Pérez 說。
發(fā)現(xiàn)獨(dú)角獸種群的時(shí)候，Pérez 和他的小伙伴都驚呆了。都不用靠近，從高空就可以望見這些生物——看上去離得很近，就快摸到它們的角了。
在查看這些奇怪生物的時(shí)候，科學(xué)家們發(fā)現(xiàn)它們講著普通的英文。Pérez 說：“比如說，我們注意到，它們有一種共同‘語言’，有點(diǎn)接近方言。”
Pérez 認(rèn)為，這些獨(dú)角獸起源于阿根廷。在那里，人們相信這些動物是一個(gè)消失種族的后裔，在人類到達(dá)之前，這個(gè)種族就生活在那里。
雖然，這些生物的起源還不清楚，但有些人相信，它們是一個(gè)人類和一個(gè)獨(dú)角獸相交而誕生的，那時(shí)人類文明還不存在。Pérez 說：“在南美洲，這樣的事情是很常見的。”
然而，Pérez 也指出，要確認(rèn)它們是不是那個(gè)消失種族的后裔，DNA 檢測可能是唯一的方法。“不過，它們看上去能用英語交流，我相信這也是一種進(jìn)化的信號，或者至少也是社會組織的一種變化。”他說。
