本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

 一個(gè)搞文本生成的模型，還能用來(lái)干嘛？

好奇心很強(qiáng)的網(wǎng)友便拿OpenAI的GPT-2做了個(gè)實(shí)驗(yàn)。

原來(lái)，GPT-2除了能生成文本，竟然還能下象棋、做音樂(lè)！

作者表示：

事實(shí)證明，只要讓 GPT-2預(yù)測(cè)下一步棋，就可以訓(xùn)練它下國(guó)際象棋。

這只是花費(fèi)了幾天的小項(xiàng)目，但結(jié)果是相當(dāng)令人興奮。

除此之外，在更早的實(shí)驗(yàn)中，研究人員還發(fā)現(xiàn)GPT-2能作曲。

這也引起了網(wǎng)友們的熱烈討論。

這簡(jiǎn)直太瘋狂了，和玩得較差的人類尚可一搏。

GPT-2學(xué)會(huì)了下國(guó)際象棋，盡管它只是一種文本AI，但是還是能夠從象棋符號(hào)文本的語(yǔ)料庫(kù)中學(xué)習(xí)。

而且它對(duì)“棋盤(pán)”的概念一無(wú)所知。

不過(guò)，也有網(wǎng)友對(duì)此提出了質(zhì)疑。

我有一種感覺(jué)，它只是在開(kāi)局的較為配合，從第11步開(kāi)始就輸出無(wú)效的“招式”了。

總的來(lái)說(shuō)，這個(gè)技術(shù)看起來(lái)很糟糕，所以很難判斷它對(duì)國(guó)際象棋有什么樣的理解。

不過(guò)作為一個(gè)文本預(yù)測(cè)模型，在這樣的游戲中能做出一些智能的舉動(dòng)，還是令人印象深刻的。

那么，GPT-2下國(guó)際象棋、做音樂(lè)，到底是怎么一回事呢？

下象棋、做音樂(lè)，GPT-2成跨界選手

用GPT-2來(lái)下象棋，最開(kāi)始大概只是一個(gè)娛樂(lè)項(xiàng)目。作者肖恩·普萊斯（Shawn Presser）只用了一周的時(shí)間就完成了Demo。

之所以做出這樣大膽的嘗試，是因?yàn)樗呐钟迅駵?middot;布蘭文（Gwern Branwen）不僅教會(huì)了GPT-2寫(xiě)詩(shī)：

美麗的湖，美麗的樹(shù)林，(Fair is the lake, and bright the wood,)
垂?jié)M魅惑的花朵：(With many a flower-full glamour hung:)
美麗的淺灘，溫柔的潮水（Fair are the banks; and soft the flood）
我們的舌頭發(fā)出金色的歡笑。(With golden laughter of our tongue.)

還讓GPT-2寫(xiě)出了愛(ài)爾蘭民歌：

乍一聽(tīng)這個(gè)開(kāi)頭，甚至有點(diǎn)像孫燕姿的《遇見(jiàn)》。

實(shí)際上，布蘭文是用Session & ABCnotation.com上的20多萬(wàn)首音樂(lè)作品對(duì)GPT-2模型進(jìn)行了訓(xùn)練，這些作品將樂(lè)曲以字母文本的形式體現(xiàn)。

所以，能不能通過(guò)e2e4（將棋子從e2位置移動(dòng)到e4位置）這樣的國(guó)際象棋指令集來(lái)訓(xùn)練GPT-2，讓這個(gè)文本生成模型學(xué)會(huì)下棋呢？

答案是：可以。

普萊斯發(fā)現(xiàn)，僅僅經(jīng)過(guò)一個(gè)小時(shí)的訓(xùn)練，GPT-2 1.5B模型就表現(xiàn)出了國(guó)際象棋“天賦”。

雖然在下了幾步棋之后，就會(huì)出現(xiàn)無(wú)效移動(dòng)，但這次實(shí)驗(yàn)還是證明了，制造GPT-2國(guó)際象棋引擎并非不可能。

于是，普萊斯又用2.4M數(shù)據(jù)訓(xùn)練了GPT-2 1.5B模型一整天，模型有所進(jìn)步：直到第14步，它才出現(xiàn)了bug。

接著，普萊斯“編寫(xiě)了一些代碼以計(jì)算所有有效移動(dòng)的概率”（作者并未作出具體解釋），GPT-2可以將棋局推至殘局了。

普萊斯已經(jīng)把他的代碼部署到了Colab上，如果你想試試這只會(huì)下棋的GPT-2棋商如何，可以親身前往挑戰(zhàn)：

逆天的語(yǔ)言AI—GPT-2

去年2月，OpenAI發(fā)布了一個(gè)“逆天”的語(yǔ)言AI，名為GPT-2。

整個(gè)模型包含15億個(gè)參數(shù)。

這個(gè)AI寫(xiě)起文章來(lái)文思泉涌毫無(wú)違和感，無(wú)需針對(duì)性訓(xùn)練就能橫掃各種特定領(lǐng)域的語(yǔ)言建模任務(wù)，還具備閱讀理解、問(wèn)答、生成文章摘要、翻譯等等能力。

然而，當(dāng)時(shí)假新聞實(shí)在編的太真實(shí)，所以O(shè)penAI說(shuō)：我們不敢放出完整模型。

人類只給了它兩句話的開(kāi)頭：

科學(xué)家們有個(gè)令人震驚的發(fā)現(xiàn)，在安第斯山脈一個(gè)偏遠(yuǎn)且沒(méi)被開(kāi)發(fā)過(guò)的山谷里，生活著一群獨(dú)角獸。更加讓人訝異的是，這些獨(dú)角獸說(shuō)著完美的英文。

AI就順著這胡言亂語(yǔ)的設(shè)定，一本正經(jīng)地編了下去：

這些生物有著獨(dú)特的角，科學(xué)家們就以此為它們命名，叫Ovid’s Unicorn。長(zhǎng)著四只角的銀白色生物，在這之前并不為科學(xué)界所知。

雖然，這些生物的起源還不清楚，但有些人相信，它們是一個(gè)人和一個(gè)獨(dú)角獸相交而誕生的，那時(shí)人類文明還不存在。Pérez教授說(shuō)：“在南美洲，這樣的現(xiàn)象很常見(jiàn)。”

效果驚人外，在各種特定領(lǐng)域數(shù)據(jù)集的語(yǔ)言建模測(cè)試中，GPT-2都取得了優(yōu)異的分?jǐn)?shù)。

網(wǎng)友們對(duì)其完全開(kāi)源的呼聲越發(fā)強(qiáng)烈，于是在接下來(lái)的時(shí)間里，GPT-2經(jīng)歷了“擠牙膏式的開(kāi)源”。

它初出茅廬時(shí)先放出了124M版本的模型，然后是355M，再然后是774M。

經(jīng)過(guò)9個(gè)月斷斷續(xù)續(xù)發(fā)布，OpenAI最終把15億參數(shù)的完整模型放了出來(lái)。

實(shí)測(cè)結(jié)果如何？

OpenAI在博客里說(shuō)，GPT-2的生成結(jié)果，有獨(dú)立客觀第三方的檢驗(yàn)，令人信服：

團(tuán)隊(duì)在康奈爾大學(xué)的合作伙伴，對(duì)人類做了問(wèn)卷調(diào)查，給GPT-2輸出的文本打出可信分 (Credibility Score) ，各種大小的模型都參與了。

滿分10分，大家給15億參數(shù)模型的可信分是6.91。比7.74億參數(shù)的模型 (6.72分) 和 3.55億參數(shù)的模型 (6.07分) 都要高。

也就是說(shuō)在人類眼里，15億參數(shù)模型，比之前放出的那些模型，寫(xiě)出的文章更逼真了。

語(yǔ)言模型跨界引熱議

超會(huì)編故事的NLP模型，現(xiàn)在還能寫(xiě)曲子、下象棋了，這件事引發(fā)了網(wǎng)友的熱議，甚至吸引來(lái)了馬庫(kù)斯。

英國(guó)作家Tom Chivers認(rèn)為，這或許將打開(kāi)通向AGI（通用人工智能）的新思路。

有網(wǎng)友質(zhì)疑說(shuō)，這并不是對(duì)下棋這件事的“學(xué)習(xí)”，只是在統(tǒng)計(jì)學(xué)上將給定的開(kāi)局動(dòng)作與其相應(yīng)的后續(xù)動(dòng)作關(guān)聯(lián)起來(lái)。GPT-2僅僅是給出了符合已知模式的結(jié)果。

一位斯坦福CS博士則直言，可能使用非常古早的語(yǔ)言建模方法同樣能實(shí)現(xiàn)這一結(jié)果。說(shuō)GPT-2“學(xué)會(huì)下棋”是一種誤導(dǎo)。

那么，你怎么看呢？

作者介紹

Shawn Presser，具有豐富的C++游戲引擎編程經(jīng)驗(yàn)，是一位圖形學(xué)編程人員、工具開(kāi)發(fā)者。

2010年至2011年，就職于S2 Games，參與Heroes of Newerth游戲項(xiàng)目的相關(guān)工作。

2005年至2008年，就職于Simutronics，主要從事基于C++的項(xiàng)目開(kāi)發(fā)工作。

傳送門(mén)

Reddit：
https://www.reddit.com/r/MachineLearning/comments/elf66h/p_using_gpt2_to_play_chess/

博客：
https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/

作者資料：
https://www.linkedin.com/in/shawnpresser/

Demo：
https://colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR#scrollTo=8gxTLCKBQ3-F&forceEdit=true&sandboxMode=true