嗨，大家好，我是 Talla 公司的高級數(shù)據(jù)科學(xué)家 Daniel Shank，今天我要談?wù)勔粋€新的振奮人心的機(jī)器學(xué)習(xí)架構(gòu)，它被稱為神經(jīng)圖靈機(jī)(Neutral Turing Machine/NTM)。

首先，我要對這個架構(gòu)做一個總體的概述，即這個架構(gòu)是什么?然后我會開始討論為何說這個架構(gòu)是重要的，以及它是如何與未來的機(jī)器學(xué)習(xí)相關(guān)的，再然后，我會談為什么我們不能馬上在每個地方用到這些東西。例如，假如它非常有作用，那為何我們不將它立即用在產(chǎn)品中。***我會討論最近發(fā)表在 Nature 上的神經(jīng)圖靈機(jī)(Neutral Machine)的論文以及它后續(xù)的架構(gòu)，并且我會展示對這個模型的一些有趣的擴(kuò)展。

為什么我們要關(guān)心神經(jīng)圖靈機(jī)?為了解釋神經(jīng)圖靈機(jī)為何如此重要，我們必須實(shí)實(shí)在在解釋一下普通的圖靈機(jī)(Turing machine)是什么。

圖靈機(jī)就是一種簡單的計(jì)算機(jī)模型。正如現(xiàn)代計(jì)算機(jī)一樣，其思想中也包含了一個外部存儲器和某種處理器。本質(zhì)上，圖靈機(jī)包含上面寫有指令的磁帶和能夠沿著磁帶讀取的設(shè)備。根據(jù)從磁帶上讀取到的指令，計(jì)算機(jī)能夠決定在磁帶上不同的方向上移動以寫入或者擦除新符號等等。

那什么又是神經(jīng)圖靈機(jī)(Neural Turing Machine)呢?簡而言之，神經(jīng)圖靈機(jī)就是一種神經(jīng)網(wǎng)絡(luò)，但是它從圖靈機(jī)中獲得靈感來嘗試執(zhí)行一些計(jì)算機(jī)可以解決得很好而機(jī)器學(xué)習(xí)模型并不能很好地解決的任務(wù)。本質(zhì)上，它包括一個神經(jīng)網(wǎng)絡(luò)控制器(controller)、讀取磁帶設(shè)備的模擬器或處理器，如果你愿意的話，還可以加上外部存儲或記憶(memory)。它在所有讀取到的輸入上都是持續(xù)的。就像長短期記憶(LSTM)網(wǎng)絡(luò)或者其他相關(guān)的模型一樣，它是一個循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network)。這意味著，像我們大多數(shù)人熟悉的一樣，它讀取類似變量的輸入，但是，神經(jīng)圖靈機(jī)和圖靈機(jī)也有不同之處：除了有一個記憶/內(nèi)存之外，神經(jīng)圖靈機(jī)也可以接受一連串連續(xù)的輸入并提供輸出。

這里的關(guān)鍵思想是神經(jīng)圖靈機(jī)基本上就是可微分的圖靈機(jī)，這是很重要的，因?yàn)槲覀兠刻煸谟?jì)算機(jī)上做的算法和事情對計(jì)算機(jī)來說是非常困難的，原因是計(jì)算機(jī)的計(jì)算是絕對的。要么是 0 要么是 1。計(jì)算機(jī)在「非此即彼」的邏輯或者整數(shù)中運(yùn)作。然而大多數(shù)的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)實(shí)際上不是這樣的。它們使用實(shí)數(shù)。它們使用更加平滑的曲線，使得它們更加容易訓(xùn)練，這意味著，在看到它們的輸出時，你可以輕易地通過輸出追蹤回去調(diào)整參數(shù)以得到希望的輸出。當(dāng)計(jì)算機(jī) CPU 盡是諸如異或門(XOR)和與門(AND)等跳變函數(shù)時，這是非常難以實(shí)現(xiàn)的。神經(jīng)圖靈機(jī)采用了基本的圖靈機(jī)中的所有功能找到了平滑的模擬函數(shù)。因此，比如在磁帶上，神經(jīng)圖靈機(jī)可以決定稍微向左或者向右移動，而不是單純的向左或者向右，這可以讓你完成一些了不起的事情

 

在神經(jīng)圖靈機(jī)能夠執(zhí)行的事情中，我們有一些激動人心的例子，當(dāng)然也有一些不那么令人激動的......

但是缺點(diǎn)是它只能夠?qū)W習(xí)簡單的算法。例如接受輸入并復(fù)制它。這看起來是極其平常的，但是對當(dāng)前的神經(jīng)網(wǎng)絡(luò)來說，這實(shí)際上是一件非常困難的事情，因?yàn)樯窠?jīng)網(wǎng)絡(luò)需要學(xué)習(xí)出一個算法才能把這個工作做得足夠好。神經(jīng)圖靈機(jī)能夠接受輸入和輸出，并且學(xué)習(xí)得到能夠從輸入映射到輸出的算法。這確實(shí)相當(dāng)令人興奮，因?yàn)檫@本質(zhì)上是在嘗試著取代程序員。雖然我們還未實(shí)現(xiàn)，但是這的確很酷。這意味著一旦習(xí)得了算法，它們可以接受輸入并且外推到基于該算法的任何變量輸出。接下來你會立即明白這為什么很酷。因?yàn)樗鼈冞€非常擅長語言建模(language modeling)。如果你不知道什么是語言建模，你可以思考一下自動完成(autocomplete)。語言建模就是猜測一個單詞在句子或者文檔語境中的意思。神經(jīng)圖靈機(jī)也能夠在 Facebook 的 bAbI 數(shù)據(jù)集上表現(xiàn)得很有前景，bAbI 數(shù)據(jù)集是被設(shè)計(jì)用來鼓勵研究者們提升神經(jīng)網(wǎng)絡(luò)的通用認(rèn)知推理能力的。

在復(fù)制/重復(fù)任務(wù)上的泛化

這是一個神經(jīng)圖靈機(jī)執(zhí)行復(fù)制/重復(fù)任務(wù)的例子。它已經(jīng)學(xué)會了接受相對短的序列，并重復(fù)幾次。正如你可以在上圖看到的一樣，開始的時候它犯錯。但是最終看起來相當(dāng)好，圖中上邊的是目標(biāo)，下邊的是輸出。

神經(jīng)圖靈機(jī)的表現(xiàn)超越了長短時記憶網(wǎng)絡(luò)

相反，你拿這個例子與長短時記憶網(wǎng)絡(luò)(LSTM)相比，LSTM 實(shí)際上是一種非常強(qiáng)大的神經(jīng)網(wǎng)絡(luò)模型。它們會很快就傾向于崩潰。出現(xiàn)這種情況的原因是，LSTM 確實(shí)是在學(xué)習(xí)一些東西，但是它們并不是在學(xué)習(xí)算法。LSTM 試圖一次解決整個問題，所以它們意識不到前兩次所做的事情就是它們之后應(yīng)該做的。

平衡括號表達(dá)式

在神經(jīng)圖靈機(jī)可以做到的事中，一個有趣的例子是它們可以識別平衡的括號。這個是特別有趣的，因?yàn)檫@涉及到的使用了棧(stack)的算法，所以本質(zhì)上你可以隨著左括號的進(jìn)入去跟蹤它們，然后嘗試去匹配與之對應(yīng)的右括號。這件事神經(jīng)網(wǎng)絡(luò)可以做，但是會以更加統(tǒng)計(jì)的方式完成，而神經(jīng)圖靈機(jī)實(shí)際上可以像人類程序員一樣去完成這個任務(wù)。

好了，現(xiàn)在我們談一下 bAbI 數(shù)據(jù)集以及為什么我們?nèi)绱岁P(guān)注它。bAbI 數(shù)據(jù)集本質(zhì)上是一系列后面帶有問題的故事，而且所有的問題都被設(shè)計(jì)成需要某種形式的推理能力才能回答。我這里有一個簡單的例子——使用位置來進(jìn)行推理。這里的關(guān)鍵點(diǎn)是，如果你問某人在哪里，實(shí)際上問的是他們***去了哪里。這看起來非常明顯，當(dāng)涉及到人物撿起東西或者行走時，這個問題實(shí)際上會變得有些復(fù)雜。故事也會涉及到關(guān)于物體相對尺寸的實(shí)際推理?；旧?，這件事情背后的基本理念永遠(yuǎn)是，一個在所有這種任務(wù)中表現(xiàn)良好的系統(tǒng)，接近一個更加通用的知識推理系統(tǒng)。

bAbI 數(shù)據(jù)集上的結(jié)果

這里僅僅是一些基于 bAbI 數(shù)據(jù)集的結(jié)果。注意，實(shí)際上 bAbI 數(shù)據(jù)集是訓(xùn)練集。就像我之前給你展示的，給定其中的每一個故事，你會看到的是，訓(xùn)練集實(shí)際上提供了一個提示，這涉及到實(shí)際故事中的什么內(nèi)容對回答問題是重要的。事實(shí)證明，導(dǎo)致這個問題非常困難的原因，不僅是你必須做出邏輯推理，你還必須意識到什么東西是相關(guān)的。你會看到，這兩者之間是存在競爭的。bAbI 數(shù)據(jù)集的許多子任務(wù)或者子部分都達(dá)到了超過 95% 的準(zhǔn)確率，這作為系統(tǒng)通過給定領(lǐng)域的基準(zhǔn)測試。

挑戰(zhàn)和建議

神經(jīng)圖靈機(jī)可以做這些炫酷的事情：它們可以學(xué)會算法，它們可以理解一個小故事的意思，但是為什么我們不能一直用這些東西呢?嗯，它們的結(jié)構(gòu)是如此地有趣，但也伴隨著一些問題。

問題：

• 架構(gòu)依賴;
• 大量的參數(shù);
• 并不能從 GPU 加速中受益;
• 難以訓(xùn)練

首先，一旦你指定了一般的架構(gòu)，在實(shí)現(xiàn)它的時候仍然需要做出很多決策。例如，對于每一個給定的輸入或輸出單元，在給定的時間步長下你能夠讀取或者寫入多少向量?這些都很重要，它不僅僅是提高你的識別準(zhǔn)確率的問題。如果你不能正確地做到這些，那它很有可能永遠(yuǎn)都得不到一個合理的結(jié)果。參數(shù)的數(shù)量是極其大的，這會讓你的 RAM 壓力很大。這是機(jī)器學(xué)習(xí)中的一個重要部分，它們并不會受益于 GPU 加速，雖然正如我們所見，GPU 加速是機(jī)器學(xué)習(xí)中的重要一部分。原因是這是序列式的，很難并行化，因?yàn)樗鼈儺?dāng)下所做的都是基于之前的輸入。很難將這些部分分解成容易的并行計(jì)算。它是很難訓(xùn)練的，這一點(diǎn)和我剛才提到的所有問題都有所不同。

難以訓(xùn)練：

• 數(shù)值不穩(wěn)定性;
• 很難使用記憶(memory);
• 需要很好的優(yōu)化;
• 實(shí)際中很難使用

它們往往具有很強(qiáng)的數(shù)值不穩(wěn)定性。部分原因是實(shí)際中給它們設(shè)計(jì)的任務(wù)。因?yàn)樗鼈兪窃趯W(xué)習(xí)算法，所以它們往往不會犯小錯誤，它們傾向于犯大錯誤。如果你在算法中犯了一個錯誤，那么所有的輸出結(jié)果都會是不正確的。這意味著，當(dāng)你訓(xùn)練它們的時候，它們總是很難找到需要的算法。如果喂給大量的數(shù)據(jù)，給予足夠的時間，大多數(shù)神經(jīng)網(wǎng)絡(luò)都會得到一些結(jié)果。而神經(jīng)圖靈機(jī)經(jīng)常會卡住。大家知道，它們經(jīng)常一遍又一遍地一味地產(chǎn)生那些經(jīng)常重復(fù)的值。這是因?yàn)槭褂糜洃浭呛芾щy的。他們不僅必須學(xué)會記住以后解決問題所需要的東西，還必須記住不要意外地忘記它，這一層要求額外地增加了復(fù)雜性。因此，為了解決這個問題，你最終會用一些循環(huán)神經(jīng)網(wǎng)絡(luò)通用的巧妙的優(yōu)化方法。但是為了讓這些方法起作用，你需要想盡一切辦法。所有的這些問題都讓神經(jīng)圖靈機(jī)很難用在日常應(yīng)用中。

有很多應(yīng)對數(shù)學(xué)不穩(wěn)定性的方法。非常通用的一個方法就是梯度裁剪(gradient clipping)，尤其是在使用 LSTM 的時候。梯度裁剪的本質(zhì)就是，無論我們怎么認(rèn)為一個壞的結(jié)果由初始參數(shù)導(dǎo)致的，我們都要限制一下其改變的程度。這可以幫助我們避免在任何時候當(dāng)我們得到壞結(jié)果的時候就去擦除一切參數(shù)。當(dāng)機(jī)器犯錯時，我們不能完全丟掉已經(jīng)學(xué)到的東西。

損失裁剪本質(zhì)上是梯度裁剪的擴(kuò)展。相同的基本思想就是，神經(jīng)圖靈機(jī)會非常遠(yuǎn)離它們的目標(biāo)。就像損失函數(shù)的總值一樣，給我們能夠改變的參數(shù)總和設(shè)置一個上限。我們經(jīng)常結(jié)合這兩種方法?；旧?，我們需要把很多有效果的更改綁定到一個有不同含義的參數(shù)上面。

好了，實(shí)際上另一個有趣的方向是 Graves 的 RMSprop。RMSprop 實(shí)際上是常見的反向傳播算法的一個擴(kuò)展，這個大家可能比較熟悉。反向傳播是如今訓(xùn)練所有的神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。RMSprop 是一個用來平滑梯度的系統(tǒng)。所以，在有序的數(shù)據(jù)點(diǎn)中，本質(zhì)上你所做的就是對任何給定參數(shù)的效果取一個平均值。Graves 的 RMSprop 實(shí)際上是這個方法的一個變體。它本質(zhì)上是做一個運(yùn)行估計(jì)的方差，而非僅僅取一個平均值。它標(biāo)準(zhǔn)化并且保證損失的極值在實(shí)際中不會衰減太多，或者不會把參數(shù)減小那么多。這是一個非常聰明的方法，它也非常有趣，因?yàn)闉榱私鉀Q這個問題，人們不得不通讀 Alex Graves 的一些論文。如果你僅僅實(shí)現(xiàn)普通的 RMSprop，它往往效果不佳。所幸，還有一些可以替代的優(yōu)化方法。

說實(shí)在的，盡管為了找出哪一個方法能夠幫助你，你常常必須嘗試多個算法，但是 Adam 優(yōu)化器確實(shí)是一個常用的優(yōu)化方法，并且它還支持了如今的大多數(shù)機(jī)器學(xué)習(xí)框架。像 Graves 的 RMSprop 方法一樣，它基本上也是平滑梯度。這個方法有些復(fù)雜，所以我不會在這里討論它是如何起作用的。但是一般而言，它確實(shí)是一個不錯的備選方法。

另一件值得注意的事就是值的初始化，尤其是記憶。一些人確實(shí)利用了由快速訓(xùn)練神經(jīng)圖靈機(jī)所帶來的記憶偏差。但是一般來說，這實(shí)際上是他們的架構(gòu)有問題的特點(diǎn)。因?yàn)槌跏加洃洉屢院蟮挠?jì)算產(chǎn)生很大的偏差，所以如果你以一組壞的參數(shù)開始的話，它可以徹底毀掉整個模型。就像很多其他這種技術(shù)一樣，它們有助于提升通用神經(jīng)網(wǎng)絡(luò)的性能。但是在這種情況下，如果你做得不正確，它很可能不會收斂，你將不會得到一個合理的結(jié)果，所以為了合理地優(yōu)化，你必須頻繁地嘗試不同的參數(shù)值作為初始點(diǎn)。

另外一個方法，也是比較有趣的，那就是 curriculum learning，就是在開始的時候喂一些簡單的數(shù)據(jù)。你從序列開始，讓它學(xué)習(xí)復(fù)制一些東西到某一長度，比如說 5。當(dāng)它可以把這個做得很好時，你再將長度增加到 10，然后再某一點(diǎn)，你達(dá)到了新的長度，比如說 20，然后在某一點(diǎn)你相當(dāng)自信你可以將模型泛化，就像我們之前看到的，將復(fù)制序列的長度增大到 100 或者更大。

現(xiàn)在我要繼續(xù)討論最近的擴(kuò)展。非常令人興奮，如果我沒有記錯的話，它是在幾個星期之前出現(xiàn)在 Nature 上的。它以一些有趣的方式擴(kuò)展了神經(jīng)圖靈機(jī)，并且?guī)椭鉀Q了一些問題。

可微分神經(jīng)計(jì)算機(jī)(參見機(jī)器之心文章《DeepMind 深度解讀 Nature 論文：可微神經(jīng)計(jì)算機(jī)》)或者最近的一些模型本質(zhì)上就是經(jīng)過一些修改的神經(jīng)圖靈機(jī)。從某種程度來說，它們放棄了基于索引移動的尋址方式。我之前一直在講沿著記憶或者磁帶的移動。它們不再這樣做;它們嘗試基于它們看到的東西直接在記憶中搜索給定的向量。它們還有分配記憶和釋放記憶的能力，如果你曾經(jīng)使用過某種低水平的編程語言的話，你就會理解這個。以同樣的方式，很難跟蹤記憶區(qū)域中的內(nèi)容，所以你不會在編程中犯錯誤，這樣很容易將記憶中的某個區(qū)域標(biāo)記為禁止訪問，因此你不會在以后意外地刪除它們，這有助于優(yōu)化。它們也有那種將序列輸入序列進(jìn)行本地記憶地能力。當(dāng)神經(jīng)圖靈機(jī)學(xué)習(xí)復(fù)制的時候，它們學(xué)習(xí)將所有地輸入按順序?qū)戇M(jìn)記憶，并回到記憶地開頭將它們讀出來這個過程。在這種情況下，從某種程度來說它們擁有了某種形式的時間記憶(temporal memory)，在瞬時記憶中它們可以回想起它們所做的上一件事，上一件事的上一件事，以此類推，這意味著它們可以遍歷由它們需要做的事組成地一個鏈表。

這是可微分神經(jīng)計(jì)算機(jī)體系結(jié)構(gòu)的總結(jié)。你們看到的左邊的圖表代表的是輸入和輸出變量的長度，然后讀頭和寫頭允許計(jì)算機(jī)在記憶區(qū)進(jìn)行存取。這里你可以看到它一次讀入整個向量并在第 6 區(qū)域?qū)懭?。就像我之前描述過的，記憶區(qū)域在右邊有一個附加的暫時鏈接。如果你追蹤這些箭頭，你會看到實(shí)際上這些箭頭就是模型能夠回想并重復(fù)它最近的輸入和輸出的方式。

這里我們看到的圖片展示的是可微分計(jì)算機(jī)也在執(zhí)行復(fù)制的任務(wù)。你看到的綠色的方塊是它寫入記憶中的東西，紫色的方塊是它從記憶中讀出來的內(nèi)容。通常，當(dāng)你給它輸入一些序列的時候，如果你沿著左邊看的話，你所看到的正在發(fā)生的事是計(jì)算機(jī)正在釋放某些區(qū)域的記憶，因?yàn)樗枰獙懭霒|西，所以這是在分配記憶，底部的方塊顯示了這個活動。然后，當(dāng)寫入完成之后，輸出。然后，它就會說，「做好了，我們可以重新分配這塊記憶了」。你就會得到這種交替的模式，「我需要這塊記憶。好了，我做好了。我需要這塊記憶......」可微分神經(jīng)計(jì)算機(jī)確實(shí)學(xué)會了做這件事，這使事情變得更加容易，讓這些事情變得更加有趣。

動態(tài)神經(jīng)計(jì)算機(jī)在推理任務(wù)上的性能

我從為見過的讓計(jì)算機(jī)之間顯得有些不同的例子就是它們能夠做這種邏輯推理的事情，雖然是結(jié)合了某種模糊的推理。你在這里看到的是一個家族樹(family tree)，用這個家族樹去訓(xùn)練模型，本質(zhì)上，「Mary 是 Jodie 的女兒」，或者「Simon 是 Steve 的兒子」。那么，你問計(jì)算機(jī)：「Freya 和 Fergus 是什么關(guān)系?」或者「Freya 和 Fergus 是什么關(guān)系?」答案是舅舅，所以它們確實(shí)是能夠回答這個問題的。如果你去讀這篇論文的話，你會發(fā)現(xiàn)一些有趣的例子，例如學(xué)會找最短路徑，橫穿倫敦地鐵系統(tǒng)的圖結(jié)構(gòu)以及類似的東西，這些都是有趣的。我這里沒有相關(guān)的幻燈片，但是如果你對它很感興趣，強(qiáng)烈建議你讀一下 Nature 上的這篇文章，鏈接如下：http://www.nature.com/nature/journal/v538/n7626/abs/nature20101.html

動態(tài)神經(jīng)計(jì)算機(jī)在 bAbI 數(shù)據(jù)集上也有良好的表現(xiàn)。bAbI 數(shù)據(jù)集在過去一年左右有了很大的進(jìn)步。實(shí)際上你會看到，除了少數(shù)幾個之外，大多數(shù)先進(jìn)的模型都已經(jīng)通過了 bAbI 數(shù)據(jù)集，而且做得相當(dāng)好。你會看到，動態(tài)神經(jīng)計(jì)算機(jī)(DNC)只在兩個領(lǐng)域沒有通過，其他的都通過了，而且還和可以 Facebook 的模型相媲美，F(xiàn)acebook 的模型被設(shè)計(jì)得非常好，因?yàn)檫@些數(shù)據(jù)集就是它們自己的數(shù)據(jù)集。這非常令人興奮，你可以說，只剩下不多的幾個領(lǐng)域需要攻克了，這是將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)任務(wù)向前推進(jìn)的一大步，而之前我們是沒有能力去觸及這些任務(wù)的。

謝謝大家。這里有一些參考資料;我推薦 Theano、Lasagne 和 Go 的實(shí)現(xiàn)。我要推薦列表上的***一篇文章，這是一種使用更少的內(nèi)存使這些東西工作的方式，越來越接近在實(shí)際產(chǎn)品中應(yīng)用神經(jīng)圖靈機(jī)的要求。

本文作者為 Talla 公司的高級數(shù)據(jù)科學(xué)家 Daniel Shank。他最近在舊金山舉辦的機(jī)器學(xué)習(xí)會議上發(fā)表了關(guān)于神經(jīng)圖靈機(jī)的報告。

 

原文：http://blog.talla.com/neural-turing-machines-perils-and-promise

【本文是51CTO專欄機(jī)構(gòu)機(jī)器之心的原創(chuàng)譯文，微信公眾號“機(jī)器之心( id: almosthuman2014)”】

 

戳這里，看該作者更多好文