圖靈71年前就已提出神經(jīng)網(wǎng)絡！《智能機器》再掀熱議
早在 1948 年，圖靈就寫了一篇題為《智能機器》的論文，描繪了現(xiàn)在成為人工智能核心的許多概念，包括遺傳算法、神經(jīng)網(wǎng)絡、強化學習等。在沒有電子計算機的年代，圖靈用紙和鉛筆做出了這項開創(chuàng)性的研究，在今天引發(fā)熱議。
很少人知道，早在 1948 年，艾倫 · 圖靈就寫了一篇題為《智能機器》(Intelligent Machinery) 的論文，描繪了人工智能中聯(lián)結(jié)主義的大部分內(nèi)容。
這篇論文是圖靈在倫敦國家物理實驗室工作時寫的，但沒有得到他的老板的認可。當時的實驗室主任查爾斯 · 達爾文爵士稱這是一篇 “學生論文”，并寫信給圖靈，抱怨論文“滿是臟痕” 外觀。
事實上，這篇具有遠見卓識的論文是關(guān)于人工智能的***個宣言，但遺憾的是圖靈從未發(fā)表它。
在這篇論文中，圖靈不僅闡述了聯(lián)結(jié)主義的基本原理，而且出色地引入了許多后來成為人工智能核心的概念，包括具有學習能力的遺傳算法和神經(jīng)網(wǎng)絡（他稱之為 “ 無組織機器 ”）、甚至強化學習的思想。當然，這些概念是在其他人重新發(fā)明之后才成為核心的。
圖靈在論文摘要中寫道：
這篇文章討論了使機器顯示出智能行為的可能方法。指導原則是與人腦的類比。本文指出只有提供適當?shù)慕逃?，機器才能實現(xiàn)人的智慧潛能。研究主要圍繞一個應用于機器的類似教學過程展開。定義了無組織機器 (unorganized machine) 的概念，并提出嬰兒期的人腦皮層具有這種性質(zhì)。本文給出了這類機器的簡單例子，并討論了它們的獎懲教育。在一種情況下，教育過程一直進行到它的組織性與 ACE 類似為止。
(注：ACE 是指 Automatic Computing Engine, 圖靈設(shè)計的一種早期的電子計算機。)
圖靈說：我提議研究這樣一個問題：機器是否有可能表現(xiàn)出智能行為。人們通常想當然地認為這是不可能的。常見的說法如像機器一樣做事”、“純粹的機械行為” 等揭示了這種常見的態(tài)度。
圖靈 1948 年論文引熱議：一個對深入了解大腦癡迷的家伙
這篇論文在 Reddit 上引發(fā)了熱烈討論。
有人評論：像這樣的論文今天幾乎會被所有 “***” 人工智能會議和期刊拒絕，但我不得不說，我很欣賞它的簡潔性和直接性（和誠實）。這在圖靈的那個時代是很受重視的。那時編輯想到的***件事不是：“這篇會得到多少引用？”
有人評論：從長遠來看，我認為跨學科是一種方法，但考慮到可用的計算和數(shù)據(jù)量以及仍未觸及的領(lǐng)域或問題，你可以通過試驗和使用蠻力獲得一些結(jié)果。對于有哲學背景的人來說，這是一篇非常好的讀物。
也有人 一語中的：這個家伙(圖靈)實際上是對深入了解大腦過程癡迷。
谷歌大腦研究科學家 Divid Ha 推薦了這篇論文：圖靈在 1948 年提出利用進化來 “訓練” 一種特殊類型的神經(jīng)網(wǎng)絡，他稱之為 “B 型無組織機器”。他發(fā)展了二進制網(wǎng)絡來執(zhí)行當時的各種任務。
圖靈是一個有遠見的人。他理解這種機制所需的復雜性。我們的 “深度網(wǎng)絡” 在信息處理的復雜性方面非常淺：它們甚至無法推斷任意長度的分支多米諾骨牌鏈的結(jié)果。
那么，圖靈這篇***性的論文講了什么？新智元帶來解讀：
圖靈提出“無組織機器”：類比嬰兒的大腦皮層
圖靈在這篇論文中提出了 “無組織機器”(unorganized machine) 的概念，他認為人類嬰兒的大腦皮層就是一種 “無組織機器”，可以通過適當?shù)母蓴_訓練來有組織化。
圖靈將無組織機器定義為在初始時大部分結(jié)構(gòu)隨機，但是能夠被訓練去執(zhí)行特定的任務的機器。
實際上，圖靈的無組織機就是一種早期的隨機連接神經(jīng)網(wǎng)絡模型，是對真實神經(jīng)網(wǎng)絡系統(tǒng)最簡單的猜想之一。
圖靈定義了兩個類型的無組織機器。***種是 A 型機器 —— 這些機器本質(zhì)上是由 NAND 邏輯門隨機連接的網(wǎng)絡。
第二種被稱為B 型機器，它采用 A 型機器的結(jié)構(gòu)，并使用一個稱為 connection modifier 的結(jié)構(gòu)來替換每個節(jié)點間的連接。connection modifier 的目的是讓 B 型機接受 “適當?shù)母蓴_，模仿教育”，以便將網(wǎng)絡的行為有組織化，以執(zhí)行有用的工作。
B 型無組織機可以說是一種神經(jīng)網(wǎng)絡，由人工神經(jīng)元組成，如下圖的圓圈所示；connection-modifiers 如下圖的方框所示。
B 型網(wǎng)絡中的兩個神經(jīng)元
在 “遺傳算法” 這個術(shù)語被創(chuàng)造出來之前，圖靈甚至提出使用他稱為 “genetical search”的機制來配置他的無組織機。
圖靈認為，當網(wǎng)絡中的節(jié)點數(shù)量較大時，B 型機器的行為可能非常復雜，并指出 “從進化和遺傳學的角度來看，大腦皮層作為一個無組織機器的觀點是非常有道理的”。
圖靈的神經(jīng)網(wǎng)絡是如何工作的
如上圖所示，每個神經(jīng)元有兩個輸入，神經(jīng)元的輸出是兩個輸入的簡單邏輯函數(shù)。網(wǎng)絡中的每個神經(jīng)元都執(zhí)行相同的邏輯操作，稱為 “Nand”。
Nand 的定義如下表所示:
中斷模式 (interrupt mode) 下 ,connection-modifier 的輸出總是 1。因此，如果神經(jīng)元的一個輸入連接在中斷模式下通過 connection-modifier 傳遞，那么神經(jīng)元的輸出與第二個輸入的任何內(nèi)容完全相反 (或稱 “布爾否定”)。
例如，表格的前兩行顯示了當 INPUT-1 在中斷模式下連接到 modifier 時會發(fā)生什么。在這種情況下，神經(jīng)元的輸出與 INPUT-2 相反。
圖靈選擇 nand 作為他的模型神經(jīng)元的基本操作，因為其他邏輯 (或布爾) 操作都可以由一組 nand 神經(jīng)元執(zhí)行。圖靈表明，甚至連 connection-modifier 本身也可以由 nand-neuron 構(gòu)成。因此，每個 B 型網(wǎng)絡都可以由 nand-neuron 及其連接組成。這是大腦皮層的最簡單模型。
下面是一個 B 型無組織機的例子，圖靈將這個例子描述為 “隨機選擇”
你能弄清楚這個網(wǎng)絡的行為嗎？
下面是一個更大的 B 型網(wǎng)絡的例子，其中神經(jīng)元自由互聯(lián)：
大型初始隨機 B 型網(wǎng)絡的一部分
在沒有電子計算機的時代，用紙和鉛筆模擬大腦
大腦中一個神經(jīng)元的大量輸出可以直接或通過一些中間的神經(jīng)元鏈與神經(jīng)元自身的輸入相連。
神經(jīng)科學家長期以來強調(diào)大腦反饋的重要性和普遍性。例如，大腦利用反饋來幫助我們把注意力集中在某些感知上，而不是排斥其他感知。Stefan Treue 和 John Maunsel 最近發(fā)現(xiàn)，當一只猴子的注意力集中在電腦屏幕上幾個獨立移動的點中的一個點上時，反饋會從較高皮層的神經(jīng)元返回到識別運動的下部皮質(zhì)區(qū)域的神經(jīng)元。
這種反饋作用是抑制神經(jīng)元的活動，這些神經(jīng)元對無參與點的運動作出反應。然而，盡管反饋在大腦中很重要，但在現(xiàn)代的連接主義網(wǎng)絡中很少使用。相反，B 型網(wǎng)絡中的神經(jīng)元相互連接非常自由，像大腦一樣，一個大的網(wǎng)絡通常會充滿反饋。
圖靈希望研究更復雜的大腦皮層模型。他渴望做現(xiàn)代連接學家能夠做的事情：用一臺普通的數(shù)字計算機模擬神經(jīng)網(wǎng)絡及其訓練方案。
他說，他將 “允許整個系統(tǒng)運行一段相當長的時間，然后作為一種’學校督察員’介入，看看能取得什么進展”。但他自己對神經(jīng)網(wǎng)絡的研究是在***臺通用電子計算機投入使用前進行的，當時他只能用紙和鉛筆。
后來，他將注意力轉(zhuǎn)向現(xiàn)在所謂的人工生命的相關(guān)研究。直到 1954 年，也就是圖靈去世的那一年， B.G. Farley 和 W.A. Clark 才在 MIT 成功地運行了***個小型神經(jīng)網(wǎng)絡的計算機模擬。
圖靈的原始論文：
https://weightagnostic.github.io/papers/turing1948.pdf
解讀：
