[[346995]]

在翻閱各種資料之后，我對神經網絡的歷史深深入迷了。這是個非常有趣的研究主題，我從中獲得了不少快樂。自上個世紀以來，神經網絡和人工智能一直是熱門話題。在流行文化電影中，人工智能機器人風靡全球，吸引著大量獵奇之士。

神經網絡的靈感來源于生物神經元是一種受編程范式啟發(fā)的模型，它使深度學習模型能夠在復雜的觀測數(shù)據(jù)集上有效地學習和訓練。神經網絡在過去一個世紀中經歷了不同的階段，一開始被視為擁有廣大解決復雜計算問題的工具，逐漸被嘲笑為僅僅是一個理論思想，最后因是更理想未來的締造者而聞名。

讓我們按時間順序重溫神經網絡歷史上的每個階段。

想法的萌生

生物學家、神經學家和研究人員從上個世紀就開始研究神經元的功能。1890年，美國哲學家威廉·詹姆斯(William James)提出了一個有見地的理論，反映了許多研究者隨后工作的思想。

這個假設認為大腦皮層任何一個給定點的活動都是釋放到大腦皮層中的整體運動趨勢的總和。簡單來說，就是一個神經元的興奮會刺激其他每一個神經元，直到信號成功到達目標。

1943年，麥卡洛克(McCulloch)和皮茨(Pitts)為單個神經元建立了第一個數(shù)學模型。所建立的神經元模型全面而深遠。這個模型經過修改，甚至在現(xiàn)代也得到了廣泛的應用。

這給神經網絡的研究人員和實踐者帶來了思想上的巨大轉變。一個類似人腦的神經元模型的數(shù)學功能讓大多數(shù)生物學家大吃一驚，支持人工智能的風潮和對人工智能占領世界的擔憂從這一刻開始。

黃金時代

從1949年到1969年，在接下來的20年里，我們進行了大量的實驗?，F(xiàn)有的方法學有了大量的發(fā)展和擴展，可以說這一時期是神經網絡的黃金時代。

這個時代一開始就轟動一時，這要歸功于唐納德·赫布在其名為《行為的組織》的書中所介紹的赫比理論。赫比理論指出，通過一個特定的突觸，一個又一個神經元的重復激活，電導會增加。

在這一階段有幾個突出的主題，如學習過濾器，梯度下降，神經動力學的發(fā)展以及大規(guī)模腦活動的觸發(fā)和傳播。在同步激活多個神經元以代表每一位信息方面有著廣泛的研究?；谙戕r(Shannon)信息熵原理的信息論成為該領域的一個重要研究領域。

最重要的發(fā)明是羅森布拉特(Rosenblatt)在1958年發(fā)明的感知器模型。羅森布拉特提出的反向傳播方法對多層網絡的訓練非常有用。由于廣泛的研究和不斷的發(fā)展，這個時代毫無疑問就是神經網絡的黃金時代。泰勒(Taylor)構造了一個winner-take-all電路，輸出單元之間有抑制，感知器模型中的其他過程也完成了。

飛躍時期

20世紀70年代至90年代間的研究和調查的課題很多，但遺憾的是，這些研究成果都無濟于事。有研究將許多神經元組合起來形成神經網絡，使其比單個神經元更強大，并進行復雜的計算。

由于梯度下降法不能成功地獲得復雜任務的期望解，發(fā)展其他數(shù)學隨機、概率或隨機方法的發(fā)展。在這段時間內，進一步的理論結果和分析得以確立。

玻爾茲曼機器和混合系統(tǒng)也成功地完成了復雜計算問題。玻爾茲曼機器成功地解決了數(shù)學問題。由于硬件和軟件的限制，無法實現(xiàn)各種缺陷的解決方案。盡管如此，在這一時期，進行了大量成功的研究，對現(xiàn)有研究進行了更新和改進。

然而，盡管取得了這些進展，但對神經網絡的發(fā)展來說并沒有什么重大突破，也沒有什么成果。對人工神經網絡迅速增長的需求已不復存在。其中一個重要的原因是證實了簡單的感知器的局限性。

明斯基(Minsky)和帕普特(Papert)在1969年進行了該演示，并展示了簡單感知器的缺陷。從理論上證明了簡單感知器模型在計算上不具有普遍性。這一刻永生難忘，它標志著神經網絡的滑鐵盧。神經網絡領域的研究經費大幅減少，這一運動引發(fā)了神經網絡的衰落。

神經網絡的失敗和瓦解

一時之間，所有與神經網絡相關的炒作都消失了。人工神經網絡和深度學習被嘲笑成了一個理論概念，造成這種情況的主要原因是缺乏數(shù)據(jù)和先進技術。

當時，對于圖像分割、圖像分類、人臉識別、基于自然語言處理的聊天機器人等復雜任務的計算資源不足，可用數(shù)據(jù)相當有限，對于復雜的神經網絡結構，沒有足夠的數(shù)據(jù)提供所需的結果。就算有所需的數(shù)據(jù)，用當時可用的資源計算出這一數(shù)量的數(shù)據(jù)仍然是一項非常艱巨的任務。

有一些積極的跡象，比如強化學習的成功和其他小的積極因素，但這還不足以重建它曾經擁有的大規(guī)模宣傳。研究人員和科學家們的非凡遠見讓人工神經網絡得以繼續(xù)發(fā)展。然而，要想重獲失去的威望和宣傳度，還需要20年的時間。

神經網絡的復蘇和絕對統(tǒng)治

在接下來的20年里，深度學習的狀況和普及率都不容樂觀。在這個時代，支持向量機(SVM)和其他類似的機器學習算法更占主導地位，并被用于解決復雜的任務。

機器學習算法在大多數(shù)數(shù)據(jù)集上表現(xiàn)良好，但是對于較大的數(shù)據(jù)集，機器學習算法的性能沒有顯著提高。達到一定閾值后，機器學習算法的性能停滯。隨著數(shù)據(jù)的增加，能夠不斷學習和改進的模型變得非常重要。

2012年，George E.Dahl領導的團隊利用多任務深度神經網絡預測一種藥物的生物分子靶點，贏得了“默克分子活性挑戰(zhàn)賽”的冠軍。2014年，Hochreiter的團隊利用深度學習技術檢測營養(yǎng)素、家用產品和藥物中環(huán)境化學物質的非目標和毒性效應，并贏得了美國國家衛(wèi)生研究院、美國食品和藥物管理局(FDA)和NCAT的“Tox21數(shù)據(jù)挑戰(zhàn)賽”。

此時此刻，神經網絡被認為是一個革命性的變革。如今，深度學習和神經網絡是所有高水平比賽的顯著特征。卷積神經網絡、長短時記憶(LSTM)和生成對抗網絡非常流行。特別是深度學習的強化程度每天都在迅速增加，并且有了巨大的進步。

神經網絡的旅程值得被永恒銘記。神經網絡和深度學習從一個奇妙的前景，發(fā)展到現(xiàn)在幾乎成為解決任何復雜問題的最佳方法之一。我很高興身處于這個時代，能夠為這一變化做出貢獻。

本文轉載自微信公眾號「讀芯術」，可以通過以下二維碼關注。轉載本文請聯(lián)系讀芯術公眾號。