研究了半天人工神經(jīng)網(wǎng)絡(luò)，還不如復(fù)制粘貼動(dòng)物的答案？

最近一段時(shí)間，有關(guān)摩爾定律終結(jié)的討論時(shí)常出現(xiàn)，深度學(xué)習(xí)越來越高的算力需求與芯片制造廠商們「擠牙膏」式的換代速度產(chǎn)生了不可調(diào)和的矛盾。對此，一些研究者們正在專注于常規(guī)架構(gòu)的效率提升，也有一些研究者把目光轉(zhuǎn)向于常規(guī)計(jì)算機(jī)體系之外，如光電計(jì)算、類腦計(jì)算，以及量子計(jì)算等方向。

現(xiàn)在，又有人想在動(dòng)物身上尋找思路。在 1 月 13 日剛剛放榜的人工智能頂級會(huì)議ICLR 2021上出現(xiàn)了這樣一篇論文：研究者們「黑」進(jìn)了果蠅的神經(jīng)網(wǎng)絡(luò)，用它來跑 NLP 算法，結(jié)果發(fā)現(xiàn)性能與常規(guī)人工神經(jīng)網(wǎng)絡(luò)相當(dāng)，而且非常節(jié)約能耗。

這一通操作仿佛打開了新世界的大門。

神經(jīng)科學(xué)中研究最深入的網(wǎng)絡(luò)之一是果蠅的大腦，尤其是稱為蘑菇體的部分。該部分能夠分析氣味、溫度、濕度和視覺數(shù)據(jù)等感官輸入，以便于果蠅學(xué)會(huì)區(qū)分友好刺激和危險(xiǎn)刺激。神經(jīng)科學(xué)家表示果蠅大腦的這一部分是由一組稱為投射神經(jīng)元的細(xì)胞組成，這些細(xì)胞將感覺信息傳遞給 2000 個(gè)稱為 Kenyon 細(xì)胞（簡稱KC）的神經(jīng)元，Kenyon 細(xì)胞連接在一起形成能夠?qū)W習(xí)的神經(jīng)網(wǎng)絡(luò)。這讓果蠅在學(xué)習(xí)接近食物、潛在伴侶等時(shí)候，學(xué)會(huì)避免潛在的有害感官輸入（例如危險(xiǎn)的氣味和溫度）。

這個(gè)相對較小的網(wǎng)絡(luò)具備的功能和靈活性讓神經(jīng)科學(xué)家們好奇：是否可以對其進(jìn)行編程以解決其他任務(wù)？

在倫斯勒理工學(xué)院、MIT-IBM Watson AI Lab 的研究者進(jìn)行的一項(xiàng)入侵果蠅大腦網(wǎng)絡(luò)的研究中，人們成功地在生物大腦中執(zhí)行了自然語言處理等任務(wù)。這是自然界的神經(jīng)網(wǎng)絡(luò)第一次以這種方式被征用。研究者表示這個(gè)生物大腦網(wǎng)絡(luò)與人工學(xué)習(xí)網(wǎng)絡(luò)的性能相當(dāng)，但使用的計(jì)算資源卻更少。

這種方法相對簡單直接，該團(tuán)隊(duì)首先使用計(jì)算機(jī)程序重建蘑菇體所依賴的網(wǎng)絡(luò)，大量神經(jīng)元將數(shù)據(jù)提供給大約 2000 個(gè) Kenyon 細(xì)胞。然后研究者訓(xùn)練了該網(wǎng)絡(luò)以識別文本中詞之間的相關(guān)性。該任務(wù)基于的思想是：一個(gè)詞可以通過其語境或通常在其附近出現(xiàn)的其他詞來表征。該想法首先從一個(gè)文本語料庫開始，然后面向每一個(gè)詞，分析出現(xiàn)在該詞前后的其他詞。

這樣機(jī)器學(xué)習(xí)系統(tǒng)可以在給定已經(jīng)出現(xiàn)的詞的情況下預(yù)測句子中下一個(gè)詞。許多系統(tǒng)（例如 BERT）都使用這種方法來生成看起來自然的句子，該研究也采用了這種方法。事實(shí)證明即使自然界的網(wǎng)絡(luò)完全不是基于這一目的進(jìn)化的，但它也非常擅長這種方式。該研究表明該網(wǎng)絡(luò)可以學(xué)習(xí)詞的語義表征。

研究者表示，果蠅的大腦網(wǎng)絡(luò)可與現(xiàn)有的自然語言處理方法相媲美，并且最重要的是生物網(wǎng)絡(luò)僅使用很少一部分計(jì)算資源。這意味著它僅使用較少的訓(xùn)練時(shí)間和內(nèi)存占用量。

生物的效率

這是一個(gè)有趣的結(jié)果?！肝覀儼堰@樣的結(jié)果視為生物啟發(fā)算法普適性的一個(gè)范例，其與傳統(tǒng)的非生物算法相比更具效率，」該論文的作者 Yuchen Liang 等人說道。

這項(xiàng)工作除了展示生物計(jì)算的效率，還提出了一些有趣的問題。其中最明顯的就是：為什么生物神經(jīng)網(wǎng)絡(luò)計(jì)算是如此的高效？當(dāng)然按照進(jìn)化的理論，自然界會(huì)選擇效率更高的神經(jīng)網(wǎng)絡(luò)存留下來，但在論文中，研究者們尚未對 Kenyon 細(xì)胞為何具有高效率提出自己的看法。

這項(xiàng)工作顯然也開啟了「入侵」其他生物大腦的方向。不過目前看來人們?nèi)悦媾R一些挑戰(zhàn)，一個(gè)潛在的問題是神經(jīng)科學(xué)家們?nèi)匀浑y以對更復(fù)雜化的大腦進(jìn)行表征（如哺乳動(dòng)物）。果蠅的大腦相對較小，只有 10 萬個(gè)神經(jīng)元，相比之下，老鼠的大腦有 1 億個(gè)神經(jīng)元，而人類的大腦有 1000 億個(gè)神經(jīng)元。因此在我們看到有小鼠、海豚或人類的大腦「被黑客入侵」之前，還需等待一段時(shí)間。

研究概況

論文：Can a Fruit Fly Learn Word Embeddings?

論文鏈接：https://openreview.net/forum?id=xfmSoxdxFCG

果蠅腦蘑菇體是神經(jīng)科學(xué)中研究最多的系統(tǒng)之一，其核心由一群 Kenyon 細(xì)胞組成。這些細(xì)胞接受來自多種感官方式的輸入，被伽馬氨基丁酸能神經(jīng)元（Anterior Paired Lateral Neurons，APL 神經(jīng)元）抑制，從而創(chuàng)造了輸入的稀疏高維表征。

具體而言，其主要感知方式是嗅覺，但也有來自感知溫度、濕度、視覺的神經(jīng)元的輸入。這些輸入通過一組突觸權(quán)重傳遞給大約 2000 個(gè) Kenyon 細(xì)胞。Kenyon 細(xì)胞通過 APL 神經(jīng)元相互連接，后者會(huì)發(fā)送一個(gè)強(qiáng)大的抑制信號到 Kenyon 細(xì)胞。這個(gè)循環(huán)網(wǎng)絡(luò)形成了 Kenyon 細(xì)胞之間的贏者通吃效應(yīng)，并讓一小部分「冠軍」神經(jīng)元之外的所有神經(jīng)元都失聲了。

在這項(xiàng)論文中，研究者將該網(wǎng)絡(luò)模體（motif）進(jìn)行了數(shù)學(xué)化建模，并將其應(yīng)用于一項(xiàng)常見的 NLP 任務(wù)：學(xué)習(xí)非結(jié)構(gòu)化文本語料庫中的詞與上下午之間的相關(guān)結(jié)構(gòu)。

該研究提出的網(wǎng)絡(luò)模體如圖 1 所示，KC 也將輸出發(fā)送到蘑菇體輸出神經(jīng)元 (MBON)，但是蘑菇體網(wǎng)絡(luò)的這一部分不包含在數(shù)學(xué)模型中。

圖 1: 網(wǎng)絡(luò)架構(gòu)圖。幾組對應(yīng)不同方式的神經(jīng)元將它們的活動(dòng)發(fā)送到 KC 層，而 KC 層通過與 APL 神經(jīng)元的相互連接而被抑制。

總體而言，研究貢獻(xiàn)如下：

受果蠅網(wǎng)絡(luò)的啟發(fā)，研究者提出了一種算法，使得為單詞及其上下文生成 binary (相對于連續(xù)) 詞嵌入成為可能，并系統(tǒng)評估了該算法在詞匯相似性任務(wù)、詞義消歧和文本分類等任務(wù)上的表現(xiàn)；

與連續(xù) GloVe 嵌入相比，本文的 binary 嵌入能產(chǎn)生更緊密和更好分離的概念集群，并且符合 GloVe 的 binarized 版本的集群特性；

研究者發(fā)現(xiàn)，訓(xùn)練果蠅網(wǎng)絡(luò)所需要的計(jì)算時(shí)間比訓(xùn)練傳統(tǒng)的 NLP 架構(gòu)（如 BERT）所需要的計(jì)算時(shí)間要少一個(gè)數(shù)量級，但是在分類準(zhǔn)確率上有所降低。

這一成果展示了人類將自然界算法及行為進(jìn)行「重新編程」，并將其轉(zhuǎn)化為原始生物體從未參與過的任務(wù)的目標(biāo)算法的巨大潛力。

實(shí)驗(yàn)結(jié)果

在論文的第三章，研究者從靜態(tài)詞嵌入、詞聚類、上下文相關(guān)的詞嵌入、文本分類等幾個(gè)方面對研究提出的網(wǎng)絡(luò)進(jìn)行了評估，以下是實(shí)驗(yàn)結(jié)果。

靜態(tài)詞嵌入評價(jià)

詞聚類

上下文相關(guān)的詞嵌入

文本分類

計(jì)算效率

論文作者

本文第一作者 Yuchen Liang，本科畢業(yè)于浙江大學(xué)，在哥倫比亞大學(xué)獲得碩士學(xué)位，現(xiàn)為美國倫斯勒理工學(xué)院（Rensselaer Polytechnic Institute）在讀博士。研究興趣包括數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)。