我們可以用研究小白鼠的方式來研究 AI 嗎？或許可以。在一篇 ICLR 2020 Spotlight 論文中，DeepMind 和哈佛大學的研究者構(gòu)建了一個基于 AI 的虛擬小鼠，能夠執(zhí)行跑、跳、覓食、擊球等多項復雜任務(wù)。他們還嘗試用神經(jīng)科學技術(shù)來理解這個「人造大腦」如何控制其行為?；蛟S這一成果可以為我們提供人工智能研究的新思路。

人工神經(jīng)網(wǎng)絡(luò)算是目前最為先進的人工智能，這是一類由多層神經(jīng)元互聯(lián)組件構(gòu)成的機器學習算法，而「神經(jīng)元」最早就是來自大腦結(jié)構(gòu)的啟發(fā)。盡管人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元肯定不同于實際人腦中的工作方式，但越來越多的研究者認為，將二者放在一起研究不僅可以幫助我們理解神經(jīng)科學，還有助于打造出更加智能的 AI。DeepMind 和哈佛大學的研究者就在這一思路上進行了探索。

他們提出的是一種小鼠的 3D 模型，這一模型可在模擬環(huán)境中接受神經(jīng)網(wǎng)絡(luò)的控制。同時，他們用神經(jīng)科學技術(shù)來分析小鼠的大腦生物活動，由此來理解神經(jīng)網(wǎng)絡(luò)如何控制小鼠的行為。該論文目前已被 ICLR 2020 大會接收為 Spotlight 論文。

論文鏈接：https://openreview.net/pdf?id=SyxrxR4KPS

論文作者之一、哈佛大學研究員 Jesse Marshall 表示，這個平臺相當于神經(jīng)科學領(lǐng)域的風洞，可以用不同程度的生物真實性來測試不同的神經(jīng)網(wǎng)絡(luò)，以此了解如何面對現(xiàn)實中的復雜挑戰(zhàn)。

「在神經(jīng)科學的典型實驗中，研究人員通常會用敲擊杠桿之類的單一行為來窺探動物的大腦活動，而大多數(shù)機器人也是為了解決定制任務(wù)而制造的，比如掃地機器人。這篇文章算是我們研究大腦如何產(chǎn)生并實現(xiàn)靈活性的開端，然后可以按照我們所觀察到的結(jié)果來設(shè)計功能相似的人工智能產(chǎn)品?！?/p>

研究過程

構(gòu)造一只虛擬小鼠

如下圖 1 所示，研究者基于實驗室小鼠的大小，在 MuJoCo 環(huán)境中（Todorov et al 于 2012 年提出）中實現(xiàn)了虛擬的小鼠身體。這個小鼠的可控自由度為 38，它的尾巴、脊柱和脖頸包含多段關(guān)節(jié)，并由共同驅(qū)動多關(guān)節(jié)的肌腱控制（MuJoCo 中的空間肌腱）。這一虛擬小鼠將作為「dm_control/locomotion/」項目的一部分來開源。

項目地址：https://github.com/deepmind/dm_control/tree/master/dm_control/locomotion

虛擬小鼠可以獲得本體感應(yīng)信息（proprioceptive information）以及來自頭戴式攝像頭的「原始」、第一人稱 RGB 相機（64×64 像素）輸入。本體感應(yīng)信息包括：內(nèi)部關(guān)節(jié)角度和角速度、提供驅(qū)動的肌腱的位置和速度、從小鼠骨盆到爪子、頭部的第一人稱向量、類前庭的垂直取向向量、爪子中的接觸感應(yīng)區(qū)，以及骨盆的第一人稱加速度、速度和 3D 角速度。

訓練一個神經(jīng)網(wǎng)絡(luò)

近期的研究表明，端到端強化學習可以生成單一的地形自適應(yīng)策略，基于此，研究者在多個依賴馬達控制（motorcontrol）的任務(wù)上訓練了單一架構(gòu)，具體如下圖 3 所示。

圖 3：虛擬小鼠智能體架構(gòu)。

為了訓練一個可以執(zhí)行所有四項任務(wù)的單一策略，研究者使用了用于動作評價結(jié)構(gòu)（actor-critic）DeepRL 的 IMPALA-style 設(shè)置，并且通過直立跡（V-trace）和異策略校正（off-policy correction）對價值函數(shù)評價器進行訓練。

研究者在實驗中發(fā)現(xiàn)，在與其他三個任務(wù)相關(guān)的交叉訓練過程中，「逃離丘陵環(huán)境」任務(wù)的學習更具有挑戰(zhàn)性。因此，研究者展示了在「逃離」任務(wù)中訓練一個單一任務(wù)專家以及使用針對該任務(wù)的 kick-starting 訓練多任務(wù)策略的結(jié)果，并且得出的系數(shù)很弱（.001 或.005）。逃離任務(wù)上使用 kick-starting 可以使小鼠更可靠地完成所有四項任務(wù)，不同架構(gòu)的多任務(wù)策略之間也能更方便地進行比較。最后生成單個神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用虛擬輸入來決定小鼠的行為方式，并通過協(xié)調(diào)小鼠的身體來完成各項任務(wù)。

讓小鼠完成四項任務(wù)

研究者借助訓練好的神經(jīng)網(wǎng)絡(luò)指導小鼠完成四個動作：跳過多個空隙、在迷宮中覓食、逃離丘陵環(huán)境、精確地擊球。

奔跑并躍過多個空隙。

覓食動作：追逐藍色球體。

逃離丘陵。

用前爪精確擊球。

分析實驗結(jié)果

小鼠順利完成任務(wù)之后，研究者結(jié)合虛擬小鼠的行為分析它的神經(jīng)網(wǎng)絡(luò)活動，以探索它如何完成多項任務(wù)（下圖 4A）。他們使用了來自神經(jīng)科學的分析和擾動技術(shù)，這一領(lǐng)域已經(jīng)開發(fā)出了一系列探索真實神經(jīng)網(wǎng)絡(luò)特性的技術(shù)。

研究者記錄了虛擬小鼠的運動學、關(guān)節(jié)、算力、感覺輸入以及 LSTM 在核心層和策略層的單元活動。

圖 4：虛擬小鼠的行為學記錄。

但論文作者之一、哈佛大學研究生Diego Aldarondo表示，他們發(fā)現(xiàn)了一個有趣的事情：當神經(jīng)活動直接控制肌肉力量和腿部動作時，這些活動在比預期更長的時間尺度上出現(xiàn)。

這意味著神經(jīng)網(wǎng)絡(luò)似乎可以用一種抽象的符號來代表跑、跳、旋轉(zhuǎn)等多個任務(wù)，這是一種先前在嚙齒動物和鳴禽動物中都已觀察到的認知模式。

研究意義

雖然神經(jīng)網(wǎng)絡(luò)不具備生理真實性，但加拿大麥吉爾大學的神經(jīng)科學家 Blake Richards 說，神經(jīng)網(wǎng)絡(luò)捕捉到了神經(jīng)處理過程中足夠多的重要特征，可以針對神經(jīng)活動如何讓影響行為做出有用的預測。他說，這篇論文的最大貢獻就是提出了一種近乎真實的方式訓練這些網(wǎng)絡(luò)，使它們更容易與生物數(shù)據(jù)進行比較。

他還說，作者們正在提供一個平臺，用于訓練一個真實的生物體和一系列的任務(wù)，讓與真實的嚙齒動物大腦的對比更有意義。

從研究上說，人工神經(jīng)網(wǎng)絡(luò)還不適合與生物神經(jīng)網(wǎng)絡(luò)進行過于寬泛的比較，但這種方法可能是探索行為的神經(jīng)基礎(chǔ)的一種好方法。

Scott 表示，記錄動物行為并將其與特定行為聯(lián)系起來的復雜程度決定了，大多數(shù)實驗都是在相對簡單的任務(wù)中完成的，而且實驗的設(shè)定非常嚴格。而相比之下，虛擬小鼠卻可以實現(xiàn)非常復雜的、多部分的行為，例如覓食，這些行為可以與它的感官輸入和神經(jīng)活動高度精確地聯(lián)系起來。

唯一的問題在于，我們難以從動物身上收集任務(wù)設(shè)定如此復雜的神經(jīng)數(shù)據(jù)。Scott 表示，他希望研究人員能在實驗室環(huán)境中讓虛擬小鼠完成更為簡單的任務(wù)，以使其神經(jīng)活動模式可以和真實動物中發(fā)現(xiàn)的那些進行比較，以便了解它們之間的異同。