昨天，谷歌與霍華德 • 休斯醫(yī)學研究所 (HHMI) 和劍橋大學合作，發(fā)布了一項深入研究果蠅大腦的重磅成果 —— 自動重建整個果蠅的大腦。他們使用數千個谷歌云 TPU，重建的完整果蠅大腦高達 40 萬億像素。有了完整的大腦圖像，科學家距離了解大腦如何工作更近了一步。

你知道嗎?果蠅是公認被人類研究的最徹底的生物之一，截至目前，已有 8 個諾貝爾獎頒發(fā)給使用果蠅的研究，這些研究推動了分子生物學、遺傳學和神經科學的發(fā)展。

科學家們一直夢想通過繪制完整的大腦神經網絡的結構，以了解神經系統(tǒng)是如何工作的。

最近研究的一個主要目標是果蠅的大腦。

果蠅的一個重要優(yōu)勢是它們的大?。汗壍拇竽X相對較小，只有10萬個神經元，相比之下，老鼠的大腦有1億個神經元，人類的大腦有1000億個神經元。

這使得果蠅的大腦更容易作為一個完整的回路來研究。

今天，谷歌與霍華德•休斯醫(yī)學研究所(HHMI)和劍橋大學合作，發(fā)布了一項最新深入研究果蠅大腦的研究成果——自動重建整個果蠅的大腦。 

 

果蠅大腦的自動重建

這篇論文題為“利用Flood-Filling網絡和局部調整自動重建連續(xù)切片成像的果蠅大腦”：   

來自谷歌、霍華德•休斯醫(yī)學研究所(HHMI)Janelia研究園區(qū)以及劍橋大學的一共16位研究人員參與了這個研究，其中，第一作者Peter H. Li是谷歌研究科學家，主要研究方向包括一般科學、機器智能、機器感知。 

Peter H. Li 

他們還提供了果蠅大腦完整圖像的展示，任何人都可以下載查看、或使用交互式工具在線瀏覽，他們開發(fā)了一個3D的交互界面，稱為Neuroglancer。

Neuroglancer的演示

這不是果蠅大腦第一次得到完整繪制，今年1月，Science 雜志用封面報道，介紹了 MIT 和霍華德·休斯醫(yī)學研究所(HHMI)科學家們成功對果蠅的完整大腦進行了成像，并且清晰度達到了納米級。但那次仍是人工的方法，使用了兩種最先進的顯微鏡技術。 

幾十年來，神經科學家一直夢想繪制出一幅完整的大腦神經網絡的精細地圖，但對于擁有1000億神經網絡的人腦，需要處理的數據量之巨大是難以想象的。如果能自動重建果蠅大腦，也許離自動繪制人腦就更近一步了。

這也不是Peter H. Li的團隊第一次試圖用AI方法繪制大腦神經元，他們分別在2016年和2018年在更小的數據集上進行了研究，如下圖右下角所示。

一個40萬億像素的果蠅大腦的3D重建；右下角分別是谷歌AI在2016和2018年分析的較小數據集。

在2018年，谷歌與德國馬克斯普朗克神經生物學研究所合作，開發(fā)了一種基于深度學習的系統(tǒng)，可以自動映射大腦的神經元。他們對100萬立方微米斑胸草雀大腦掃描圖像進行了重建。

研究人員稱，由于成像的高分辨率，即使只有一立方毫米的腦組織，也可以產生超過 1000TB 的數據。因此，這次重建整個果蠅的大腦，可想數據量有多龐大。

用于處理數據的，是谷歌的Cloud TPU，而且是數千個!

Google AI負責人Jeff Dean也在推特上感嘆道：

TPU真的會飛!GoogleAI的科學家使用TPU來幫助重建了整個果蠅大腦的神經連接!

下面，新智元帶來對這一研究的詳細解讀：

40萬億像素果蠅大腦，自動重建!

在實驗過程中，主要采用的數據集是FAFB，它是“full adult fly brain”(完整成年果蠅大腦)的縮寫(相關數據集信息見文末)。

研究人員在此數據集上，將果蠅的大腦切成了成千上萬個40納米的超薄切片，而后用透射電子顯微鏡對每個切片進行成像，這就產生了超過40萬億像素的大腦圖像。并且將這些2D圖像整合成連貫的3D果蠅大腦圖像。 

 

接下來，研究人員使用了數千個云TPU，并應用Flood-Filling Network (FFN)，以便自動跟蹤果蠅大腦中的每個神經元。

通過FFN對整個果蠅大腦進行密集分割(dense segmentation)

上圖中的A是3D渲染的FAFB數據集平滑組織掩膜(smoothed tissue mask)。任意冠狀切片(數據集XY平面)顯示了整個內部的FAFB-FFN1分割。B-E展示了增加縮放比例后的效果。

自動神經元重建與手動神經元跟蹤做驗證對比

雖然這個算法總體運行效果還算不錯，但是當對齊(alignment)不夠完美(連續(xù)切片中的圖像內容不穩(wěn)定)或者偶爾由于在成像過程中丟失了多個連續(xù)切片時，性能會有所下降。

為了彌補這個這個問題，研究人員便將FFN與兩個新程序結合起來。

首先，估計出3D圖像中各個區(qū)域切片之間的一致性，然后在FFN跟蹤每個神經元的時候局部穩(wěn)定圖像中的內容。

其次，研究人員使用SECGAN來計算圖像體積(volume)中缺失的切片，而當使用SECGAN時，研究人員發(fā)現(xiàn)FFN能夠更可靠地跟蹤多個缺失切片的位置。

局部調整(Local Realignment，LR)

不規(guī)則截面的替換

整體FAFB-FFN1的分割pipeline  

Segmentation-assisted神經元跟蹤

果蠅大腦與Neuroglancer的交互可視化

當處理包含數萬億像素和形狀復雜的物體的3D圖像時，可視化既重要又困難。受谷歌開發(fā)新可視化技術的歷史啟發(fā)，研究人員設計了一種可擴展且功能強大的新工具，任何擁有支持WebGL的網頁瀏覽器的人都可以訪問。

結果就是Neuroglancer，一個在github上的開源項目，可以查看petabyte級3D volume，并支持許多高級功能，如任意軸橫截面重構(arbitrary-axis cross-sectional reslicing)，多分辨率網格，以及通過與Python集成開發(fā)自定義分析workflow的強大功能。該工具已被合作者廣泛使用，包括艾倫腦科學研究所、哈佛大學、HHMI、馬克斯普朗克研究所(Max Planck Institute)、MIT、普林斯頓大學等。 

 

 

 

未來工作

谷歌表示，HHMI和劍橋大學的合作者已經開始使用這種重建來加速他們對果蠅大腦學習、記憶和感知的研究。然而，由于建立連接組需要識別synapses，因此上述結果還不是真正的connectome。他們正與Janelia Research Campus 的FlyEM團隊密切合作，利用“ FIB-SEM ”技術獲得的圖像，創(chuàng)建一個高度驗證且詳盡的果蠅大腦的connectome。