AI芯片還可以怎么搞？登上Nature的研究帶來新啟發(fā)。

過去，我們做圖像分類都是分成好幾步：先用傳感器收集圖像模擬信號，數(shù)模轉(zhuǎn)換后再交給計算機處理。整個過程既耗能又費時，就像眼睛把圖像傳給大腦。

試想一下，如果人類眼睛可以直接處理圖像——不用勞煩大腦，那視覺圖像信息的處理速度豈不是可以大大提升？

今天，Nature這篇新研究開拓性在于，直接讓“眼睛”處理圖像。而且效果反饋也相當震撼：

利用新感光元件，僅僅40納秒即可完成圖像分類，比交給計算機處理快了幾十萬倍。

真是不得了。

光電二極管網(wǎng)絡(luò)

核心來說，研究團隊在芯片上構(gòu)建了一個光電二極管網(wǎng)絡(luò)，并選擇2D半導體二硒化鎢（WSe2）作為光敏材料。

△單個二硒化鎢光電二極管示意圖

光電二極管陣列由27個具有良好均勻性、可調(diào)性和線性度的檢測器組成，排列為3×3的成像陣列，像素大小約為17×17μm，每個像素由3個二硒化鎢光電二極管（子像素）組成，其對光的響應(yīng)度可以通過柵極電壓調(diào)節(jié)。

也就是說，可以通過改變施加的電壓來調(diào)節(jié)半導體對光的響應(yīng)，從而調(diào)節(jié)每個二極管的靈敏度。

實際上，這就將光電傳感器網(wǎng)絡(luò)變成了神經(jīng)網(wǎng)絡(luò)，將光學傳感和神經(jīng)形態(tài)計算結(jié)合起來，使其能夠執(zhí)行簡單的計算任務(wù)。

改變二極管的靈敏度，就相當于改變神經(jīng)網(wǎng)絡(luò)中的權(quán)重。

把權(quán)重放在傳感器上

與其他神經(jīng)不同的是，這套系統(tǒng)的權(quán)重不是存在計算機的內(nèi)存和硬盤里，而是直接集成在圖像傳感器上。

實驗中使用的有硒化鎢光電二極管制成的特殊門電路。它的特殊就在于可以調(diào)制，相當于神經(jīng)網(wǎng)絡(luò)的訓練。

隨著外接偏置電壓的不同，二極管對光線的敏感程度也不同，等于將網(wǎng)絡(luò)的訓練結(jié)果直接放在傳感器端。

之前的神經(jīng)網(wǎng)絡(luò)都是將訓練權(quán)重存儲在外部存儲器上，通過電路發(fā)送到每個檢測器件上。

就像電腦的內(nèi)存，斷電后就會丟失存儲信息。

而這一套設(shè)備，更像是硬盤，即使掉電后也能將權(quán)重信息存儲下來。

研究人員將調(diào)制的電極也就是浮柵（floating gate）埋在氮化硼絕緣層中，一開始先對氧化鋁絕緣層中的柵極加上電壓，接著撤去外部電壓。

浮柵依舊能在接下來的2300秒內(nèi)維持對光電二極管的調(diào)制，直到改變外部偏置電壓為止。

研究人員用這種方法實現(xiàn)了兩種類型的神經(jīng)網(wǎng)絡(luò)：分類器和自動編碼器。

在分類器中，光電二極管陣列、芯片感知器以及在芯片外的非線性激活函數(shù)一起運行。這種類型的神經(jīng)代表一種監(jiān)督學習算法，該算法能夠?qū)⑤斎雸D像P分為不同的輸出類別y。

實際效果如何呢？他們3×3像素制作了一組“簡陋”的字母，分別是n、v、z。

圖像傳感器經(jīng)過訓練后，只需測量對應(yīng)電路的電流是否為0，就能知道是哪個字母。

通過電壓隨時間的變化圖可以看出，當傳感器接受到圖像40ns后，n和v兩種輸入產(chǎn)生的電壓開始出現(xiàn)巨大的差異，約100ns后差異達到最大。

第二種神經(jīng)網(wǎng)絡(luò)是自動編碼器，可以在無監(jiān)督的訓練過程中學習輸入圖像P的有效表示。它與解碼器一起使用，對解碼器進行訓練后，就可以在其輸出中重現(xiàn)圖像。

編碼器由光電二極管陣列本身構(gòu)成，解碼器由外部電子器件構(gòu)成。

在這個過程中，圖像的傳輸數(shù)據(jù)得到了壓縮。

潛力巨大，但仍需大量后續(xù)研究

40納秒就分辨出了兩張不同的圖像，AI視覺仿佛朝著人類大腦的效率更進一步。

但需要說明的是：這一令人興奮的新技術(shù)，距離實際應(yīng)用，還有很長的路要走。

首先，由于光電二極管陣列僅由27個檢測器組成，最大只能處理3×3的圖像。

其次，想要真正應(yīng)用于自動駕駛和機器人技術(shù)，視覺系統(tǒng)需要捕獲具有廣闊視野的三維動態(tài)圖像和視頻。而現(xiàn)在，該技術(shù)是將3D視覺信息轉(zhuǎn)換成2D來處理，丟失了運動信息和深度。

其圖像傳感器陣列的平面形狀，也限制了廣角相機的能力。

此外，根據(jù)Nature的報道，論文中描述的設(shè)備很難在昏暗光線下成像。并且，其設(shè)計需要高電壓和大功率，相比之下，生物神經(jīng)網(wǎng)絡(luò)中每項操作消耗的能量僅為10-15到10-13焦耳。

從工藝角度上講，芯片所采用的薄半導體目前很難大面積生產(chǎn)加工。

而且，盡管圖像傳感器兼具了采集和計算功能，減少了模數(shù)轉(zhuǎn)換，但外部電路仍然存在固有延遲問題，還是會影響整個系統(tǒng)的等待時間。

不過，雖然還有很大的研究空間，在傳感器中計算的相關(guān)研究，推動了AI硬件的進一步發(fā)展。而這樣的研究思路，也不僅僅局限于計算機視覺，可以擴展到聽覺、觸覺等其他物理輸入中。

其他嘗試

人們對快速處理圖像信息的要求越來越高，很多科學家都在研究在輸入端處理圖像的方法。

最近來自荷蘭和美國學者也發(fā)明了一種在傳感器端直接處理圖像的方法。

不過他們不是輸出圖像的分類，而是輸出圖像的邊緣，這對于目標檢測和語義分割有重要的意義。

他們在傳感器前方加入了一個“超表面”：不到半毫米厚的藍寶石薄片，鍍上206 nm厚、142 nm高、間距300 nm的硅長條。

把它放置在CCD感光芯片的表面上時，超表面的作用就像一個透鏡，光線只能以陡峭的角度射向它，而過濾掉入射角很小的光。

圖像的特征是由不同光波的組合而成，濾除了光波攜帶的其他細節(jié)，僅留下了較尖銳的分量，例如人臉的邊緣，而不是單色的背景。

整個過程僅需要150納秒的時間，而交給計算機處理需要幾毫秒，二者相差4個數(shù)量級。

研究團隊

最后介紹下研究團隊，來自奧地利維也納工業(yè)大學的Unterrainer group。

論文一作：Lukas Mennel，是電氣工程與光子學專業(yè)在讀博士，曾作為訪問學者赴MIT交流學習，研究量子光子學。

△Lukas Mennel

論文的另一位通訊作者，是維也納工業(yè)大學副教授Thoms Mueller——托馬斯·穆勒，雖然不知道這位托馬斯·穆勒擅不擅長踢足球，但在2D材料科學領(lǐng)域，穆勒教授的研究涵蓋基礎(chǔ)研究、光電設(shè)備、電子集成電路、光子集成電路等，亦是卓有成就。

△Thoms Mueller

論文地址：https://www.nature.com/articles/s41586-020-2038-x