[[325184]]

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

過去的十年以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)深刻影響了人類社會。但深度神經(jīng)網(wǎng)絡(luò)的發(fā)展已經(jīng)進入瓶頸期，我們?nèi)蕴幱谌跞斯ぶ悄軙r代。如何更近一步，跨入強人工智能，敲擊著每一位智能研究者的心。

算法提升，則是走向強人工智能的一個方向；而受腦啟發(fā)的硬件設(shè)計，則是人工智能的另一方向。

在硬件層面上，智能研究如何從對人腦的研究中受益？隨著我國在類腦計算方面的深入，已有越來越多的學(xué)者開始拷問這一問題。

2020年4月25日，在未來論壇青創(chuàng)聯(lián)盟線上學(xué)術(shù)研討中，開展了AI+腦科學(xué)的主題討論，共有六位嘉賓發(fā)表演講，從Brain Science for AI和AI for Brain Science兩個不同的視角進行前沿討論。

其中來自清華大學(xué)的吳華強老師做了題目為“大腦啟發(fā)的存算一體技術(shù)”的報告。在報告中吳教授介紹到：當(dāng)思考未來計算的時候，量子計算、光計算是向物理找答案，類腦計算、存算一體是向生物找答案，也就是向大腦找答案。

目前吳老師正在芯片上做電子突觸新器件，做存算一體的架構(gòu)。新器件方面主要研究的是憶阻器，它的特點是可以多比特，同時非易失，即把電去掉可以保持阻值，并且它速度很快。

另外，吳老師還提到，其用存算一體的計算結(jié)構(gòu)設(shè)計的芯片與樹莓派28納米的CPU做過對比，在準確率相當(dāng)?shù)那闆r下，前者運行一萬張圖片是3秒，后者是59秒。

[[325185]]

吳華強， 清華大學(xué)微納電子系教授，清華大學(xué)微納電子系副系主任，清華大學(xué)微納加工平臺主任，北京市未來芯片技術(shù)高精尖創(chuàng)新中心副主任。

吳華強：

我的報告將從硬件的挑戰(zhàn)，研究進展以及展望三方面來介紹大腦啟發(fā)的存算一體技術(shù)。

人工智能無處不在，從云端到我們手機端都有很多人工智能。不同的人工智能應(yīng)用對芯片的需求是不一樣的,比如數(shù)據(jù)中心、汽車無人駕駛要求算力特別高，而智能傳感網(wǎng)、物聯(lián)網(wǎng)和手機希望耗能低，追求高能效。不同應(yīng)用對芯片的不同需求給了芯片領(lǐng)域很多機會。

人工智能的三個發(fā)展浪潮和硬件算力也有關(guān)系。

從第一款神經(jīng)網(wǎng)絡(luò)Perceptron 網(wǎng)絡(luò)AI開始火起來，到70年代進入低谷，一個非常重要的因素是，雖然有很好的理論模型，但是沒有足夠的算力。

后來專家系統(tǒng)出現(xiàn)，第二波浪潮又起來。這時候很多人做專門圍繞人工智能的計算機。同時代摩爾定律快速推動芯片的發(fā)展，通用計算機的性能飛速上揚，專業(yè)計算機能做的通用計算機也能做，因此逐漸占據(jù)市場，第二波浪潮又下去。

第三波浪潮，深度神經(jīng)網(wǎng)絡(luò)的提出到利用GPU加速網(wǎng)絡(luò)訓(xùn)練，GPU成為AI的主要訓(xùn)練平臺。有了更大的算力，網(wǎng)絡(luò)規(guī)?？焖偬嵘?。AlphaGo Zero需要5000個TPU訓(xùn)練40天才成為地表最強的圍棋選手，花費的時間還是很大的，因此人工智能的廣泛應(yīng)用需要硬件能力革新，支撐人工智能的發(fā)展。

c4b8.jpg" target="_blank">c4b8.jpg" width="auto" border="0" height="auto" alt="" title="">

芯片能提供的算力和人工智能的高需求是很矛盾的。第一臺計算機ENIAC出現(xiàn)在1947年，算力是每秒鐘5000次左右。英特爾2019年的CPU大約是20.8GFLOPS。我們看到它的變化是圍繞著摩爾定律，即每18個月翻一番的集成度來提升算力。但是目前AI的需求是每3.4個月翻一番。因此需要尋找新方法提供算力。

算力提升越來越困難有兩個原因，一是過去摩爾定律是把器件做的越來越小，現(xiàn)在器件尺寸縮小已經(jīng)接近物理極限了，所以摩爾定律逐漸失效。二是傳統(tǒng)計算架構(gòu)發(fā)展帶來的性能提升日趨緩慢?，F(xiàn)代計算系統(tǒng)普遍采用信息存儲和運算分離的馮諾依曼架構(gòu)，其運算性能受到數(shù)據(jù)存儲速度和傳輸速度的限制。具體來說，CPU的計算速度小于1納秒，但是主存DRAM是百納秒左右，也就是存儲的速度遠遠低于計算速度。

在能耗上，以TSMC45納米的工藝為例，加減乘小于一個pJ，但是32位DRAM的讀要高達640個pJ，這一比也是百倍的差距。因此存儲速度遠遠低于CPU的速度，而存儲的功耗也遠遠高于CPU的功耗。這還沒有講存儲的寫，寫的功耗會更高。這樣整個系統(tǒng)的性能受到數(shù)據(jù)存儲速度和傳輸速度的限制，能耗也因為存儲讀的功耗和寫的功耗很大，導(dǎo)致整個系統(tǒng)功耗都很大。

現(xiàn)在可以看到很多新的計算出來了，量子計算、光計算、類腦計算、存算一體。所以當(dāng)我們要思考未來的計算時，我自己覺得量子計算、光計算是向物理找答案，類腦計算、存算一體是向生物找答案，也就是向大腦找答案。

著名的人機大戰(zhàn)，人工智能選手 AlphaGo用了176個GPU、1202個CPU，功耗是150000W。而我們大腦體積大概1.2L，有10^11個神經(jīng)元，10^15個突觸，思考的時候功耗是20W。大腦的功耗這么少，這么聰明，這里面還有這么大容量的神經(jīng)元、突觸。所以我們希望用腦啟發(fā)設(shè)計新的人工智能芯片。

我們想通過向生物學(xué)家學(xué)習(xí)、向神經(jīng)學(xué)家學(xué)習(xí)，來看看大腦是如何處理計算的。大腦有幾個特點，一個是有大量的神經(jīng)元連接性，以及神經(jīng)元加突觸的結(jié)構(gòu)，一個神經(jīng)元將近連接了1萬個突觸。第二個它的時空信息的編碼方式是用脈沖的方式。我們希望模仿大腦的結(jié)構(gòu)和工作機制，用脈沖編碼的形式來輸入輸出。

生物突觸是信息存儲也是信息處理的最底層的生物器件。我們想在芯片上做電子突觸新器件，做存算一體的架構(gòu)。新器件方面我們主要研究的是憶阻器，它的特點是可以多比特，同時非易失，即把電去掉以后可以保持這個阻值，并且它速度很快。還有很關(guān)鍵的一點，它和集成電路的CMOS工藝是兼容的，可以做大規(guī)模集成。近十年我們一直圍繞這個器件來做其優(yōu)化和計算功能。

美國DARPA的FRANC項目提出用模擬信號處理方式來超越傳統(tǒng)的馮·諾依曼計算架構(gòu)，希望帶來計算性能系統(tǒng)的增加。任正非在2019年接受采訪時說，未來在邊緣計算不是把CPU做到存儲器里，就是把存儲器做到CPU里，這就改變了馮·諾依曼結(jié)構(gòu)，存儲計算合而為一，速度快。阿里2020年的十大科技趨勢里提到計算存儲一體化，希望通過存算一體的架構(gòu)，突破AI算力瓶頸。存算一體的理念也是受大腦計算方式啟發(fā)的。

基于憶阻器的存算一體技術(shù)可以分為三個階段：第一個階段是單個器件的發(fā)展階段。2008年惠普實驗室的Stan  William教授首次在實驗室制備了憶阻器，之后美國密西根大學(xué)的盧偉教授提出了電子突觸概念，美國UCSB大學(xué)的謝源教授提出了基于憶阻器的PRIME存算一體架構(gòu)，引起廣泛關(guān)注。

第二個階段開始做陣列，2015年UCSB在12×12的陣列上演示了三個字母的識別，我們團隊2017年在128×8的陣列上演示了三個人臉的識別，準確率能夠大于95%，同時期還有IBM，UMass和HP等研究團隊實驗實現(xiàn)了在陣列上的存算一體。

第三個階段是存算一體芯片，我們以芯片設(shè)計領(lǐng)域的頂會ISSCC上近幾年發(fā)表的文章為例，2018年松下展示了多層感知機的宏電路，2019年臺灣地區(qū)新竹清華大學(xué)和臺積電聯(lián)合演示了卷積核計算的宏電路，今年清華和斯坦福合作做的限制玻耳茲曼機宏電路。

也是今年我們清華團隊完成的一個全系統(tǒng)集成的完整的存算一體芯片，從系統(tǒng)測試結(jié)果來看，這個芯片能效高達78.4TOPs/W，是相當(dāng)高的。我們還做了一個對比，一個是存算一體的芯片和系統(tǒng)，一個是用了樹莓派28納米的CPU。我們的芯片跑完一萬張圖片是3秒，而他們是59秒，我們的速度要快很多，準確率卻相當(dāng)。

今年1月我們在Nature上發(fā)表了一個憶阻器存算一體系統(tǒng)的工作。這個工作主要是把多個陣列放在一起組成一個系統(tǒng)，并驗證是否能用作模擬計算來實現(xiàn)AI的工作。我們提出新型混合訓(xùn)練算法，實現(xiàn)了與軟件相當(dāng)?shù)挠嬎憔?。還提出了新型卷積空間并行架構(gòu),成倍提升了系統(tǒng)處理速度。

為什么憶阻器存算一體適合人工智能呢？因為交叉陣列結(jié)構(gòu)特別適合快速矩陣向量乘法。存算一體可以減少權(quán)重搬移帶來的功耗和延時，有效地解決目前算力的瓶頸。另外，人工智能更關(guān)注系統(tǒng)準確性，而不是每個器件的精度，這特別符合憶阻器和模擬計算的特點。

我們還和畢國強老師合作了一篇綜述文章。利用腦啟發(fā)來設(shè)計人工智能芯片，我們把大腦從I/O通道，到突觸，神經(jīng)元，到神經(jīng)環(huán)路，到整個大腦的結(jié)構(gòu)，都和電子器件做了對比。文章題目叫《Bridging Biological and Artificial Neural Networks》，發(fā)表在2019年的Advanced Materials上面，如果大家感興趣可以讀這個文章。

展望未來，希望能夠做一個存算一體的計算機系統(tǒng)。以前是晶體管加布爾邏輯加馮·諾依曼架構(gòu)，現(xiàn)在是模擬型憶阻器加模擬計算和存算一體的非馮架構(gòu)。

OMT：腦科學(xué)是如何助力AI的

在演講報告之后，來自中國科學(xué)技術(shù)大學(xué)神經(jīng)生物學(xué)與生物物理學(xué)系系主任畢國強老師，來自北京大學(xué)信息科學(xué)技術(shù)學(xué)院長聘教授吳思老師和三位報告演講老師就腦科學(xué)已經(jīng)為AI發(fā)展提供了什么思想、方法和技術(shù)？有哪些典型案例？做了激烈的討論。

在會上胡曉林提到：有很多工作其實是從腦科學(xué)啟發(fā)過來，追根溯源到1943年，麥克和皮茨這兩個人第一次提出人工神經(jīng)元MP神經(jīng)元，如果沒有他們提出人工神經(jīng)元，后面的這些CNN等等都是不存在的，他們其實是做神經(jīng)科學(xué)的，他們嘗試發(fā)明計算模型并解釋大腦的工作，他們提出了這種邏輯運算的MP神經(jīng)元。后來Rosenbaltt把MP神經(jīng)元擴展了一下，得到了多層感知機。后來在1989年、1990年的時候Yan LeCun等人提出來CNN，當(dāng)時是受了Neocognitron模型的啟發(fā)，Neocognitron是日本人Fukushima提出來的，我真的找過他那篇論文，Neocognitron的結(jié)構(gòu)和現(xiàn)在CNN的結(jié)構(gòu)一模一樣，唯一區(qū)別是學(xué)習(xí)方法不一樣，Neocognitron在1980年提出來時還沒有BP算法。Neocognitron怎么來的呢？它是受到一個神經(jīng)科學(xué)的發(fā)現(xiàn)，在貓的視覺皮層有簡單細胞、復(fù)雜細胞兩種細胞，從這兩種細胞的特點出發(fā)構(gòu)建了Neocognitron嘗試去解釋大腦怎么識別物體的。后來才發(fā)展到CNN。MP神經(jīng)元和Neocognitron這是兩個具有里程碑意義的方法，這是很典型的神經(jīng)科學(xué)給我們AI的啟發(fā)的工作，甚至可以說是顛覆性的工作。

坦白說到這次神經(jīng)網(wǎng)絡(luò)、人工智能的騰飛，這次騰飛期間我并沒有看到特別多令人非常興奮的腦啟發(fā)的工作，我本人也做了一些這方面的工作，發(fā)現(xiàn)目前一些受腦科學(xué)啟發(fā)的計算模型好像都沒有我剛才說的那兩個模型的意義那么大。希望這個領(lǐng)域能出現(xiàn)一些新的腦啟發(fā)的方法，哪怕它們現(xiàn)在的性能非常差，但是十幾年、幾十年以后，它們也許會成為奠基性的工作。

吳思：我們要看我們怎么定義AI。如果泛泛的包括信息理論、動力學(xué)系統(tǒng)分析、統(tǒng)計學(xué)習(xí)等，那么這些都是計算神經(jīng)科學(xué)每天在用的工具，它們一直在助力腦科學(xué)的發(fā)展。如果一定要強調(diào)最新的，比如說深度學(xué)習(xí)，那么如何將AI用于腦科學(xué)是目前的一個研究熱點。國際上有多個組，也包括清華的胡曉林老師，大家把視覺系統(tǒng)當(dāng)成一個深度學(xué)習(xí)網(wǎng)絡(luò)，然后訓(xùn)練這個深度學(xué)習(xí)網(wǎng)絡(luò)，同時加入一些生物學(xué)的約束，然后用對比的方法看這個系統(tǒng)能學(xué)習(xí)到什么，進而回答生物視覺認知的問題。

唐華錦：我補充一下吳思老師講的，在傳統(tǒng)上AI提供了很重要的大數(shù)據(jù)分析工具，視覺神經(jīng)、視覺皮層，現(xiàn)在的AI提供了很重要的大數(shù)據(jù)工具，尤其是在高通量的腦成像方面，建立非常精細的腦模型，AI大數(shù)據(jù)起到重要的作用。還有實時的腦活動的分析上，比如斑馬魚的活動，如何同時實時記錄以及把這些神經(jīng)元的活動匹配到那些神經(jīng)元上，這是大量AI深度學(xué)習(xí)幫助腦科學(xué)家在分析數(shù)據(jù)、統(tǒng)計數(shù)據(jù)上，包括三維重建，包括樹突、軸突之間連接的結(jié)構(gòu)也會起到非常重要的作用，AI還是提供了很好的工具在深入的解釋上面。