腦子這個(gè)好東西,我們模仿得怎么樣了?類(lèi)腦計(jì)算報(bào)告
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
技術(shù)篇:當(dāng)前處于運(yùn)算智能到感知智能的過(guò)渡階段
正如我們所見(jiàn),人工智能是靠著龐大的數(shù)據(jù)量和精確計(jì)算,在近些年取得了不少令人矚目的進(jìn)步。
但與人腦相比, 其基于的深度神經(jīng)網(wǎng)絡(luò)(DNN)在信息處理的效率,即速度和功耗上,表現(xiàn)仍不夠好。
其中“速度”是指它在計(jì)算不同神經(jīng)層的輸出是以順序的方式進(jìn)行,導(dǎo)致每層都必須等待上一層的輸出計(jì)算完成后才能執(zhí)行下一步,缺少架構(gòu)靈活性。
“功耗”則是指在馮諾依曼架構(gòu)下,龐大的數(shù)據(jù)量意味著頻繁且大規(guī)模的運(yùn)算,隨之而來(lái)的就是功耗的極速上升。
而我們的人腦靠其中的神經(jīng)元以脈沖的形式進(jìn)行信息傳遞,約870億個(gè)神經(jīng)元高度非線(xiàn)性地工作,每個(gè)神經(jīng)元在外部和內(nèi)部都與其他神經(jīng)元有多達(dá)10000個(gè)連接,承載著數(shù)十萬(wàn)個(gè)協(xié)調(diào)的并行過(guò)程,功耗卻只要20W左右。
于是人們就把一部分目光投向了類(lèi)腦計(jì)算。
從定義上來(lái)看,目前的類(lèi)腦計(jì)算可以分為狹義和廣義兩種。
狹義類(lèi)腦計(jì)算指的就是模仿大腦神經(jīng)結(jié)構(gòu)和工作原理而創(chuàng)新出來(lái)的神經(jīng)形態(tài)計(jì)算,學(xué)術(shù)界稱(chēng)其為Brain-like Computing。
廣義的類(lèi)腦計(jì)算則是在借鑒腦的結(jié)構(gòu)和工作原理的同時(shí),又不局限于對(duì)腦的模擬,還會(huì)融合傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò) (ANN)等具有更多類(lèi)腦特征的異構(gòu)神經(jīng)網(wǎng)絡(luò),學(xué)術(shù)界稱(chēng)其為Brain-inspired Computing。
相比于深度學(xué)習(xí)中的DNN,類(lèi)腦計(jì)算的研究主要圍繞SNN網(wǎng)絡(luò)展開(kāi)。
所謂SNN,全稱(chēng)脈沖神經(jīng)網(wǎng)絡(luò),是第三代人工神經(jīng)網(wǎng)絡(luò)。它以0/1脈沖序列表達(dá)信息流,編碼里包含了時(shí)間信息,與ANN最大的區(qū)別是具有時(shí)序性。
只有當(dāng)神經(jīng)元膜電壓積累到特定的電壓閾值時(shí)SNN的神經(jīng)元才會(huì)放電(發(fā)放脈沖),并不會(huì)在每個(gè)信息傳遞的周期都被激活。
下面是ANN網(wǎng)絡(luò)和SNN網(wǎng)絡(luò)的詳細(xì)對(duì)比:
目前,在業(yè)內(nèi)形成了四個(gè)影響較大的SNN模型,包括最接近生物神經(jīng)元的H-H(Hodgkin-Huxley)、使用最廣泛的LIF、結(jié)構(gòu)最簡(jiǎn)單的Izhikevich以及更具通用性的SRM。
BindsNET、Spyketorch等少數(shù)平臺(tái)可以支持大規(guī)模SNN的構(gòu)建與訓(xùn)練。
不過(guò),對(duì)于各種SNN模型,目前還沒(méi)有一個(gè)統(tǒng)一的訓(xùn)練算法,主流的至少包括三種:
以上的SNN模型和算法,再加上仿真框架以及數(shù)據(jù)集,就構(gòu)成了類(lèi)腦計(jì)算技術(shù)生態(tài)的軟件部分。
硬件生態(tài)部分則主要包括類(lèi)腦芯片和新型存儲(chǔ)器。
其中,類(lèi)腦芯片大致分為三類(lèi),包括:
- 支持脈沖神經(jīng)網(wǎng)絡(luò)的神經(jīng)形態(tài)芯片:TrueNorth、Loihi、達(dá)爾文芯片等;
- 支持人工&脈沖神經(jīng)網(wǎng)絡(luò)的異構(gòu)融合芯片:天機(jī)芯、Loihi2、領(lǐng)啟KA200;
- 支持神經(jīng)元編程的腦仿真平臺(tái):SpiNNaker、BrainScaleS、領(lǐng)啟KA200等。
新型存儲(chǔ)器主要指憶阻器,它結(jié)構(gòu)簡(jiǎn)單、集成密度高,理論上一個(gè)就可以實(shí)現(xiàn)神經(jīng)突觸的功能,可極大的提升突觸密度,是從硬件層面實(shí)現(xiàn)類(lèi)腦神經(jīng)網(wǎng)絡(luò)的高效方式之一。
熱門(mén)的研究方向集中在RRAM(阻變憶阻材料)和MRAM(磁性憶阻材料),其中已有公司在做RRAM的商業(yè)落地。
從科研進(jìn)展上來(lái)看,歐美國(guó)家在整體上具有先發(fā)優(yōu)勢(shì)。
類(lèi)腦計(jì)算這個(gè)概念最早是在上世紀(jì)80年代,由一個(gè)叫做Cuver Mead的美國(guó)科學(xué)家提出。
1995年,瑞士蘇黎世聯(lián)邦理工學(xué)院和蘇黎世大學(xué)率先聯(lián)合成立神經(jīng)信息研究所(INI),正式開(kāi)創(chuàng)了類(lèi)腦計(jì)算相關(guān)研究的先河。
到了2004年左右,這項(xiàng)技術(shù)就開(kāi)始得到了IBM、曼徹斯特大學(xué)等多所知名機(jī)構(gòu)的正式“青睞”。
隨后,越來(lái)越多的成員加入該隊(duì)列。
總的來(lái)看,國(guó)外主要以IBM、英特爾、德國(guó)海德堡大學(xué)、曼徹斯特大學(xué)等為代表,成果包括以下這些:
國(guó)內(nèi)類(lèi)腦計(jì)算的研究始于2014年左右,以清華大學(xué)、浙江大學(xué)、中科院等為代表,主要成果包括異構(gòu)(SNN+ANN)融合的“天機(jī)”芯、達(dá)爾文芯片以及該芯片組成的類(lèi)腦計(jì)算機(jī)等。
據(jù)業(yè)內(nèi)人士分析,整體來(lái)看,類(lèi)腦智能的發(fā)展將會(huì)經(jīng)歷運(yùn)算智能-感知智能-認(rèn)知智能-自主智能四個(gè)階段,每個(gè)階段對(duì)應(yīng)的應(yīng)用價(jià)值都有所不同:
運(yùn)算智能階段的應(yīng)用主要集中于低功耗的移動(dòng)設(shè)備、可穿戴設(shè)備、IoT智能軟件和具備實(shí)時(shí)性的端側(cè)離線(xiàn)信息處理工具。
感知智能階段的應(yīng)用主要包括事件驅(qū)動(dòng)視覺(jué)傳感器、神經(jīng)擬態(tài)觸覺(jué)傳感器等,應(yīng)用場(chǎng)景分別包括手勢(shì)識(shí)別、汽車(chē)高速避障、工業(yè)視覺(jué)、機(jī)器人靈巧手等。
認(rèn)知-自主智能階段則會(huì)衍生出各種自適應(yīng)機(jī)器人,是很多類(lèi)腦公司想要實(shí)現(xiàn)的長(zhǎng)期目標(biāo)。
現(xiàn)在,類(lèi)腦智能正處在從運(yùn)算智能到感知智能的階段,除了前文提到的還沒(méi)有標(biāo)準(zhǔn)化算法的實(shí)現(xiàn)方式以外,還面臨以下4個(gè)研究難點(diǎn):
1、大腦信息處理的數(shù)學(xué)原理與計(jì)算模型并不完全清楚
神經(jīng)網(wǎng)絡(luò)架構(gòu)是類(lèi)腦研發(fā)的基礎(chǔ)。當(dāng)前遇到的問(wèn)題是網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、大小和確切性差異很大,尚不清楚網(wǎng)絡(luò)應(yīng)該建多大,以及必須有多少互連才能展示出更好的生物特性。
2、類(lèi)腦器件和材料需要新的技術(shù)突破
新型納米器件尚存在工藝穩(wěn)定性差、規(guī)?;y度高等問(wèn)題,類(lèi)腦系統(tǒng)需要數(shù)以百億的神經(jīng)元協(xié)同工作,而現(xiàn)有類(lèi)腦芯片硬件資源有限,難以實(shí)現(xiàn)大規(guī)模神經(jīng)元互連集成和神經(jīng)元脈沖信息高效實(shí)時(shí)傳輸。
3、沒(méi)有公認(rèn)的benchmark來(lái)衡量該領(lǐng)域的進(jìn)展情況
4、最后就是目前觀測(cè)大腦的手段單一。不過(guò)根據(jù)國(guó)內(nèi)學(xué)者預(yù)測(cè),人腦神經(jīng)網(wǎng)絡(luò)精細(xì)圖譜有望在20年內(nèi)完成。
盡管面臨的問(wèn)題還不少,但類(lèi)腦的商業(yè)化落地已經(jīng)在摸索中開(kāi)始并前進(jìn)了。
產(chǎn)業(yè)篇:全球已有3家實(shí)現(xiàn)量產(chǎn)
目前,類(lèi)腦智能的發(fā)展處于商業(yè)化前期的探索階段,相關(guān)類(lèi)腦創(chuàng)企融資輪次基本都處于A輪,但融資金額基本都在億元以上。
根據(jù)量子位智庫(kù)的調(diào)研,在現(xiàn)在這個(gè)階段,商業(yè)化公司瞄準(zhǔn)的均是端側(cè)/邊緣類(lèi)市場(chǎng), 其中主要有兩個(gè)方向:感知類(lèi)芯片和計(jì)算類(lèi)芯片。
整體來(lái)看,做類(lèi)腦計(jì)算(處理器)的公司要多于類(lèi)腦感知(傳感器)的公司。
國(guó)內(nèi)方面,約有10家相關(guān)創(chuàng)企,成立時(shí)間基本集中于2017年和2018年。
專(zhuān)注類(lèi)腦研究的公司和創(chuàng)新轉(zhuǎn)化平臺(tái)則有3-5家左右,代表玩家之一靈汐科技已在去年實(shí)現(xiàn)類(lèi)腦芯片(或產(chǎn)品)量產(chǎn),時(shí)識(shí)科技(前身為瑞士蘇黎世的aiCTX)也將在今年年底或明年實(shí)現(xiàn)量產(chǎn)出貨。
其中靈汐科技在成立年限上雖屬于創(chuàng)業(yè)公司范疇,但其研發(fā)早在2013年清華大學(xué)成立類(lèi)腦研究中心時(shí)便開(kāi)始。
國(guó)內(nèi)其他類(lèi)腦創(chuàng)企則包括下面這幾家(完整名單見(jiàn)報(bào)告):
海外方面,相關(guān)創(chuàng)業(yè)公司多集中于歐洲和美國(guó),公司數(shù)量略多于中國(guó)。
其中有不少和靈汐科技一樣,也是直接從相關(guān)大學(xué)或研究所的類(lèi)腦研究成果中孵化而來(lái)。
值得注意的是,國(guó)外出現(xiàn)了全球唯一一家上市的類(lèi)腦計(jì)算公司:成立于2014年的Brainchip。
不過(guò)它的股價(jià)長(zhǎng)期低迷,營(yíng)業(yè)收入也不夠可觀(去年?duì)I收僅160萬(wàn)美元)。
這可能與Brainchip的產(chǎn)品在性能上并沒(méi)有呈現(xiàn)出明顯優(yōu)勢(shì)有關(guān),也側(cè)面反應(yīng)出類(lèi)腦的商業(yè)價(jià)值在二級(jí)市場(chǎng)上可能受到爭(zhēng)議。
再來(lái)看生態(tài)建設(shè)的情況。
這方面基本還是大型半導(dǎo)體企業(yè)比如英特爾在做。
在國(guó)內(nèi),未出現(xiàn)大型公司主導(dǎo)類(lèi)腦計(jì)算研究的情況,但代表玩家靈汐科技在戰(zhàn)略目標(biāo)上與英特爾、SpiNNaker一致,希望成為新一代算力基礎(chǔ)設(shè)施提供商。
分析師將類(lèi)腦生態(tài)的上游總結(jié)為硬件制造商、IP授權(quán)方及類(lèi)腦公司的商業(yè)化伙伴(國(guó)內(nèi)的類(lèi)腦公司選擇的多為國(guó)產(chǎn)芯片制造商)。
中游劃分為類(lèi)腦研發(fā)機(jī)構(gòu)與商業(yè)化公司;下游則為類(lèi)腦當(dāng)前已經(jīng)展開(kāi)合作與布局的應(yīng)用領(lǐng)域。
最終形成如下的類(lèi)腦生態(tài)圖:
具體應(yīng)用場(chǎng)景上,目前的類(lèi)腦解決方案基本都是首先從低維度信息處理和高速視覺(jué)處理開(kāi)始,主要面向端側(cè)可穿戴設(shè)備、攝像頭和終端設(shè)備。
在此基礎(chǔ)上,未來(lái)將加入在復(fù)雜環(huán)境中的實(shí)時(shí)決策能力,對(duì)應(yīng)場(chǎng)景為無(wú)人機(jī)和自動(dòng)駕駛。
隨著類(lèi)腦技術(shù)(大規(guī)模并行計(jì)算、自主學(xué)習(xí)等)和類(lèi)腦產(chǎn)業(yè)的成熟,在更長(zhǎng)的維度上,類(lèi)腦的應(yīng)用場(chǎng)景將覆蓋數(shù)據(jù)中心以及自主機(jī)器人。
此外,類(lèi)腦芯片由于其低功耗的特征,非常適合人體植入(可植入式疾病治療)、腦機(jī)接口等應(yīng)用領(lǐng)域。
目前國(guó)內(nèi)外總共僅有3家左右實(shí)現(xiàn)類(lèi)腦產(chǎn)品的初步量產(chǎn),量子位智庫(kù)分析行業(yè)遇到的商業(yè)化阻礙主要包括以下幾方面:
首先對(duì)于創(chuàng)業(yè)公司來(lái)說(shuō),存在著客戶(hù)替換成本高的問(wèn)題。
因?yàn)樾酒袠I(yè)的發(fā)展是圍繞產(chǎn)品建立龐大生態(tài)的過(guò)程,類(lèi)腦在產(chǎn)品化過(guò)程中,由于其底層邏輯(高度仿腦)與現(xiàn)有計(jì)算機(jī)的邏輯存在根本差異,導(dǎo)致其融合過(guò)程的難度增加,相關(guān)客戶(hù)想要做替代的成本/難度將會(huì)非常高。
另外,類(lèi)腦的價(jià)值建立在多項(xiàng)基礎(chǔ)科學(xué)的突破和交叉融合之上,如新型器件需要材料的創(chuàng)新,算法的有效性建立在神經(jīng)科學(xué)的突破上,初創(chuàng)公司還缺乏相應(yīng)的資源和資金進(jìn)行創(chuàng)新。
其次,對(duì)于大型半導(dǎo)體公司來(lái)說(shuō),類(lèi)腦計(jì)算在一定程度與其現(xiàn)有核心業(yè)務(wù)之間存在競(jìng)爭(zhēng)關(guān)系。他們一般會(huì)等到前沿技術(shù)在市場(chǎng)上得到充分驗(yàn)證后,再進(jìn)行商業(yè)化。
而且對(duì)于一些公司來(lái)說(shuō),其研發(fā)投入來(lái)自國(guó)家或政府,而不是靠商業(yè)化盈利。在這種情況下其研發(fā)資金有充足保障,在投資方撤資前,這項(xiàng)技術(shù)通常不會(huì)將商業(yè)化納入考慮范圍,比如IBM的TrueNorth項(xiàng)目,其主要服務(wù)于美國(guó)軍方部門(mén)。
最后,從整體上來(lái)看,目前圍繞類(lèi)腦的研究人員和開(kāi)發(fā)者數(shù)量有限,這也是限制類(lèi)腦智能規(guī)模化發(fā)展的因素之一。
但盡管如此,分析師認(rèn)為,眼下類(lèi)腦計(jì)算還是存在著兩條非常有潛力的商業(yè)化路徑:
大規(guī)模并行計(jì)算硬件平臺(tái)(計(jì)算類(lèi))和基于事件驅(qū)動(dòng)特性的產(chǎn)品(傳感類(lèi))。
其中,后者是最有可能率先實(shí)現(xiàn)商業(yè)化落地的方向。
一方面因?yàn)槭录?qū)動(dòng)特性能夠解決 AI 細(xì)分市場(chǎng)當(dāng)前面臨的迫切問(wèn)題——能耗高;另一方面,事件驅(qū)動(dòng)的技術(shù)成熟度更高,已有公司開(kāi)發(fā)出完整的解決方案。