團(tuán)隊(duì)信息：這一工作由上海交大先進(jìn)計(jì)算機(jī)體系結(jié)構(gòu)實(shí)驗(yàn)室蔣力教授和劉方鑫助理教授所在課題組（IMPACT）完成，同時(shí)也獲得了上海期智研究院的支持。第一作者是博士生汪宗武。

會(huì)議介紹

MICRO 全稱 IEEE/ACM International Symposium on Microarchitecture，與 ISCA、HPCA、ASPLOS 并稱為體系結(jié)構(gòu)「四大頂會(huì)」，囊括了當(dāng)年最先進(jìn)的體系結(jié)構(gòu)成果，被視作國際前沿體系結(jié)構(gòu)研究的風(fēng)向標(biāo)，見證了諸多突破性成果的首次亮相，包括谷歌、英特爾、英偉達(dá)等企業(yè)在半導(dǎo)體領(lǐng)域的多項(xiàng)技術(shù)創(chuàng)新。本次會(huì)議共收到投稿 497 篇，收錄文章 113 篇，錄取率為 22%。

近年來，類腦計(jì)算在人工智能領(lǐng)域迅速崛起，尤其是脈沖神經(jīng)網(wǎng)絡(luò)（SNN）的出現(xiàn)，為低能耗、高效能計(jì)算提供了新的可能。然而，現(xiàn)有的脈沖神經(jīng)網(wǎng)絡(luò)在追求高準(zhǔn)確性的同時(shí)，往往會(huì)增加能量消耗和計(jì)算延遲，這使得其在邊緣設(shè)備上的應(yīng)用面臨諸多挑戰(zhàn)。為解決這一問題，最新研究提出了一種基于 SRAM 的存內(nèi)計(jì)算（CIM）架構(gòu) ——COMPASS，為 SNN 在硬件加速器上的高效部署提供了全新方案。

類腦計(jì)算的挑戰(zhàn)與突破

傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)（DNN）已經(jīng)在計(jì)算機(jī)視覺、自然語言處理和語音識(shí)別等領(lǐng)域取得了卓越的成果，但其對(duì)計(jì)算資源的巨大需求使其在能量效率方面的表現(xiàn)不盡如人意。相比之下，SNN 利用二進(jìn)制脈沖事件代替連續(xù)激活值，以事件驅(qū)動(dòng)的信息處理方式顯著降低了計(jì)算需求。然而，SNN 的優(yōu)勢在高時(shí)效性任務(wù)中變得性能低下，這也給 SNN 的硬件實(shí)現(xiàn)提出了新的挑戰(zhàn)：如何在保持高能效的同時(shí)，減少計(jì)算延遲和內(nèi)存占用？

為應(yīng)對(duì)這些挑戰(zhàn)，論文提出的 COMPASS 架構(gòu)創(chuàng)新性地利用了輸入脈沖的顯式稀疏性和輸出脈沖的隱式稀疏性。通過引入動(dòng)態(tài)脈沖模式的推測機(jī)制，該架構(gòu)不僅顯著減少了冗余計(jì)算，還優(yōu)化了硬件資源的利用效率。此外，COMPASS 還設(shè)計(jì)了一種適用于輸入和輸出脈沖的時(shí)間維度壓縮技術(shù)，進(jìn)一步降低了內(nèi)存占用，實(shí)現(xiàn)了高效的并行執(zhí)行。

創(chuàng)新架構(gòu)的技術(shù)細(xì)節(jié)

COMPASS 架構(gòu)的核心在于其基于 SRAM 的存內(nèi)架構(gòu)的高稀疏性利用。傳統(tǒng)的 CIM 架構(gòu)面臨的一個(gè)主要挑戰(zhàn)是脈沖的不規(guī)則性和時(shí)間依賴性，這使得高并行架構(gòu)中高效利用脈沖稀疏性變得困難。為了克服這些挑戰(zhàn)，研究團(tuán)隊(duì)提出了 COMPASS 架構(gòu)。這一架構(gòu)基于 SRAM 的 CIM 技術(shù)，旨在通過高效利用輸入脈沖（顯式）和輸出脈沖（隱式）中的不規(guī)則稀疏性，來顯著提高 SNNs 的計(jì)算效率。

COMPASS 利用 SNN 的脈沖稀疏性設(shè)計(jì)了動(dòng)態(tài)脈沖投機(jī)模式，實(shí)現(xiàn)了對(duì)推理延遲的對(duì)數(shù)時(shí)間步壓縮，從而減少了冗余計(jì)算，并降低了硬件開銷。為了充分發(fā)揮 CIM 架構(gòu)的并行計(jì)算能力，COMPASS 架構(gòu)還通過引入自適應(yīng)投機(jī)窗口調(diào)度和時(shí)間脈沖稀疏表示，優(yōu)化了輸入和輸出脈沖的處理流程，進(jìn)一步降低了內(nèi)存占用，實(shí)現(xiàn)了并行執(zhí)行。

性能評(píng)估與結(jié)果

表一：COMPASS 的計(jì)算和存儲(chǔ)資源與基線硬件對(duì)比

COMPASS 架構(gòu)的性能評(píng)估結(jié)果令人矚目。與現(xiàn)有的 SNN 加速器硬件實(shí)現(xiàn)相比，COMPASS 在端到端加速方面實(shí)現(xiàn)了 24.4 倍的提升，同時(shí)每次推理的能耗降低了 386.7 倍。這一結(jié)果不僅證明了 COMPASS 架構(gòu)在處理 SNN 任務(wù)中的優(yōu)越性，也展示了其在實(shí)際應(yīng)用中的巨大潛力。

研究團(tuán)隊(duì)通過一系列實(shí)驗(yàn)對(duì) COMPASS 的性能進(jìn)行了詳盡的分析。在與傳統(tǒng) DNN 和其他 SNN 模型的對(duì)比中，COMPASS 表現(xiàn)出了顯著的性能優(yōu)勢，尤其是在處理復(fù)雜任務(wù)時(shí)，COMPASS 的低能耗特性尤為突出。這一成果表明，COMPASS 架構(gòu)在實(shí)現(xiàn)高效、低能耗計(jì)算方面具有廣闊的應(yīng)用前景。

圖 1：(a) 吞吐量和 (b) 能源效率的性能比較。由于稀疏性利用率低，PTB-CIM 表現(xiàn)出與 Strawman 方案（沒有利用稀疏性）相當(dāng)?shù)男阅埽?COMPASS 在所有基準(zhǔn)測試中都提高了吞吐量和能源效率。

前景展望

隨著人工智能應(yīng)用場景的不斷擴(kuò)展，尤其是在邊緣計(jì)算設(shè)備中的應(yīng)用，能效比成為衡量算法和硬件設(shè)計(jì)的重要指標(biāo)。COMPASS 架構(gòu)的提出為這一問題提供了全新的解決方案。未來，該架構(gòu)有望在更多的實(shí)際場景中得到應(yīng)用，包括物聯(lián)網(wǎng)設(shè)備、自動(dòng)駕駛、智能機(jī)器人等領(lǐng)域。

展望未來，研究團(tuán)隊(duì)計(jì)劃進(jìn)一步優(yōu)化 COMPASS 架構(gòu)，使其在更多的 SNN 模型上實(shí)現(xiàn)高效部署。同時(shí)，隨著 SRAM 技術(shù)的不斷發(fā)展，COMPASS 有望進(jìn)一步降低能耗，并在更大規(guī)模的應(yīng)用中發(fā)揮其獨(dú)特優(yōu)勢。這一創(chuàng)新成果不僅為類腦計(jì)算的研究提供了新的思路，也為未來低能耗人工智能的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。

結(jié)語

COMPASS 架構(gòu)的成功研發(fā)標(biāo)志著類腦計(jì)算邁出了關(guān)鍵性的一步。通過高效利用脈沖稀疏性和時(shí)間壓縮技術(shù)，COMPASS 不僅克服了傳統(tǒng) SNN 硬件實(shí)現(xiàn)的瓶頸，還為未來智能設(shè)備的低能耗計(jì)算提供了強(qiáng)有力的支持。在人工智能領(lǐng)域快速發(fā)展的今天，這一突破性的創(chuàng)新無疑將對(duì)未來計(jì)算架構(gòu)的發(fā)展產(chǎn)生深遠(yuǎn)影響。

論文信息：Zongwu Wang, Fangxin Liu*, Ning Yang, Shiyuan Huang, Haomin Li and Li Jiang*. COMPASS: SRAM-Based Computing-in-Memory SNN Accelerator with  Adaptive Spike Speculation. Proceedings of the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO'24). November 2024.（標(biāo) * 為通信作者）