在開放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對各種「長尾問題」，如自動駕駛中面臨的突發(fā)危險(xiǎn)、出入隧道的劇烈光線變化、夜間強(qiáng)閃光干擾等。在這類任務(wù)上，傳統(tǒng)視覺感知芯片由于受到「功耗墻」和「帶寬墻」的限制，往往面臨失真、失效或高延遲的問題，嚴(yán)重影響系統(tǒng)的穩(wěn)定性和安全性。

為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計(jì)算研究中心聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。

5 月 30 日，該研究的論文《面向開放世界感知、具有互補(bǔ)通路的視覺芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》雜志封面。這是該團(tuán)隊(duì)繼 2019 年 8 月的類腦計(jì)算芯片「天機(jī)芯」后，第二次登上《自然》封面，標(biāo)志著國內(nèi)芯片領(lǐng)域在類腦計(jì)算和類腦感知兩個(gè)重要方向上均已取得基礎(chǔ)性突破。

5 月 30 日新一期《自然》雜志封面。

論文鏈接：https://www.nature.com/articles/s41586-024-07358-4

據(jù)介紹，新研究提出了一種受 HVS 多級特性啟發(fā)的互補(bǔ)感知范式，其借鑒人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機(jī)組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢互補(bǔ)、信息完備的視覺感知通路。

基于這一新范式，團(tuán)隊(duì)研制出了世界首款類腦互補(bǔ)視覺芯片「天眸芯」（Tianmouc），它可以在極低的帶寬（降低 90%）和功耗條件下，實(shí)現(xiàn)每秒 10000 幀的高速、10bit 的高精度、130dB 的高動態(tài)范圍視覺信息采集。它不僅突破了傳統(tǒng)視覺感知范式的性能瓶頸，而且能夠高效應(yīng)對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。

類腦互補(bǔ)視覺芯片「天眸芯」的測試系統(tǒng)。被處理的數(shù)據(jù)首先會傳輸?shù)?FPGA 版上，F(xiàn)PGA 板采集原始數(shù)據(jù)，然后通過 PCIe 傳輸?shù)街鳈C(jī)，主機(jī)再負(fù)責(zé)數(shù)據(jù)處理，以完成測試等任務(wù)。

基于「天眸芯」，清華團(tuán)隊(duì)自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺上進(jìn)行了性能驗(yàn)證。在多種極端場景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

天眸芯的成功無疑是智能感知芯片領(lǐng)域的一個(gè)重大突破。它不僅為新一代 AI 技術(shù)的發(fā)展提供了算力支持，更為自動駕駛、具身智能等重要應(yīng)用開辟了新的道路。清華大學(xué)表示，結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片天機(jī)芯、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累，天眸芯的加入將進(jìn)一步完善類腦智能生態(tài)，有力地推動人工通用智能的發(fā)展。

「天眸芯」互補(bǔ)視覺芯片設(shè)計(jì)

在物理傳感系統(tǒng)中，想實(shí)現(xiàn)互補(bǔ)傳感范式有幾個(gè)必須解決的挑戰(zhàn)。首先，設(shè)計(jì)像素陣列至關(guān)重要，這需要同時(shí)解析同一焦平面上相應(yīng)圖元的光電信息轉(zhuǎn)換。其次，兩條路徑的讀出架構(gòu)必須包含異構(gòu)構(gòu)建塊，這些構(gòu)建塊可以使用不同的數(shù)據(jù)分布和格式對電信息進(jìn)行編碼。

如圖 2 所示，「天眸芯」采用 90 nm CMOS 背照式技術(shù)制造，由兩個(gè)核心部分組成： 

• 用于將光學(xué)信息轉(zhuǎn)換為電信號的混合像素陣列；
• 用于構(gòu)建兩個(gè) CVP 的并行異構(gòu)讀出架構(gòu)。

受感光細(xì)胞的啟發(fā)，混合像素陣列包括錐體和桿體像素，具有不同的特性，如顏色、響應(yīng)模式、分辨率和靈敏度。這些像素可以將視覺信息解析為特定的顏色（紅色、綠色、藍(lán)色）和白色光譜，充當(dāng)顏色對立圖元。

研究團(tuán)隊(duì)對「天眸芯」的量子效率、動態(tài)范圍、響應(yīng)速度、功率和帶寬等性能指標(biāo)進(jìn)行了全面的評估。該芯片在 COP 和 AOP 中均表現(xiàn)出較高的量子效率，530 nm 最高可實(shí)現(xiàn) 72% 的 AOP 和 69% 的 COP。「天眸芯」通過利用互補(bǔ)的 COP 和 AOP 中不同增益模式的動態(tài)范圍來實(shí)現(xiàn)高動態(tài)范圍。

開放世界表現(xiàn)

「天眸芯」的互補(bǔ)感知范式為自動化系統(tǒng)提供了巨大的想象空間，它可以作為感知算法的優(yōu)質(zhì)數(shù)據(jù)源。為了在開放世界場景中評估這些能力，研究人員開發(fā)了一個(gè)集成「天眸芯」的汽車駕駛感知系統(tǒng)（圖 4a），以評估在開放道路上行駛，涉及各種極端情況，例如強(qiáng)光干擾、高動態(tài)范圍場景、域偏移問題（異常物體）和具有多個(gè)極端情況的復(fù)雜場景。

圖 4：開放世界感知實(shí)驗(yàn)。

為了利用天眸芯架構(gòu)的優(yōu)勢，作者設(shè)計(jì)了一種多路徑算法，專門用于利用 AOP 和 COP 的互補(bǔ)特性。在感知層面，圖元的完整性使得原始場景的重建和對極端照明的適應(yīng)成為可能。同時(shí)在感知層面，AOP 提供對變化、紋理和運(yùn)動的即時(shí)感知，而 COP 提供精細(xì)的語義細(xì)節(jié)。通過同步這些結(jié)果，我們可以讓 AI 系統(tǒng)全面了解場景。

圖 4b 所示的第一種場景評估了突然強(qiáng)光環(huán)境的感知能力，在光照快速變化的情況下，傳感器的魯棒性受到了考驗(yàn)。天眸芯對這種強(qiáng)光表現(xiàn)出了極強(qiáng)的適應(yīng)能力，同時(shí)在正常情況下也保持了較高的感知性能。對于實(shí)時(shí)高動態(tài)范圍感知（圖 4c），兩條通路的互補(bǔ)靈敏度使天眸芯能夠感知高亮度對比度而不會犧牲速度。

在感知層面，AOP 上的高速光流濾波器補(bǔ)充了異常檢測能力，其中 AOP-TD 和 AOP-SD 之間的協(xié)作可以精確計(jì)算運(yùn)動方向和速度以識別異常（圖 4d）。圖 4e 顯示了自然光照昏暗、交通環(huán)境混亂、人造光突然干擾的復(fù)雜場景，需要在采樣速度、分辨率和動態(tài)范圍方面具有不同的感知能力。CVP 上的算法提供了互補(bǔ)和多樣化的結(jié)果，為這些場景中的進(jìn)一步?jīng)Q策提供了充足的空間。

根據(jù) mAP_0.50（平均精度），與圖 4 中所有情況下僅使用單一路徑相比，CVP 具有更優(yōu)的整體檢測性能。值得注意的是，它在實(shí)現(xiàn)這一目標(biāo)的同時(shí)消耗了不到 80 MB s^(-1) 的帶寬和 328 mW 的平均功耗。實(shí)驗(yàn)結(jié)果表明，天眸芯可以有效適應(yīng)極端光環(huán)境并提供領(lǐng)域不變的多級感知能力。

天眸芯擅長捕捉復(fù)雜的認(rèn)知細(xì)節(jié)，同時(shí)可對快速不可預(yù)測的突發(fā)情況和運(yùn)動作出響應(yīng)。它提供高速、高動態(tài)范圍和高精度，同時(shí)保持了自適應(yīng)低帶寬的特性。同樣重要的是，它的高可擴(kuò)展性允許通過先進(jìn)的制造工藝實(shí)現(xiàn)高級空間分辨率，從而促進(jìn)具有低功耗和帶寬要求的分辨率敏感應(yīng)用。作者認(rèn)為，新的范式為開發(fā)用于開放世界應(yīng)用的先進(jìn)計(jì)算機(jī)視覺理論、算法和系統(tǒng)開辟了一條新途徑。

該工作的論文通訊作者為清華大學(xué)精密儀器系施路平教授和趙蓉教授，此外精密儀器系楊哲宇博士（現(xiàn)北京靈汐科技有限公司研發(fā)經(jīng)理）、精密儀器系 2020 級博士生王韜毅、林逸晗為論文共同第一作者。