當前主流的AI芯片主要分為三類，GPU、FPGA、ASIC。GPU、FPGA均是前期較為成熟的芯片架構(gòu)，屬于通用型芯片。ASIC屬于為AI特定場景定制的芯片。行業(yè)內(nèi)已經(jīng)確認CPU不適用于AI計算，但是在AI應用領(lǐng)域也是必不可少。 

GPU方案

GPU與CPU的架構(gòu)對比

CPU遵循的是馮·諾依曼架構(gòu)，其核心是存儲程序/數(shù)據(jù)、串行順序執(zhí)行。因此CPU的架構(gòu)中需要大量的空間去放置存儲單元（Cache）和控制單元（Control），相比之下計算單元（ALU）只占據(jù)了很小的一部分，所以CPU在進行大規(guī)模并行計算方面受到限制，相對而言更擅長于處理邏輯控制。

GPU（GraphicsProcessing Unit），即圖形處理器，是一種由大量運算單元組成的大規(guī)模并行計算架構(gòu)，早先由CPU中分出來專門用于處理圖像并行計算數(shù)據(jù)，專為同時處理多重并行計算任務而設計。GPU中也包含基本的計算單元、控制單元和存儲單元，但GPU的架構(gòu)與CPU有很大不同，其架構(gòu)圖如下所示。

與CPU相比，CPU芯片空間的不到20%是ALU，而GPU芯片空間的80%以上是ALU。即GPU擁有更多的ALU用于數(shù)據(jù)并行處理。

GPU與CPU區(qū)別

CPU由專為順序串行處理而優(yōu)化的幾個核心組成，而GPU則擁有一個由數(shù)以千計的更小、更高效的核心組成的大規(guī)模并行計算架構(gòu)，這些更小的核心專為同時處理多重任務而設計。 

CPU和GPU之所以大不相同，是由于其設計目標的不同，它們分別針對了兩種不同的應用場景。CPU需要很強的通用性來處理各種不同的數(shù)據(jù)類型，同時又要邏輯判斷又會引入大量的分支跳轉(zhuǎn)和中斷的處理。這些都使得CPU的內(nèi)部結(jié)構(gòu)異常復雜。而GPU面對的則是類型高度統(tǒng)一的、相互無依賴的大規(guī)模數(shù)據(jù)和不需要被打斷的純凈的計算環(huán)境。

GPU加速技術(shù)簡述

對于深度學習來說，目前硬件加速主要靠使用圖形處理單元。相比傳統(tǒng)的CPU，GPU的核心計算能力要多出幾個數(shù)量級，也更容易進行并行計算。

GPU的眾核體系結(jié)構(gòu)包含幾千個流處理器，可將運算并行化執(zhí)行，大幅縮短模型的運算時間。隨著NVIDIA、AMD等公司不斷推進其GPU的大規(guī)模并行架構(gòu)支持，面向通用計算的GPU已成為加速并行應用程序的重要手段。

目前GPU已經(jīng)發(fā)展到了較為成熟的階段。利用GPU來訓練深度神經(jīng)網(wǎng)絡，可以充分發(fā)揮其數(shù)以千計計算核心的高效并行計算能力，在使用海量訓練數(shù)據(jù)的場景下，所耗費的時間大幅縮短，占用的服務器也更少。如果針對適當?shù)纳疃壬窠?jīng)網(wǎng)絡進行合理優(yōu)化，一塊GPU卡可相當于數(shù)十甚至上百臺CPU服務器的計算能力，因此GPU已經(jīng)成為業(yè)界在深度學習模型訓練方面的首選解決方案。

當訓練的模型規(guī)模比較大時，可以通過數(shù)據(jù)并行的方法來加速模型的訓練，數(shù)據(jù)并行可以對訓練數(shù)據(jù)做切分，同時采用多個模型實例對多個分塊的數(shù)據(jù)同時進行訓練。在數(shù)據(jù)并行的實現(xiàn)中，由于是采用同樣的模型、不同的數(shù)據(jù)進行訓練，影響模型性能的瓶頸在于多CPU或多GPU間的參數(shù)交換。根據(jù)參數(shù)更新公式，需要將所有模型計算出的梯度提交到參數(shù)服務器并更新到相應參數(shù)上，所以數(shù)據(jù)片的劃分以及與參數(shù)服務器的帶寬可能會成為限制數(shù)據(jù)并行效率的瓶頸。 

除了數(shù)據(jù)并行，還可以采用模型并行的方式來加速模型的訓練。模型并行是指將大的模型拆分成幾個分片，由若干個訓練單元分別持有，各個訓練單元相互協(xié)作共同完成大模型的訓練。

GPU加速計算

GPU加速計算是指同時利用圖形處理器 (GPU) 和CPU，加快科學、分析、工程、消費和企業(yè)應用程序的運行速度。GPU加速器于2007年由NVIDIA率先推出，現(xiàn)已在世界各地為政府實驗室、高校、公司以及中小型企業(yè)的高能效數(shù)據(jù)中心提供支持。GPU能夠使從汽車、手機和平板電腦到無人機和機器人等平臺的應用程序加速運行。

GPU加速計算可以提供非凡的應用程序性能，能將應用程序計算密集部分的工作負載轉(zhuǎn)移到GPU，同時仍由CPU運行其余程序代碼。從用戶的角度來看，應用程序的運行速度明顯加快。

GPU當前只是單純的并行矩陣的乘法和加法運算，對于神經(jīng)網(wǎng)絡模型的構(gòu)建和數(shù)據(jù)流的傳遞還是在CPU上進行。CPU與GPU的交互流程：獲取GPU信息，配置GPU id、加載神經(jīng)元參數(shù)到GPU、GPU加速神經(jīng)網(wǎng)絡計算、接收GPU計算結(jié)果。

為什么GPU在自動駕駛領(lǐng)域如此重要

自動駕駛技術(shù)中最重要的技術(shù)范疇之一是深度學習，基于深度學習架構(gòu)的人工智能如今已被廣泛應用于計算機視覺、自然語言處理、傳感器融合、目標識別、自動駕駛等汽車行業(yè)的各個領(lǐng)域，從自動駕駛初創(chuàng)企業(yè)、互聯(lián)網(wǎng)公司到各大OEM廠商，都正在積極探索通過利用GPU構(gòu)建神經(jīng)網(wǎng)絡實現(xiàn)最終的自動駕駛。 

GPU加速計算誕生后，它為企業(yè)數(shù)據(jù)提供了多核并行計算架構(gòu)，支撐了以往CPU架構(gòu)無法處理的數(shù)據(jù)源。根據(jù)對比，為了完成相同的深度學習訓練任務，使用GPU計算集群所需要的成本只是CPU計算集群的200分之一。

GPU是自動駕駛與深度學習的關(guān)鍵 

無論是讓汽車實時感知周邊實時環(huán)境，還是迅速規(guī)劃行車路線和動作，這些都需要依賴汽車大腦快速的響應，因此對計算機硬件廠商提出了巨大挑戰(zhàn)，自動駕駛的過程中時刻需要深度學習或者人工智能算法應對無限可能的狀況,而人工智能、深度學習和無人駕駛的蓬勃發(fā)展，帶來了GPU計算發(fā)展的黃金時代。 

GPU的另一個重要參數(shù)是浮點計算能力。浮點計數(shù)是利用浮動小數(shù)點的方式使用不同長度的二進制來表示一個數(shù)字，與之對應的是定點數(shù)。在自動駕駛算法迭代時對精度要求較高，需要浮點運算支持。

FPGA方案

FPGA芯片定義及結(jié)構(gòu) 

FPGA（Field-Programmable Gate Array），即現(xiàn)場可編程門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎上進一步發(fā)展的產(chǎn)物。它是作為專用集成電路領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點。

FPGA芯片主要由6部分完成，分別為：可編程輸入輸出單元、基本可編程邏輯單元、完整的時鐘管理、嵌入塊式RAM、豐富的布線資源、內(nèi)嵌的底層功能單元和內(nèi)嵌專用硬件模塊。目前主流的FPGA仍是基于查找表技術(shù)的，已經(jīng)遠遠超出了先前版本的基本性能，并且整合了常用功能（如RAM、時鐘管理和DSP）的硬核（ASIC型）模塊。

FPGA工作原理

由于FPGA需要被反復燒寫，它實現(xiàn)組合邏輯的基本結(jié)構(gòu)不可能像ASIC那樣通過固定的與非門來完成，而只能采用一種易于反復配置的結(jié)構(gòu)。查找表可以很好地滿足這一要求，目前主流FPGA都采用了基于SRAM工藝的查找表結(jié)構(gòu)，也有一些軍品和宇航級FPGA采用Flash或者熔絲與反熔絲工藝的查找表結(jié)構(gòu)。通過燒寫文件改變查找表內(nèi)容的方法來實現(xiàn)對FPGA的重復配置。

查找表（Look-Up-Table）簡稱為LUT，LUT本質(zhì)上就是一個RAM。目前FPGA中多使用4輸入的LUT，所以每一個LUT可以看成一個有4位地址線的RAM。當用戶通過原理圖或HDL語言描述了一個邏輯電路以后，PLD/FPGA開發(fā)軟件會自動計算邏輯電路的所有可能結(jié)果，并把真值表（即結(jié)果）事先寫入RAM，這樣，每輸入一個信號進行邏輯運算就等于輸入一個地址進行查表，找出地址對應的內(nèi)容，然后輸出即可。

可編程輸入/輸出單元簡稱I/O單元，是芯片與外界電路的接口部分，完成不同電氣特性下對輸入/輸出信號的驅(qū)動與匹配要求。FPGA內(nèi)的I/O按組分類，每組都能夠獨立地支持不同的I/O標準。通過軟件的靈活配置，可適配不同的電氣標準與 I/O物理特性，可以調(diào)整驅(qū)動電流的大小，可以改變上、下拉電阻。目前，I/O口的頻率也越來越高，一些高端的FPGA通過DDR寄存器技術(shù)可以支持高達2Gbps的數(shù)據(jù)速率。

CLB是FPGA內(nèi)的基本邏輯單元。CLB的實際數(shù)量和特性會依器件的不同而不同，但是每個CLB都包含一個可配置開關(guān)矩陣，此矩陣由4或6個輸入、一些選型電路（多路復用器等）和觸發(fā)器組成。開關(guān)矩陣是高度靈活的，可以對其進行配置以便處理組合邏輯、移位寄存器或RAM。在Xilinx公司的FPGA器件中，CLB由多個（一般為4個或2個）相同的Slice和附加邏輯構(gòu)成。每個CLB模塊不僅可以用于實現(xiàn)組合邏輯、時序邏輯，還可以配置為分布式RAM和分布式ROM。

自動駕駛的“芯”殺手

自動駕駛和高級駕駛輔助系統(tǒng)(ADAS)細分市場正在經(jīng)歷蛻變，對計算和傳感器功能提出了新的復雜需求。FPGA擁有其他芯片解決方案無法比擬的獨特優(yōu)勢，是滿足自動駕駛行業(yè)不斷發(fā)展變化的優(yōu)良選擇。FPGA是芯片領(lǐng)域的一種特殊技術(shù)，一方面能夠通過軟件工具進行反復多次配置，另一方面擁有豐富的IO接口和計算單元。因此，F(xiàn)PGA能夠根據(jù)應用場景的具體需求，同時處理流水線并行和數(shù)據(jù)并行，天生具有計算性能高、延遲低、功耗小等優(yōu)勢。 

FPGA具備高吞吐量、高能效以及實時處理等多項優(yōu)點，非常契合自動駕駛所需要的技術(shù)需求。高級輔助駕駛系統(tǒng)(ADAS)、車載體驗(IVE)應用的標準和要求正在快速演變，系統(tǒng)設計人員關(guān)注的問題主要包括出色的靈活性和更快的開發(fā)周期，同時維持更高的性能功耗比。通過可重新編程的FPGA和不斷增多的汽車級產(chǎn)品相結(jié)合，支持汽車設計師滿足設計要求，在不斷變化的汽車行業(yè)中始終保持領(lǐng)先。

適應性更強的平臺

對于自動駕駛芯片來說真正的價值在于計算引擎的利用率，即理論性能和實際性能之間的差異。FPGA包含大量的路由鏈路以及大量的小型存儲。這些資源的組合使設計人員能夠為其計算引擎創(chuàng)建定制的數(shù)據(jù)饋送網(wǎng)絡，以獲得更高的利用水平?？删幊踢壿嫗榭蛻籼峁┝烁叨鹊撵`活性，以適應ADAS和自動駕駛等新興應用領(lǐng)域不斷變化的需求。利用改進的接口標準、算法創(chuàng)新和新的傳感器技術(shù)，都需要適應性強的平臺，不僅可以支持軟件更改，還可以支持硬件更改，而這正是FPGA芯片的優(yōu)勢所在。

FPGA芯片擁有可擴展性?？赏卣沟男酒淖兞丝删幊踢壿嫷臄?shù)量，大多采用引腳兼容的封裝。這意味著開發(fā)人員可以創(chuàng)建單個ECU平臺來承載低、中、高版本的ADAS功能包，并根據(jù)需要通過選擇所需的最小密度芯片來縮放成本。

差異化解決方案

FPGA芯片允許開發(fā)人員創(chuàng)建獨特的差異化處理解決方案，這些解決方案可以針對特定應用或傳感器進行優(yōu)化。這對于ASSP芯片來說是無法實現(xiàn)的，即使是那些提供專用加速器的芯片，它們的使用方式也受到限制，而且基本上可以提供給所有競爭對手。例如Xilinx的長期客戶已經(jīng)創(chuàng)建了只有他們可以訪問的高價值IP庫，并且這些功能可以被公司的各種產(chǎn)品使用。從90nm節(jié)點開始，對于大批量汽車應用，Xilinx的芯片就已經(jīng)極具成本效益，有超過1.6億顆Xilinx芯片在該行業(yè)獲得應用。

ASIC方案

ASIC定義及特點

ASIC芯片可根據(jù)終端功能不同分為TPU芯片、DPU芯片和NPU芯片等。其中，TPU為張量處理器，專用于機器學習。如Google于2016年5月研發(fā)針對Tensorflow平臺的可編程AI加速器，其內(nèi)部指令集在Tensorflow程序變化或更新算法時可運行。DPU即Data Processing Unit，可為數(shù)據(jù)中心等計算場景提供引擎。NPU是神經(jīng)網(wǎng)絡處理器，在電路層模擬人類神經(jīng)元和突觸，并用深度學習指令集直接處理大規(guī)模電子神經(jīng)元和突觸數(shù)據(jù)。 

ASIC有全定制和半定制兩種設計方式。全定制依靠巨大的人力時間成本投入以完全自主的方式完成整個集成電路的設計流程，雖然比半定制的ASIC更為靈活性能更好，但它的開發(fā)效率與半定制相比甚為低下。

性能提升明顯

ASIC芯片非常適合人工智能的應用場景。例如英偉達首款專門為深度學習從零開始設計的芯片Tesla P100數(shù)據(jù)處理速度 是其2014年推出GPU系列的12倍。谷歌為機器學習定制的芯片TPU將硬件性能提升至相當于當前芯片按摩爾定律發(fā)展 7 年后的水平。正如CPU改變了當年龐大的計算機一樣，人工智能ASIC芯片也將大幅改變?nèi)缃馎I硬件設備的面貌。如大 名鼎鼎的AlphaGo使用了約170個圖形處理器（GPU）和1200個中央處理器（CPU），這些設備需要占用一個機房，還要配備大功率的空調(diào)，以及多名專家進行系統(tǒng)維護。而如果全部使用專用芯片，極大可能只需要一個普通收納盒大小的空間，且功耗也會大幅降低。

ASIC技術(shù)路線是有限開放，芯片公司需要面向與駕駛相關(guān)的主流網(wǎng)絡、模型、算子進行開發(fā)。在相同性能下，芯片的面積更小、成本更低、功耗更低。ASIC技術(shù)路線未來的潛力會很大，選擇ASIC路線并不意味著要對不同車型開發(fā)不同的ASIC，或進行不同的驗證。因為不同車型需要實現(xiàn)的功能大致相同，而且芯片面對模型和算子進行有限開放，算法快速迭代不會影響到芯片對上層功能的支持。車廠與芯片設計公司合作，進行差異化定制，或是更好的選擇。因為即使是進行差異化的定制，芯片內(nèi)部50%的部分也是通用的。芯片設計公司可以在原有版本的基礎上進行差異化設計，實現(xiàn)部分差異功能。

主流架構(gòu)方案對比：三種主流架構(gòu) 

FPGA是在PAL、GAL等可編程器件的基礎上進一步發(fā)展的產(chǎn)物。它是作為專用集成電路領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點。優(yōu)點：可以無限次編程，延時性比較低，同時擁有流水線并行和數(shù)據(jù)并行、實時性最強、靈活性最高。缺點：開發(fā)難度大、只適合定點運算、價格比較昂貴。 

圖形處理器（GPU），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板、手機等）上做圖像和圖形相關(guān)運算工作的微處理器。優(yōu)點：提供了多核并行計算的基礎結(jié)構(gòu)，且核心數(shù)非 常多，可以支撐大量數(shù)據(jù)的并行計算，擁有更高的浮點運算能力。缺點：管理控制能力（最弱），功耗（最高）。 

ASIC，即專用集成電路，指應特定用戶要求和特定電子系統(tǒng)的需要而設計、制造的集成電路。目前用CPLD（復雜可編程 邏輯器件）和FPGA（現(xiàn)場可編程邏輯陣列）來進行ASIC設計是最為流行的方式之一。優(yōu)點:它作為集成電路技術(shù)與特定用 戶的整機或系統(tǒng)技術(shù)緊密結(jié)合的產(chǎn)物，與通用集成電路相比具有體積更小、重量更輕、功耗更低、可靠性提高、性能提高、保密性增強、成本降低等優(yōu)點。缺點：靈活性不夠，成本比FPGA貴。

唯算力論的局限：TOPS算力不完全等于實際性能 

隨著ADAS、自動駕駛技術(shù)的興起，以及軟件定義汽車的逐步深入，智能汽車對于計算能力和海量數(shù)據(jù)處理能力等的需求暴增，傳統(tǒng)汽車的芯片“堆疊”方案已經(jīng)無法滿足自動駕駛的算力需求。芯片最終是為車企的車載計算平臺服務的，在 “軟件定義汽車”的情況下，解決智能駕駛系統(tǒng)計算平臺的支撐問題，無法只通過芯片算力堆疊來實現(xiàn)。

芯片是軟件的舞臺，衡量芯片優(yōu)劣的標準，要看芯片之上的軟件能否最大化地發(fā)揮作用，算力和軟件之間需要有效匹配。兩款相同算力的芯片比較，能讓軟件運行得更高效的芯片才是“好芯片”。決定算力真實值最主要因素是內(nèi)存（ SRAM和 DRAM)帶寬，還有實際運行頻率（即供電電壓或溫度），以及算法的batch尺寸。

單顆芯片算力TOPS是關(guān)鍵指標，但并非唯一，自動駕駛是一個復雜系統(tǒng)，需要車路云邊協(xié)同。所以它的較量除了芯還有軟硬協(xié)同還有平臺以及工具鏈等等。芯片算力的無限膨脹和硬件預埋不會是未來的趨勢，硬件也需要匹配實際。高背后是高功耗和低利用率的問題。

事件相機簡介

簡介及工作機制

事件相機的靈感來自人眼和動物的視覺，也有人稱之為硅視網(wǎng)膜。生物的視覺只針 對有變化的區(qū)域才敏感，事件相機就是捕捉事件的產(chǎn)生或者變化的產(chǎn)生。、

在傳統(tǒng)的視覺領(lǐng)域，相機傳回的信息是同步的，所謂同步，就是在某一時刻t，相機會進行曝光，把這一時刻所有的像素填在一個矩陣里回傳，產(chǎn)生一張照片。一張照 片上所有的像素都對應著同一時刻。至于視頻，不過是很多幀的圖片，相鄰圖片間 的時間間隔可大可小，這便是幀率（frame rate），也稱為時延（time latency）。事件相機類似于人類的大腦和眼睛，跳過不相關(guān)的背景，直接感知一個場景的核心， 創(chuàng)建純事件而非數(shù)據(jù)。 

事件相機的工作機制是，當某個像素所處位置的亮度發(fā)生變化達到一定閾值時，相機就會回傳一個上述格式的事件，其中前兩項為事件的像素坐標，第三項為事件發(fā) 生的時間戳，最后一項取值為極性（polarity）0、1（或者-1、1），代表亮度是由低到高還是由高到低。 

就這樣，在整個相機視野內(nèi)，只要有一個像素值變化，就會回傳一個事件，這些所有的事件都是異步發(fā)生的（再小的時間間隔也不可能完全同時），所以事件的時間 戳均不相同，由于回傳簡單，所以和傳統(tǒng)相機相比，它具有低時延的特性，可以捕獲很短時間間隔內(nèi)的像素變化，延遲是微秒級的。

在自動駕駛領(lǐng)域的應用

當今自動駕駛領(lǐng)域所運用的視覺識別算法，基本上都基于卷積神經(jīng)網(wǎng)絡，視覺算法的運算本質(zhì)上是一次次的卷積運算。這種計算并不復雜，本質(zhì)上只涉及到加減乘除，也就是一種乘積累加運算。但這種簡單運算在卷積神經(jīng)網(wǎng)絡中是大量存在的，這就對處理器的性能提出了很高的要求。

以ResNet-152為例，這是一個152層的卷積神經(jīng)網(wǎng)絡，它處理一張224*224大小的圖像所需的計算量大約是226億次，如果 這個網(wǎng)絡要處理一個1080P的30幀的攝像頭，他所需要的算力則高達每秒33萬億次，十分龐大。

通過減少無效計算節(jié)約算力 

自動駕駛領(lǐng)域99%的視覺數(shù)據(jù)在AI處理中是無用的背景。例如檢測鬼探頭，變化的區(qū)域是很小一部分，但傳統(tǒng)的視覺處理 仍然要處理99%的沒有出現(xiàn)變化的背景區(qū)域，這不僅浪費了大量的算力，也浪費了時間。亦或者像在沙礫里有顆鉆石，AI芯片和傳統(tǒng)相機需要識別每一顆沙粒，篩選出鉆石，但人類只需要看一眼就能檢測到鉆石，AI芯片和傳統(tǒng)相機耗費的時 間是人類的100倍或1000倍。 

除了冗余信息減少和幾乎沒有延遲的優(yōu)點外，事件相機的優(yōu)點還有由于低時延，在拍攝高速物體時，傳統(tǒng)相機由于會有 一段曝光時間會發(fā)生模糊，而事件相機則幾乎不會。此外事件相機擁有真正的高動態(tài)范圍，由于事件相機的特質(zhì)，在光強較強或較弱的環(huán)境下，傳統(tǒng)相機均會“失明”，但像素變化仍然存在，所以事件相機仍能看清眼前的東西。