【51CTO.com快譯】行業(yè)專家指出，許多智能設(shè)備和物聯(lián)網(wǎng)設(shè)備都是由某種形式的人工智能(AI)驅(qū)動的——無論是語音助理、面部識別攝像頭，還是電腦。這些設(shè)備需要采用某種技術(shù)為它們進(jìn)行的數(shù)據(jù)處理提供支持。有些設(shè)備需要在云平臺的大型數(shù)據(jù)中心處理數(shù)據(jù)，而也有一些設(shè)備將通過本身的人工智能芯片進(jìn)行處理。

[[376805]]

那么什么是人工智能芯片?它與人們在智能設(shè)備中找到的其他芯片有何不同?以下將重點介紹人工智能芯片的重要性，用于不同應(yīng)用的不同種類的人工智能芯片，以及在設(shè)備中使用人工智能芯片的好處。

一、為什么有些芯片不適用于人工智能

計算機技術(shù)在上世紀(jì)80年代開始興起。這種技術(shù)擴(kuò)展是由CPU(中央處理器)實現(xiàn)的，它執(zhí)行程序中指令指定的基本算術(shù)、邏輯、控制和輸入/輸出操作。CPU是計算機的大腦。而英特爾公司和AMD公司是全球CPU行業(yè)領(lǐng)域的行業(yè)巨頭。

當(dāng)談到CPU的發(fā)展時，則必須提到ARM，其芯片架構(gòu)始于上世紀(jì)80年代推出的計算機中，但是直到移動計算、智能手機和平板電腦興起之后才成為市場主導(dǎo)者。到2005年，98%的手機使用至少某種形式的ARM架構(gòu)。而到2013年，全球生產(chǎn)了100億臺采用ARM芯片的手機，而全球目前近60%的移動設(shè)備中都有基于ARM的芯片。ARM成為人工智能芯片領(lǐng)域的重要組成部分。

在上世紀(jì)90年代，實時3D圖形在街機、計算機和游戲機中變得越來越普遍，這導(dǎo)致對硬件加速3D圖形的需求不斷增加。另一個硬件巨頭NVIDIA公司借助專用于計算機圖形和圖像處理的圖形處理單元(GPU)滿足了這一需求。NVIDIA公司最近宣布以400億美元收購ARM公司。

二、人工智能處理單元

在人工智能處理方面，雖然GPU的表現(xiàn)通常比CPU更好，但并不完美。業(yè)界需要專用處理器來實現(xiàn)人工智能應(yīng)用程序、建模和推理的高效處理。因此，芯片設(shè)計人員現(xiàn)在正在努力創(chuàng)建針對執(zhí)行這些算法而優(yōu)化的處理單元。這些單元有很多名稱，例如NPU、TPU、DPU、SPU等，但是可以采用人工智能處理單元(AI PU)這個籠統(tǒng)的術(shù)語進(jìn)行概述。

創(chuàng)建AI PU的目的是執(zhí)行機器學(xué)習(xí)算法，通常是通過對預(yù)測模型(如人工神經(jīng)網(wǎng)絡(luò))進(jìn)行操作。由于這些過程通常獨立執(zhí)行，因此通常將它們分類為訓(xùn)練或推理。

人們已經(jīng)在現(xiàn)實世界中看到了一些應(yīng)用程序：

• 監(jiān)視系統(tǒng)或區(qū)域免受網(wǎng)絡(luò)攻擊的威脅，例如涉及實時面部識別的安全系統(tǒng)(IP攝像頭和門禁攝像頭等)。
• 與客戶互動的零售行業(yè)或企業(yè)聊天機器人。
• 語音助手的自然語言處理。

三、人工智能處理器與GPU

有人可能會詢問GPU是否已經(jīng)能夠執(zhí)行人工智能模型?實際上，GPU確實具有一些便于處理人工智能模型的屬性。

GPU可以處理2D甚至3D的圖形，因此需要同時并行處理多個功能字符串。人工智能神經(jīng)網(wǎng)絡(luò)也需要并行處理，因為它們的節(jié)點分支很像動物大腦中的神經(jīng)元。GPU在這方面做得很好。

但是，神經(jīng)網(wǎng)絡(luò)需要卷積，而這正是GPU難以勝任的地方。簡而言之，GPU從根本上針對圖形而不是神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，它們充其量只是替代品。

另一個需要考慮的重要因素是目前人工智能技術(shù)發(fā)展加快。世界各地的研究人員和計算機科學(xué)家正在不斷地以指數(shù)級的速度提高人工智能和機器學(xué)習(xí)的功能，而CPU和GPU的進(jìn)步已經(jīng)跟不上這些技術(shù)的發(fā)展。

根據(jù)摩爾定律，集成電路(IC)中的晶體管數(shù)量大約每兩年增加一倍。但是，摩爾定律正在逐漸消亡，已經(jīng)無法跟上人工智能技術(shù)的發(fā)展步伐。

人工智能的加速最終將依賴于專門的人工智能加速器，例如AI PU。AI PU通常用于以下目的：

• 與GPU相比，將機器學(xué)習(xí)任務(wù)的計算速度提高了將近1萬倍。
• 低功耗，提高資源利用率。

四、AI SoC的組件

雖然AI PU構(gòu)成了芯片上人工智能系統(tǒng)(SoC)的大腦，但它只是組成芯片的一系列復(fù)雜組件的一部分。以下將細(xì)分AI SoC，與AI PU配對的組件以及它們?nèi)绾螀f(xié)同工作。

1.NPU

如上所述，這是執(zhí)行AI SoC核心操作的神經(jīng)處理單元或矩陣乘法引擎，需要指出的是，對于人工智能芯片制造商來說，這也是任何AI SoC從所有其他AI SoC中脫穎而出的關(guān)鍵。

2.控制器

控制器通?；赗ISC-V(由加州大學(xué)伯克利分校設(shè)計)、ARM(由ARM公司設(shè)計)或自定義邏輯指令集架構(gòu)(ISA)，用于控制所有其他塊和外部處理器并與之通信。

是否在本地進(jìn)行控制是一個主要問題，需要回答“為什么要創(chuàng)建此芯片?在哪里使用這種芯片?以及由誰使用?”等問題，而芯片制造商在回答控制問題之前需要解答這些問題。

3.SRAM

這是用于存儲模型或輸出的本地存儲器?？梢詫⑺胂蟪梢粋€冰箱，盡管存儲空間很小，但是可以非?？焖俜奖愕孬@取東西(在這種情況下是數(shù)據(jù))或?qū)⑺鼈兎呕厝?。在某些用例中，尤其是與邊緣人工智能有關(guān)的情況下，處理速度至關(guān)重要，例如，當(dāng)行人突然出現(xiàn)在路上時，自動駕駛汽車必須及時剎車。

芯片中包含多少SRAM取決于成本與性能。更大的SRAM存儲池將會增加前期成本，但對DRAM的訪問更少，所以從長遠(yuǎn)來看可以收回成本。

另一方面，規(guī)模較小的SRAM存儲池具有較低的前期成本，但需要更多的DRAM內(nèi)存。但是如果市場要求針對特定用例需要成本更低的芯片，則可能需要降低成本。

處理速度也是規(guī)模較大的SRAM存儲池與規(guī)模較小的SRAM存儲池之間的區(qū)別，就像內(nèi)存影響計算機的性能以及滿足性能需求的能力一樣。

4.I/O

這些模塊用于將SoC連接到SoC之外的組件，例如DRAM和外部處理器。這些接口對于AI SoC最大化其潛在性能和應(yīng)用程序至關(guān)重要，否則會造成瓶頸。因此，接口及其連接的對象(DRAM、外部處理器等)需要顯示AI SoC的潛在性能。

例如，DDR是DRAM的接口。因此，如果將SRAM想象成冰箱，那么可以將DRAM視為雜貨店。它有更大的存儲空間，但是要花費更多的時間去取回物品。

五、互連結(jié)構(gòu)

互連結(jié)構(gòu)是處理器(AI PU、控制器)和SoC上所有其他模塊之間的連接。與I/O一樣，互連結(jié)構(gòu)對于提取AI SoC的所有性能至關(guān)重要。通常情況下，只有在芯片內(nèi)部無法識別互連結(jié)構(gòu)的情況下，才會意識到這種情況。

無論處理器有多快，這些創(chuàng)新都只在互連結(jié)構(gòu)能夠保持正常運行且不會造成阻礙整體性能的延遲的情況下起作用，就像高速公路上沒有足夠的車道會在高峰時段造成交通擁堵一樣。

所有這些組件都是人工智能芯片的關(guān)鍵部分。雖然不同的芯片可能有額外的組件，或者對這些組件的投資有不同的優(yōu)先級，但這些基本組件以共生的方式協(xié)同工作，以確保人工智能芯片能夠快速有效地處理人工智能模型。與CPU和GPU不同，AI SoC的設(shè)計還遠(yuǎn)未成熟。這一部分的產(chǎn)業(yè)正在持續(xù)快速發(fā)展，人們將會看到AI SoC設(shè)計方面的進(jìn)步。

六、人工智能芯片及其用例

市場上有許多人工智能芯片，這些芯片的命名具體取決于設(shè)計公司。這些芯片在使用的模型和旨在加速的現(xiàn)實應(yīng)用中都有不同的用例。

1.訓(xùn)練與推理

人工智能本質(zhì)上是使用人工神經(jīng)網(wǎng)絡(luò)對人腦進(jìn)行的模擬，人工神經(jīng)網(wǎng)絡(luò)旨在替代人們大腦中的生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由大量節(jié)點組成，可以被調(diào)用以執(zhí)行模型。

這就是人工智能芯片發(fā)揮作用的地方。人工智能芯片尤其擅長處理這些人工神經(jīng)網(wǎng)絡(luò)，并且被設(shè)計為對它們做兩件事：訓(xùn)練和推理。

原始的神經(jīng)網(wǎng)絡(luò)最初是通過輸入大量數(shù)據(jù)來開發(fā)和訓(xùn)練的。訓(xùn)練非常耗費計算資源，因此需要專注于訓(xùn)練的人工智能芯片，這些芯片旨在能夠快速有效地處理這些數(shù)據(jù)。芯片功能越強大，網(wǎng)絡(luò)學(xué)習(xí)的速度就越快。

一旦網(wǎng)絡(luò)經(jīng)過訓(xùn)練，它就需要為推理而設(shè)計的芯片，以便在現(xiàn)實世界中使用數(shù)據(jù)，比如面部識別、手勢識別、自然語言處理、圖像搜索、垃圾郵件過濾等。

可以將訓(xùn)練視為構(gòu)建一個字典，而推理類似于查找單詞并理解如何使用它們。這兩者都是必要且共生的。

值得注意的是，為訓(xùn)練而設(shè)計的芯片也可以進(jìn)行推理，但是推理芯片無法進(jìn)行訓(xùn)練。

2.云計算與邊緣計算

人們需要知道的人工智能芯片的另一方面是它是為云計算用例還是邊緣計算用例設(shè)計的，而對于這些用例，人們是否需要采用推理芯片還是訓(xùn)練芯片。

云計算的可訪問性非常有用，因為它的功能可以完全在場外使用。不需要采用設(shè)備上的芯片來處理這些用例中的推理，從而可以節(jié)省功耗和成本。但是，在隱私和安全性方面存在弊端，因為數(shù)據(jù)存儲在可能被黑客入侵或處理不當(dāng)?shù)脑朴嬎惴?wù)器上。

對于推理用例，它的效率也可能較低，因為它不如邊緣計算芯片那么專業(yè)?？稍谠O(shè)備(例如面部識別攝像頭)上找到可在邊緣計算進(jìn)行處理的芯片。它們比在云計算平臺更私密、更安全，因為所有數(shù)據(jù)都存儲在設(shè)備上，并且其芯片通常是為特定目的而設(shè)計的。例如，面部識別攝像頭將使擅長運行設(shè)計模型的芯片用于面部識別。它們也有缺點，因為在設(shè)備中添加另一個芯片會增加成本和功耗。使用可以平衡成本和功耗的邊緣人工智能芯片很重要，以確保該設(shè)備對于用戶來說并不會太昂貴，或者不會過于耗電。

應(yīng)用程序和芯片有以下配對方式：

3.云計算+訓(xùn)練

這種配對的目的是開發(fā)用于推理的人工智能模型。這些模型最終被細(xì)化為特定于用例的人工智能應(yīng)用程序。這些芯片功能強大，運行成本高，其設(shè)計的目的是盡可能快地進(jìn)行訓(xùn)練。

其系統(tǒng)示例包括NVIDIA的DGX-2系統(tǒng)，該系統(tǒng)總共具有2 petaFLOPS的處理能力。它由16個NVIDIA V100 Tensor Core GPU組成。另一個例子是英特爾Habana的Gaudi芯片。

人們每天接觸到的需要大量訓(xùn)練的應(yīng)用程序的例子包括Facebook照片或谷歌翻譯。隨著這些模型的復(fù)雜性日益增加，云計算和培訓(xùn)市場將繼續(xù)受到需要和關(guān)注。

4.云計算+推理

這種配對的目的是推理需要大量處理能力，以至無法在設(shè)備上進(jìn)行推理。這是因為應(yīng)用程序使用更大的模型并處理大量數(shù)據(jù)。

其芯片示例包括高通公司的Cloud AI 100，這是用于大型云平臺的人工智能芯片。另一個例子是阿里巴巴的Huanguang 800或Graphcore的Colossus MK2 GC200 IPU。

訓(xùn)練芯片被用來訓(xùn)練Facebook照片或谷歌翻譯，云計算推理芯片被用來處理輸入的數(shù)據(jù)。其他的例子包括人工智能聊天機器人或大多數(shù)由大型科技公司運營的人工智能服務(wù)。

5.邊緣計算+推理

使用邊緣計算設(shè)備的芯片進(jìn)行推理可以消除任何與網(wǎng)絡(luò)不穩(wěn)定或延遲有關(guān)的問題，并且可以更好地保護(hù)所使用數(shù)據(jù)的私密性和安全性。使用上傳大量數(shù)據(jù)(尤其是像圖像或視頻之類的視覺數(shù)據(jù))所需的帶寬并沒有相關(guān)的成本，因此，只要平衡成本和能效，它就可以比云計算+推理更便宜、更高效。

這里的例子包括Kneron公司的芯片，包括KL520和最近推出的KL720芯片，這些芯片是為設(shè)備上使用而設(shè)計的低功耗、低成本的芯片。其他示例包括英特爾Movidius和Google的Coral TPU。

其使用案例包括面部識別監(jiān)控攝像頭、用于行人和危險檢測的車輛攝像頭，以及語音助理的自然語言處理。

這些不同類型的芯片及其不同的實現(xiàn)、模型和用例對于未來人工智能的發(fā)展至關(guān)重要。在5G等其他新興技術(shù)的支持下，人工智能正迅速成為人們工作和生活中的一個重要組成部分。為了適應(yīng)人們對科技的日益依賴，人工智能芯片領(lǐng)域的發(fā)展將會非常迅速。

原文標(biāo)題：What is an AI chip? Everything you need to know，作者：Albert Liu

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】