By Frank Lee is the co-founder and CEO of Eurika Solutions  

[[340729]]

在過去的幾年中，人工智能領(lǐng)域已進入高速增長階段，這在很大程度上受諸如深度學(xué)習（DL）和強化學(xué)習（RL）之類的機器學(xué)習方法的推動。這些技術(shù)的組合展示了在解決各種問題方面的空前性能，這些問題從以超人的角度玩Go到像專家一樣診斷癌癥。

在我們以前的博客中，智能物聯(lián)網(wǎng)和霧計算趨勢以及物聯(lián)網(wǎng)中無處不在的計算機視覺的興起，我們談到了物聯(lián)網(wǎng)中DL的一些有趣用例。應(yīng)用將是廣泛而深入的。它們將在未來幾十年內(nèi)刺激對新型處理器的需求。

深度學(xué)習工作流程概述

DL / RL創(chuàng)新正以驚人的速度發(fā)生（每年在眾多與AI相關(guān)的會議上發(fā)表數(shù)千篇有關(guān)新算法的論文）。盡管預(yù)測最終的解決方案為時尚早，但硬件公司正在爭相構(gòu)建處理器、工具和框架。他們試圖利用多年研究人員的經(jīng)驗來確定DL工作流程中的痛點和瓶頸（圖1）。

圖1：深度學(xué)習基礎(chǔ)流程

訓(xùn)練DL模型的平臺

讓我們從培訓(xùn)平臺開始?；趫D形處理單元（GPU）的系統(tǒng)通常是訓(xùn)練高級DL模型的選擇。Nvidia早已意識到將GPU用于通用高性能計算的優(yōu)勢。

GPU有數(shù)百個計算核心，它們支持大量的硬件線程和高吞吐量的浮點計算。 Nvidia開發(fā)了Compute Unified Device Architecture（CUDA）編程框架，使GPU友好地供科學(xué)家和機器學(xué)習專家使用。

CUDA工具鏈改善了耗時問題，為研究人員提供了一種靈活而友好的方式來實現(xiàn)高度復(fù)雜的算法。幾年前，Nvidia恰當?shù)匕l(fā)現(xiàn)了DL的機會，并為大多數(shù)DL運營不斷開發(fā)CUDA支持。 Caffe、Torch和Tensorflow等標準框架均支持CUDA。

在AWS之類的云服務(wù)中，開發(fā)人員可以選擇使用CPU還是GPU（更具體地說是Nvidia GPU）。平臺的選擇取決于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性、預(yù)算和時間?；贕PU的系統(tǒng)通常可以比CPU減少訓(xùn)練時間幾倍，但價格更高（圖2）。

圖2：AWS EC2 GPU實例

GPU / CPU的替代品

替代品來了。 Khronos在2009年提出了OpenCL，這是一種用于在各種硬件（例如CPU、GPU、DSP或FPGA）上進行并行計算的開放標準。它將使其他處理器（如AMD GPU）進入DL培訓(xùn)市場，為開發(fā)人員提供更多選擇。

但是，它在DL庫支持方面仍落后于CUDA。希望這種情況在未來幾年內(nèi)會有所改善。英特爾還通過收購Nervana開發(fā)了針對DL培訓(xùn)定制的處理器。

DL推理的競爭格局

DL推理是一個競爭激烈的市場。通?？梢愿鶕?jù)用例的要求在多個級別上部署應(yīng)用：

1. 云/企業(yè)：圖像分類、網(wǎng)絡(luò)安全、文本分析、NLP等。
2. 智能網(wǎng)關(guān)：生物識別、語音識別、智能代理等。
3. 邊緣端點：移動設(shè)備、智能相機等。

云推理

在Google、Facebook、百度或阿里巴巴等互聯(lián)網(wǎng)巨頭的大力推動下，云推理市場將實現(xiàn)巨大的增長。例如，Google Cloud和Microsoft Azure提供了非常強大的圖像分類、自然語言處理和面部識別API，開發(fā)人員可以輕松地將其集成到他們的云應(yīng)用中。

云推理平臺將需要可靠地支持數(shù)百萬并發(fā)用戶。擴展吞吐量的能力至關(guān)重要。此外，降低能耗是控制服務(wù)運營成本的另一個重中之重。

在云推理空間上，除GPU外，數(shù)據(jù)中心還使用FPGA或定制處理器來使云推理應(yīng)用更具成本效益和功效。例如，Microsoft Project Brainwave使用英特爾FPGA來證明在運行諸如CNN、LSTM等的DL算法時的強大性能和靈活性。

圖3：Intel 14nm Stratix FPGA

FPGA具有優(yōu)勢。硬件邏輯、計算內(nèi)核和內(nèi)存配置可針對特定類型的神經(jīng)網(wǎng)絡(luò)進行定制，從而使其更有效地處理預(yù)訓(xùn)練模型。但是，一個缺點是與CPU或CUDA相比編程困難。如上一節(jié)所述，OpenCL將有助于使FPGA對軟件開發(fā)人員更加友好。

除了FPGA之外，Google還制造了定制的處理器，稱為TPU。它是一種專注于高效矩陣計算的ASIC。但是，僅Google自己的服務(wù)支持該功能。

以下是DL云推斷中的一些參與者。

用于智能邊緣計算的嵌入式DL推理

在邊緣，DL推理解決方案需要解決針對不同用例和市場的多種需求。

自動駕駛平臺

自動駕駛平臺目前是最熱門的市場，最新的DL和RL方法正在應(yīng)用中，以實現(xiàn)最高水平的自動駕駛。 Nvidia一直領(lǐng)導(dǎo)著從Tegra到Xavier的幾類DL SoC市場。 例如，Xavier SoC內(nèi)置于Nvidia的Drive PX平臺中，該平臺可實現(xiàn)多達320個TFLOP。 它的目標是5級自動駕駛。

移動處理器

另一個快速增長的領(lǐng)域是移動應(yīng)用處理器。 DL啟用了智能手機上以前無法實現(xiàn)的新功能。 一個例子是蘋果將神經(jīng)引擎集成到A11 Bionic芯片中，從而使其能夠在iPhone X上添加高精度面部鎖定。

中國芯片制造商海思半導(dǎo)體還發(fā)布了麒麟970處理器，該處理器具有神經(jīng)處理單元（NPU）。 華為的一些最新智能手機（圖4）已經(jīng)使用新的DL處理器進行了設(shè)計。 例如，使用NPU，智能手機相機會“知道”正在查看的內(nèi)容，并會根據(jù)場景的主體（例如人、植物、風景等）自動調(diào)整相機設(shè)置。

圖4：Huawei Mate 10 Pro –主題識別相機

下表列出了一些用于DL推理應(yīng)用的處理器。

新架構(gòu)

值得一提的是，有一類新的處理器，稱為神經(jīng)形態(tài)處理器，它緊密模仿人類大腦神經(jīng)元和突觸的機制。他們可以實現(xiàn)一種稱為“脈沖神經(jīng)網(wǎng)絡(luò)（SNN）”的神經(jīng)網(wǎng)絡(luò)，它可以在空間和時間域中學(xué)習。

原則上，與現(xiàn)有的DL架構(gòu)相比，它們具有更高的能源效率，并且在解決在線機器學(xué)習問題方面具有優(yōu)勢。

IBM的TrueNorth和英特爾的Loihi基于神經(jīng)形態(tài)架構(gòu)。研究人員正在探索這些芯片的功能，顯示出一些潛力。目前尚不清楚何時將新型處理器準備用于廣泛的商業(yè)用途。諸如Applied Brain Research和Brainchip之類的許多初創(chuàng)公司也專注于這一領(lǐng)域，開發(fā)工具和IP。

圖5：英特爾Loihi

這是一個有趣的時代

在短短的幾年內(nèi)，AI / DL / RL / ML已成為許多行業(yè)的重要工具。從IP、處理器、系統(tǒng)設(shè)計到工具鏈和軟件方法論的底層生態(tài)系統(tǒng)已經(jīng)進入了快速的創(chuàng)新周期。新的處理器將支持許多以前無法實現(xiàn)的新物聯(lián)網(wǎng)應(yīng)用。

但是，物聯(lián)網(wǎng)和機器學(xué)習應(yīng)用仍在不斷發(fā)展。芯片設(shè)計人員和開發(fā)人員將需要幾代處理器才能提出正確的架構(gòu)組合，從而滿足各種市場的需求。