邊緣計(jì)算是一個(gè)難題，它為IT架構(gòu)師和嵌入式開(kāi)發(fā)人員提供了多種選擇。最終，它可以創(chuàng)建邊緣AI，從而實(shí)現(xiàn)更快、更豐富的決策。 

[[383445]] 

基于AI的機(jī)器學(xué)習(xí)技術(shù)已經(jīng)超越了基于云的數(shù)據(jù)中心，因?yàn)橹匾腎oT傳感器數(shù)據(jù)的處理越來(lái)越接近數(shù)據(jù)最初所在的位置。

此舉將由配備了新的人工智能(AI)的芯片實(shí)現(xiàn)。這些產(chǎn)品包括嵌入式微控制器，其存儲(chǔ)器和功耗要求比GPU(圖形處理單元)、FPGA(現(xiàn)場(chǎng)可編程門陣列)更小，以及其他專門的IC類型首先用于在Amazon Web Services，Microsoft和Google的云數(shù)據(jù)中心解決數(shù)據(jù)科學(xué)家們的問(wèn)題。

正是在這些云服務(wù)，機(jī)器學(xué)習(xí)和相關(guān)的神經(jīng)網(wǎng)絡(luò)才得以爆發(fā)。但是物聯(lián)網(wǎng)的興起造成了數(shù)據(jù)沖擊，這也需要基于邊緣的機(jī)器學(xué)習(xí)。

現(xiàn)在，云提供商、物聯(lián)網(wǎng)(IoT)平臺(tái)制造商以及其他企業(yè)看到了在將數(shù)據(jù)移交給云端進(jìn)行分析之前在邊緣處理數(shù)據(jù)的好處。

在邊緣做出AI決策可以減少延遲，并使對(duì)傳感器數(shù)據(jù)的實(shí)時(shí)響應(yīng)更加可行和適用。盡管如此，人們稱之為“邊緣AI”的形式仍然很多種。以及如何利用下一代物聯(lián)網(wǎng)為其提供支持，在呈現(xiàn)高質(zhì)量的可行數(shù)據(jù)方面提出了挑戰(zhàn)。

邊緣計(jì)算工作量增長(zhǎng)

基于邊緣的機(jī)器學(xué)習(xí)可能會(huì)推動(dòng)IoT市場(chǎng)中AI的顯著增長(zhǎng)，據(jù)Mordor Intelligence估計(jì)，到2026年，CAGR將增長(zhǎng)27.3%。

Eclipse Foundation IoT Group在2020年的研究支持了這一點(diǎn)，IoT開(kāi)發(fā)人員中最常引用的邊緣計(jì)算工作負(fù)載中，AI將占30%。

對(duì)于許多應(yīng)用而言，復(fù)制在云上啟用并行機(jī)器學(xué)習(xí)的無(wú)休止的服務(wù)器機(jī)架是不可行的。受益于本地處理的IoT邊緣案例很多，并且通過(guò)各種操作監(jiān)控案例來(lái)突出說(shuō)明。例如，處理器可以監(jiān)視由石油鉆井平臺(tái)上的壓力表變化觸發(fā)的事件，在遙遠(yuǎn)的電源線上檢測(cè)到異常情況或在工廠捕獲到的視頻錄像。

最后一種情況是最廣泛使用的一種。在邊緣分析圖像數(shù)據(jù)的AI的應(yīng)用已證明是一塊肥沃的土地。但是，使用物聯(lián)網(wǎng)設(shè)備收集的數(shù)據(jù)進(jìn)行事件處理有許多復(fù)雜的處理需求。

邊緣計(jì)算的價(jià)值

Hyperion Research高級(jí)顧問(wèn)史蒂夫·康威(Steve Conway)表示，基于云的物聯(lián)網(wǎng)分析仍將持續(xù)下去。但是，距離數(shù)據(jù)必須行進(jìn)會(huì)帶來(lái)處理延遲。將數(shù)據(jù)移入和移出云自然會(huì)產(chǎn)生滯后，往返需要時(shí)間。

“有一種叫做光速的東西，”康韋打趣道。 “而且你不能超過(guò)它。”因此，處理的層次結(jié)構(gòu)正在邊緣發(fā)展。

除了設(shè)備和板級(jí)實(shí)施之外，此層次結(jié)構(gòu)還包括制造中的IoT網(wǎng)關(guān)和數(shù)據(jù)中心，這些擴(kuò)展了可用于下一代IoT系統(tǒng)開(kāi)發(fā)的架構(gòu)選項(xiàng)。

SAS物聯(lián)網(wǎng)和Edge部門產(chǎn)品營(yíng)銷高級(jí)經(jīng)理Saurabh Mishra表示，從長(zhǎng)遠(yuǎn)來(lái)看，邊緣AI架構(gòu)是數(shù)據(jù)處理重點(diǎn)的又一代轉(zhuǎn)變，但這是關(guān)鍵。

“這里有進(jìn)步，這個(gè)想法是集中您的數(shù)據(jù)。您可以為某些行業(yè)和某些用例(在數(shù)據(jù)中心等環(huán)境中已創(chuàng)建數(shù)據(jù)的那些用例)執(zhí)行此操作。”他說(shuō)。

Mishra說(shuō)，SAS已經(jīng)創(chuàng)建了經(jīng)過(guò)驗(yàn)證的邊緣物聯(lián)網(wǎng)參考架構(gòu)，客戶可以在此基礎(chǔ)上構(gòu)建AI和分析應(yīng)用，這實(shí)際上是不可能高效且經(jīng)濟(jì)地將其移至云中進(jìn)行分析的。在云和邊緣AI之間取得平衡將是一項(xiàng)基本要求。

Eclipse基金會(huì)物聯(lián)網(wǎng)和邊緣計(jì)算項(xiàng)目經(jīng)理FrédéricDesbiens表示，要找到平衡，首先要考慮運(yùn)行機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)量。這就是新的智能處理器的發(fā)揮作用的地方。

“邊緣的AI加速器可以在將數(shù)據(jù)發(fā)送到其他地方之前進(jìn)行本地處理。但是，這需要您考慮功能要求，包括所需的軟件堆棧和存儲(chǔ)，” Desbiens說(shuō)。

[[383446]]

AI 邊緣芯片豐富

基于云的機(jī)器學(xué)習(xí)的興起受到高內(nèi)存帶寬GPU(通常以NVIDIA半導(dǎo)體形式)的興起的影響。這項(xiàng)成功引起了其他芯片制造商的關(guān)注。

內(nèi)部AI專用處理器緊隨其后的是超大規(guī)模云服務(wù)玩家Google、AWS和Microsoft。

AI芯片之戰(zhàn)使得AMD、Intel、Qualcomm和ARM Technology(去年被NVIDIA收購(gòu))等領(lǐng)先企業(yè)并駕齊驅(qū)。

反過(guò)來(lái)，Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics等嵌入式微處理器和片上系統(tǒng)的主流開(kāi)始致力于將AI功能添加到邊緣。

如今，物聯(lián)網(wǎng)和邊緣處理需求吸引了包括EdgeQ、Graphcore、Hailo、Mythic等在內(nèi)的AI芯片初創(chuàng)公司。目前，邊緣處理還受到限制。Hyperion的Steve Conway強(qiáng)調(diào)說(shuō)，障礙包括可用內(nèi)存、能耗和成本。

Conway說(shuō)：“嵌入式處理器非常重要，因?yàn)槟芎姆浅Ｖ匾?。GPU和CPU并不是小小的模具，特別是GPU消耗大量能源。”

軟硬件的配合

Maxim Integrated公司的微控制器和軟件算法業(yè)務(wù)執(zhí)行董事克里斯·阿迪斯(Kris Ardis)建議，數(shù)據(jù)移動(dòng)是邊緣能耗的一個(gè)因素。最近，該公司發(fā)布了MAX78000，該器件將低功耗控制器與神經(jīng)網(wǎng)絡(luò)處理器配對(duì)，可在電池供電的IoT設(shè)備上運(yùn)行。

“如果您可以在最邊緣進(jìn)行計(jì)算，則可以節(jié)省帶寬和通信能力。挑戰(zhàn)在于采用神經(jīng)網(wǎng)絡(luò)并使其適合相應(yīng)的配件。” Ardis說(shuō)。

他指出，基于該芯片的單個(gè)物聯(lián)網(wǎng)設(shè)備可以為物聯(lián)網(wǎng)網(wǎng)關(guān)提供支持，物聯(lián)網(wǎng)網(wǎng)關(guān)也可以發(fā)揮重要作用，將來(lái)自設(shè)備的數(shù)據(jù)匯總起來(lái)，并進(jìn)一步過(guò)濾可能流向云的數(shù)據(jù)，以分析整體操作。

其他半導(dǎo)體設(shè)備制造商也正在適應(yīng)一種趨勢(shì)，即計(jì)算越來(lái)越接近數(shù)據(jù)所在的位置。它們是擴(kuò)展開(kāi)發(fā)人員功能的工作的一部分，即使他們的硬件選擇不斷增長(zhǎng)。

英特爾物聯(lián)網(wǎng)部門副總裁比爾·皮爾森(Bill Pearson)承認(rèn)，曾經(jīng)有一段時(shí)間“ CPU是所有問(wèn)題的答案”。像邊緣AI這樣的趨勢(shì)現(xiàn)在掩蓋了這一點(diǎn)。

他使用術(shù)語(yǔ)“ XPU”來(lái)表示支持不同用途的各種芯片類型。但是，他補(bǔ)充說(shuō)，應(yīng)該通過(guò)單個(gè)軟件應(yīng)用程序編程接口(API)來(lái)支持這種多樣性。

為了幫助軟件開(kāi)發(fā)人員，英特爾最近發(fā)布了OpenVINO工具包的2021.2版本，用于在邊緣系統(tǒng)上進(jìn)行推理。它為包括CPU、GPU和Movidius視覺(jué)處理單元在內(nèi)的Intel組件提供了通用的開(kāi)發(fā)環(huán)境。皮爾森表示，英特爾還為邊緣軟件提供了DevCloud，以預(yù)測(cè)不同英特爾硬件上神經(jīng)網(wǎng)絡(luò)推理的性能。

NVIDIA企業(yè)與邊緣計(jì)算部門副總裁兼總經(jīng)理Justin Boitano表示：“該行業(yè)必須使非AI專家的工作變得更加輕松。”

這可能采用NVIDIA Jetson的形式，其中包括一個(gè)低功耗ARM處理器。 Jetson以60年代的科幻動(dòng)畫(huà)片系列而得名，旨在為移動(dòng)嵌入式系統(tǒng)提供GPU加速的并行處理。

最近，為簡(jiǎn)化視覺(jué)系統(tǒng)的開(kāi)發(fā)，NVIDIA推出了Jetson JetPack 4.5，其中包括其視覺(jué)編程接口(VPI)的首個(gè)生產(chǎn)版本。

Boitano說(shuō)，隨著時(shí)間的推移，邊緣的AI開(kāi)發(fā)瑣事將更多地由IT部門來(lái)處理，而由對(duì)機(jī)器學(xué)習(xí)有深入了解的AI研究人員將減少處理。

Tiny ML的興起

在終端和邊緣側(cè)的微處理器上實(shí)現(xiàn)的機(jī)器學(xué)習(xí)過(guò)程就叫做tiny Machine Learning(即tinyML)。

將機(jī)器學(xué)習(xí)方法從廣闊的云遷移到受約束的邊緣設(shè)備所需的技能并不容易獲得。但是正在應(yīng)用新的軟件技術(shù)來(lái)實(shí)現(xiàn)緊湊的邊緣AI，同時(shí)減輕了開(kāi)發(fā)人員的工作量。

實(shí)際上，行業(yè)已經(jīng)經(jīng)歷了“Tiny ML”方法的興起。這些功能以更低的功耗完成工作并使用有限的內(nèi)存，同時(shí)實(shí)現(xiàn)了每秒的推理能力。

已經(jīng)出現(xiàn)了各種降低邊緣處理要求的機(jī)器學(xué)習(xí)工具，包括Apache MXNet, Edge Impulse’s EON, Facebook’s Glow, Foghorn Lightning Edge ML, Google TensorFlow Lite, Microsoft ELL, OctoML’s Octomizer等。

縮小神經(jīng)網(wǎng)絡(luò)處理的大小是這里的主要目標(biāo)，并且這些技術(shù)有很多種。Foghorn的首席技術(shù)官Sastry Malladi表示，其中包括量化、二值化和修正，F(xiàn)oghorn是支持多種邊緣和內(nèi)部部署實(shí)施的軟件平臺(tái)的制造商。

神經(jīng)網(wǎng)絡(luò)處理的量化側(cè)重于使用低位寬數(shù)學(xué)。反過(guò)來(lái)，二值化用于減少計(jì)算的復(fù)雜性。并且，修正用于減少必須處理的神經(jīng)節(jié)點(diǎn)的數(shù)量。

Malladi承認(rèn)，對(duì)于大多數(shù)開(kāi)發(fā)人員而言，這是一項(xiàng)艱巨的任務(wù)，特別是在一系列硬件上。他說(shuō)，F(xiàn)oghorn的Lightning平臺(tái)背后的努力旨在抽象化邊緣機(jī)器學(xué)習(xí)的復(fù)雜性。

例如，目標(biāo)是允許生產(chǎn)線操作員和可靠性工程師使用拖放式界面，而不是應(yīng)用程序編程界面和軟件開(kāi)發(fā)套件，因?yàn)樗鼈儾荒敲粗庇^，并且需要更多的編碼知識(shí)。

簡(jiǎn)化嵌入式機(jī)器學(xué)習(xí)開(kāi)發(fā)平臺(tái)制造商Edge Impulse的重點(diǎn)還在于簡(jiǎn)化開(kāi)發(fā)并在多種類型的Edge AI硬件上運(yùn)行的軟件。

Edge Impulse首席執(zhí)行官Zach Shelby表示，最終，機(jī)器學(xué)習(xí)的成熟意味著模型的小型化。

“研究的方向是越來(lái)越復(fù)雜的越來(lái)越大的模型，”謝爾比說(shuō)。 “但是，隨著機(jī)器學(xué)習(xí)達(dá)到黃金時(shí)段，人們開(kāi)始再次關(guān)注效率。”從而引入了Tiny ML。

他說(shuō)，必須有能夠在現(xiàn)有物聯(lián)網(wǎng)基礎(chǔ)設(shè)施上運(yùn)行的軟件，同時(shí)支持通往新硬件品種的道路。 Shelby繼續(xù)說(shuō)，Edge Impulse工具允許對(duì)可用硬件上的算法和事件進(jìn)行基于云的建模，以便用戶在進(jìn)行選擇之前可以嘗試不同的選項(xiàng)。

關(guān)注未來(lái)

邊緣化方面，計(jì)算機(jī)視覺(jué)已成為AI的重要用例，尤其是深度學(xué)習(xí)的形式，它采用多層神經(jīng)網(wǎng)絡(luò)和無(wú)監(jiān)督技術(shù)來(lái)實(shí)現(xiàn)圖像模式識(shí)別的結(jié)果。

根據(jù)Forrester Research的首席分析師Kjell Carlsson的說(shuō)法，當(dāng)今的視覺(jué)系統(tǒng)架構(gòu)正在發(fā)生變化，因?yàn)樽钸吘壍南鄼C(jī)通過(guò)嵌入式硬件為深度學(xué)習(xí)增加了處理能力。但是找到最佳的應(yīng)用目標(biāo)可能是一個(gè)挑戰(zhàn)。

他說(shuō)：“人工智能的問(wèn)題在于，您最終會(huì)更多地關(guān)注'新的'用例。”

Carlsson說(shuō)，開(kāi)發(fā)這些未開(kāi)發(fā)的解決方案存在固有的風(fēng)險(xiǎn)，因此，一種有用的策略是，著眼于具有高成本效益比的用例，即使模式識(shí)別的準(zhǔn)確性可能落后于成熟的現(xiàn)有系統(tǒng)。

總體而言，Carlsson表示，邊緣AI可以幫助實(shí)現(xiàn)IoT的最初承諾，而隨著實(shí)施者對(duì)各種潛在用例進(jìn)行分類時(shí)，邊緣AI有時(shí)會(huì)滯后。

“物聯(lián)網(wǎng)本身有一些局限性?，F(xiàn)在，借助AI，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，使物聯(lián)網(wǎng)更加適用-并具有很高的價(jià)值，”他說(shuō)。