AI芯片分為云端和邊緣端，云端芯片要求高性能，邊緣端芯片由于應(yīng)用場景眾多，對于環(huán)境和能耗等也有更多要求。事實上，當(dāng)前邊緣AI芯片已不再是個小眾領(lǐng)域，包括谷歌、英偉達、英特爾、高通、華為、寒武紀、地平線均于近兩年推出邊緣AI芯片，AI芯片的戰(zhàn)火已經(jīng)由云端蔓延到了邊緣。

根據(jù)全球技術(shù)市場咨詢公司 ABI Research 的數(shù)據(jù)顯示：預(yù)計到2025年，邊緣 AI 芯片組市場的收入將達到122億美元，云AI芯片組市場的收入將達到119億美元。邊緣 AI 芯片組市場將超過云AI芯片組市場。首席分析師Lian Jye Su 表示：隨著行業(yè)的發(fā)展，企業(yè)越來越多的需要解決有關(guān)數(shù)據(jù)隱私、電源效率、低延遲和強大的設(shè)備上計算性能等問題，邊緣AI將是解決方案。預(yù)期在未來五年，AI訓(xùn)練與推論會在網(wǎng)關(guān)或是各種邊緣裝置進行，甚至往下到傳感器節(jié)點。那么，邊緣AI到底是什么，靠什么能解決這些行業(yè)痛點呢？

一、邊緣計算與邊緣AI

近年來，物聯(lián)網(wǎng)設(shè)備連接數(shù)呈現(xiàn)出線性增長趨勢。據(jù)Gartner預(yù)測，到2020年，全球物聯(lián)網(wǎng)設(shè)備的數(shù)量將超過200億臺。與此同時，設(shè)備本身也變得越來越智能化。人工智能與物聯(lián)網(wǎng)在實際應(yīng)用中的落地與融合，將推動人類社會進入“萬物智能互聯(lián)”時代，而隨之產(chǎn)生的數(shù)據(jù)也將呈井噴式爆發(fā)。

在過去的十年里，云計算成功地緩解了日益增長的數(shù)據(jù)所帶來的存儲、管理等問題，但是目前網(wǎng)絡(luò)帶寬的增長速度遠遠趕不上數(shù)據(jù)的增長速度，網(wǎng)絡(luò)帶寬成本的下降速度要比CPU、內(nèi)存這些硬件資源成本的下降速度慢很多，同時復(fù)雜的網(wǎng)絡(luò)環(huán)境讓網(wǎng)絡(luò)延遲很難有突破性提升。所以，傳統(tǒng)的云計算不能滿足對響應(yīng)時間和安全性的高要求。以無人駕駛汽車為例，高速行駛的汽車需要在毫秒級的時間內(nèi)響應(yīng)，一旦由于數(shù)據(jù)傳輸、網(wǎng)絡(luò)等問題導(dǎo)致系統(tǒng)響應(yīng)時間增加，將會造成嚴重的后果。

除此之外，云計算還面臨帶寬不足的問題。如果將邊緣設(shè)備產(chǎn)生的大量數(shù)據(jù)全部傳輸至云計算中心，會給網(wǎng)絡(luò)帶寬造成極大的壓力。例如，飛機波音787每秒產(chǎn)生的數(shù)據(jù)超過5GB，但飛機與衛(wèi)星之間的帶寬不足以支持數(shù)據(jù)的實時傳輸。總之，單純依靠云計算這種集中式的計算處理方式，不足以支持以物聯(lián)網(wǎng)感知為背景的應(yīng)用程序運行和海量數(shù)據(jù)處理。在這種應(yīng)用背景下，邊緣計算應(yīng)運而生。它與現(xiàn)有的云計算集中式處理模型相結(jié)合，能有效解決云中心和網(wǎng)絡(luò)邊緣的大數(shù)據(jù)處理問題。

邊緣計算是云計算的一種補充和優(yōu)化。如果說云計算是集中式、在“云端”進行的大數(shù)據(jù)處理，那么，邊緣計算則可以理解為邊緣側(cè)、靠近終端（例如手機、智能語音交互設(shè)備等）的大數(shù)據(jù)處理。在很多情況下，邊緣計算和云計算是共生關(guān)系。有個形象的解釋，把云計算和邊緣計算比喻成章魚的各器官，似乎更容易理解。作為自然界中智商最高的無脊椎動物，章魚擁有“概念思維”能力，與兩個強大的記憶系統(tǒng)分不開。一個是大腦記憶系統(tǒng)，大腦具有5億個神經(jīng)元，另一個是八個爪子上的吸盤。也就是說，章魚的八條腿可以思考并解決問題。云計算就好比章魚的大腦，邊緣計算就類似于八爪魚的那些小爪子，一個爪子就是一個小型的機房，靠近具體的實物。邊緣計算更靠近設(shè)備端，更靠近用戶。

具體而言，邊緣計算有幾個明顯的優(yōu)點：

帶寬：邊緣設(shè)備處理了部分產(chǎn)生的臨時數(shù)據(jù)，不再需要將全部數(shù)據(jù)上傳至云端，只需要傳輸有價值的數(shù)據(jù)，這極大地減輕了網(wǎng)絡(luò)帶寬的壓力，且減少了對計算存儲資源的需求；

延遲：在靠近數(shù)據(jù)源端進行數(shù)據(jù)處理，能夠大大地減少系統(tǒng)時延，提高服務(wù)的響應(yīng)時間；

經(jīng)濟性：某個應(yīng)用如果使用云端，即使能從技術(shù)上解決帶寬和延遲問題，但在邊緣執(zhí)行計算可能更劃算；

可靠性：某個應(yīng)用如果使用云端，即使能從技術(shù)上解決帶寬和延遲問題，但到云端的網(wǎng)絡(luò)連接并非一直可靠，而應(yīng)用可能需要一直運作。在這種情況下，就要使用邊緣計算了。例如人臉辨識門鎖，如果網(wǎng)絡(luò)連接斷開，你希望門鎖仍然正常工作；

隱私：某個應(yīng)用如果使用云端，即使能從技術(shù)上解決帶寬、延遲、可靠性和經(jīng)濟性等問題，可能仍有許多應(yīng)用出于隱私考慮而需要進行本地處理。邊緣計算為關(guān)鍵性隱私數(shù)據(jù)的存儲與使用提供了基礎(chǔ)設(shè)施，提升數(shù)據(jù)的安全性。

邊緣計算因為其突出的優(yōu)點，滿足未來萬物聯(lián)網(wǎng)的需求，從2016年開始迅速升溫，引起全球的密切關(guān)注。當(dāng)然，邊緣計算是一個持續(xù)迭代更新的概念，不同技術(shù)的融合，使得邊緣計算的內(nèi)核不斷創(chuàng)新，例如人工智能和神經(jīng)網(wǎng)絡(luò)的應(yīng)用，也正在賦能“邊緣AI”的落地。得益于云端服務(wù)器廣泛的數(shù)據(jù)計算能力，人工智能和機器學(xué)習(xí)領(lǐng)域取得了巨大進步，發(fā)展出更加綜合性的人工神經(jīng)網(wǎng)絡(luò)，以解決富于挑戰(zhàn)性的任務(wù)。隨著機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)訓(xùn)練等網(wǎng)絡(luò)架構(gòu)和工具不斷適配、兼容到嵌入式系統(tǒng)上，越來越多的AI應(yīng)用也可以直接在邊緣設(shè)備運行，于是“邊緣AI”成為了當(dāng)下討論的熱點。

邊緣AI是指在硬件設(shè)備上本地處理的AI算法，可以在沒有網(wǎng)絡(luò)連接的情況下處理數(shù)據(jù)。這意味著可以在無需流式傳輸或在云端數(shù)據(jù)存儲的情況下進行數(shù)據(jù)創(chuàng)建等操作。為了實現(xiàn)這些目標，邊緣計算可以在云上靠深度學(xué)習(xí)生成數(shù)據(jù)，而在數(shù)據(jù)原點——即設(shè)備本身（邊緣）執(zhí)行模型的推斷和預(yù)測。

目前，國際上尚未建立邊緣人工智能的標準架構(gòu)和統(tǒng)一算法，但各大廠商已經(jīng)開始在相關(guān)領(lǐng)域進行探索。谷歌、亞馬遜和微軟等傳統(tǒng)云服務(wù)提供商推出了邊緣人工智能服務(wù)平臺，通過在終端設(shè)備本地運行預(yù)先訓(xùn)練好的模型進行機器學(xué)習(xí)推斷，將智能服務(wù)推向邊緣。此外，市場上已經(jīng)出現(xiàn)多種邊緣人工智能芯片，如文章開篇提到的地平線旭日3、谷歌edge TPU、英特爾Nervana NNP、華為Ascend 910和Ascend 310等。

二、邊緣計算與5G

邊緣計算與5G可以說是互為犄角的關(guān)系。

國際標準化組織3GPP定義了5G的三大場景。其中，eMBB指3D/超高清視頻等大流量移動寬帶業(yè)務(wù)，mMTC指大規(guī)模物聯(lián)網(wǎng)業(yè)務(wù)，URLLC指如無人駕駛、工業(yè)自動化等需要低時延、高可靠連接的業(yè)務(wù)。5G通信網(wǎng)絡(luò)更加去中心化，需要在網(wǎng)絡(luò)邊緣部署小規(guī)?；蛘弑銛y式數(shù)據(jù)中心，進行終端請求的本地化處理，以滿足URLLC和mMTC的超低延時需求，因此邊緣計是5G核心技術(shù)之一。

邊緣計算恰好可以解決5G三大場景面臨的問題。首先，邊緣計算設(shè)備將為新的和現(xiàn)有的邊緣設(shè)備提供連接和保護；其次，盡管5G將為基于云的應(yīng)用程序提供更好的連接性和更低的延遲，但仍然存在處理和存儲數(shù)據(jù)的成本。混合邊緣計算/5G解決方案將降低這些成本；最后，邊緣計算可以讓更多應(yīng)用程序在邊緣運行，減短了由數(shù)據(jù)傳輸速度和帶寬限制所帶來的延時，并可對本地數(shù)據(jù)做初步分析，為云分擔(dān)一部分工作。

另一方面，5G與邊緣計算一定程度上是相輔相成的。一方面，得益于5G自身發(fā)展，將對邊緣計算的發(fā)展起到直接促進作用；另一方面，由于5G對物聯(lián)網(wǎng)有促進作用，也將間接促進邊緣計算發(fā)展。

三、邊緣AI的使用場景

邊緣AI因其流量占有少、時延低、隱私性強等特征，在各行各業(yè)具有廣泛的應(yīng)用前景。

智能手機

這或許是我們最熟悉的邊緣AI設(shè)備。Siri和谷歌助手是智能手機上邊緣AI的最好例證，因為該技術(shù)驅(qū)動了它們的語音UI。手機上的AI使得數(shù)據(jù)處理發(fā)生在設(shè)備（邊緣）側(cè)，這意味著不需要將設(shè)備數(shù)據(jù)交付到云端。這有助于保護隱私和減少流量。

智慧家居

隨著物聯(lián)網(wǎng)的普及，家庭生活將引入越來越多的智能應(yīng)用，如智能照明控制、智能電視、智能空調(diào)等，這些應(yīng)用需要在家庭部署大量的傳感器和控制器。為了保護家庭數(shù)據(jù)隱私，數(shù)據(jù)處理必須依賴邊緣計算，使大部分計算資源被限制在家庭內(nèi)部網(wǎng)關(guān)，敏感的數(shù)據(jù)被禁止外流。通過邊緣人工智能優(yōu)化室內(nèi)定位和家庭入侵檢測，從而獲得比云計算更高的準確性和更低延遲。例如Amazon Echo、谷歌Home等智能音箱被廣泛應(yīng)用，它們接收用戶指令，并通過與第三方（服務(wù)或家用電器）的交互做出響應(yīng)。然而智能音箱依賴云端進行語音識別、語言語義的理解和處理，會造成家庭數(shù)據(jù)隱私泄露，而應(yīng)用邊緣人工智能則能夠有效解決這些問題。家庭娛樂也將從邊緣人工智能受益，無需將用戶偏好上傳到云端，系統(tǒng)可自行推薦個性化服務(wù)，讓用戶擁有更好的娛樂體驗。

無人機

無人機可以飛到人跡罕至的危險區(qū)域進行探險，并以特有方式拍攝鳥瞰圖像。無人機的應(yīng)用正在擴大，其中一方面包括農(nóng)業(yè)中的應(yīng)用，而另一方面是在采礦業(yè)中應(yīng)用。然而，這些設(shè)備必須能夠“電告總部（phone home）”才能響應(yīng)它們所收集的數(shù)據(jù)。邊緣計算使無人機能夠檢查數(shù)據(jù)并實時響應(yīng)數(shù)據(jù)。例如，百度智能云與麥飛科技一起將BIE-AI-Board（內(nèi)置檢測模型和作業(yè)模型）部署在無人機上，利用高光譜及可見光攝像頭采集作物信息數(shù)據(jù)，將之上傳至BIE-AI-Board，由BIE-AI-Board加載檢測模型對作物病蟲害位置、等級進行判斷，并根據(jù)檢測結(jié)果調(diào)用作業(yè)模型控制植保機執(zhí)行植保作業(yè)，現(xiàn)該方案已在國內(nèi)多塊農(nóng)田里開始實施。

智慧農(nóng)業(yè)

農(nóng)業(yè)也將同樣受益于邊緣AI。除了無人機的應(yīng)用，還有利用基于邊緣計算的農(nóng)業(yè)物聯(lián)網(wǎng)實現(xiàn)精準農(nóng)業(yè)的應(yīng)用等。例如，一家總部位于澳大利亞的農(nóng)業(yè)技術(shù)公司The Yield，它使用傳感器、數(shù)據(jù)和人工智能幫助農(nóng)民做出有關(guān)天氣、土壤和植物條件的明智決策。

公共安全

人臉識別系統(tǒng)是監(jiān)控攝像頭的發(fā)展方向，它可以通過學(xué)習(xí)人臉識別人類個體。2019年11月，WDS有限公司發(fā)布了AI攝像頭模塊Eeye，通過邊緣AI實時分析面部特征。對于邊緣計算的使用，即強化攝像頭終端的運算處理能，可讓其所搭載的人臉識別功能不再依賴云端服務(wù)器，避免耗費時間上傳圖像，節(jié)省了大量帶寬資源。而且通過在本地設(shè)備上直接完成臉部辨識，進而讓識別過程縮短至1.5秒內(nèi)。

實時視頻分析也是邊緣AI最重要的應(yīng)用場景之一。此前，視頻分析一般在云端進行，面臨著高流量消耗、延遲大等問題。隨著邊緣計算的發(fā)展，可以將部分視頻分析工作轉(zhuǎn)移到邊緣節(jié)點進行。在末端，視頻采集設(shè)備負責(zé)視頻采集、壓縮和圖像/視頻預(yù)處理。在邊緣層，多個分布式邊緣節(jié)點相互協(xié)作。在云端，由于邊緣節(jié)點的分布式模型訓(xùn)練可能因其本地知識有限而未能經(jīng)過良好訓(xùn)練，當(dāng)邊緣無法提供服務(wù)時，云利用全局知識進行進一步處理，并幫助邊緣節(jié)點更新訓(xùn)練模型。

Tractica的一份報告估計：到 2025 年，人工智能邊緣設(shè)備出貨量將從2018年的1.614億臺增加到全球每年26億臺。就單位數(shù)量而言，頂級的人工智能邊緣設(shè)備將包括手機、智能揚聲器、個人電腦 /平板電腦、頭戴式顯示器、汽車傳感器、無人機、消費者和企業(yè)機器人以及安全攝像頭。可穿戴式健康傳感器、建筑物或設(shè)施傳感器還將有更多人工智能。

車聯(lián)網(wǎng)

車聯(lián)網(wǎng)通過將車輛互聯(lián)，提高安全性和效率，減少交通事故和避免擁塞。前期，蜂窩網(wǎng)絡(luò)、邊緣計算、AI都曾作為獨立的技術(shù)為車聯(lián)網(wǎng)服務(wù)。邊緣計算能夠為車聯(lián)網(wǎng)提供高速數(shù)據(jù)傳輸、低時延等服務(wù)，使得自動駕駛成為可能。AI更是被廣泛應(yīng)用于智慧交通的各個領(lǐng)域。兩者結(jié)合將有利于進一步優(yōu)化車聯(lián)網(wǎng)的性能，通過邊緣人工智能實現(xiàn)車輛的精準定位、目標跟蹤、智能感知和決策。

醫(yī)療健康

健康醫(yī)療已經(jīng)進入數(shù)據(jù)時代。健康意識的普及使得醫(yī)療器械和終端越來越多樣化，邊緣人工智能將在智慧醫(yī)療領(lǐng)域有多個應(yīng)用場景。首先是院前急救，在急診病人到達醫(yī)院或者兩個醫(yī)院轉(zhuǎn)移期間，目前的緊急醫(yī)療服務(wù)大多部署在云端，容易受移動環(huán)境和極端天氣的影響和限制。邊緣人工智能可以在救護車和醫(yī)院之間建立雙向?qū)崟r通信信道，實現(xiàn)實時自然語言和圖像處理，提高及時性和效率。其次是智能可穿戴設(shè)備，目前的智能可穿戴設(shè)備受計算能力影響，只起到數(shù)據(jù)采集的作用。邊緣人工智能在智能穿戴領(lǐng)域的研究正在進行，例如瓦倫西亞政治大學(xué)研究員賈米·安德列斯·林肯在可穿戴設(shè)備上部署邊緣AI監(jiān)測人類情緒等。未來，將有更多輕量級智能算法在終端上進行，實時監(jiān)測、分析和預(yù)測健康數(shù)據(jù)，幫助人類更好地了解自己身體狀況。

智慧城市

隨著城市規(guī)模的不斷擴大，數(shù)據(jù)呈現(xiàn)地理分布的特性，需要邊緣人工智能模式提供對時延敏感設(shè)備的監(jiān)控和智能控制。通過邊緣計算支撐智慧城市大規(guī)模基礎(chǔ)設(shè)施的計算和服務(wù)，可以實現(xiàn)終端設(shè)備的低時延應(yīng)用，將時延要求高的任務(wù)部署在邊緣節(jié)點執(zhí)行。通過AI來協(xié)同和調(diào)度城市基礎(chǔ)設(shè)施，應(yīng)用到公共安全、健康醫(yī)療、城市管理、交通出行、智慧社區(qū)和其他領(lǐng)域，實現(xiàn)整個城市的資源最佳利用。

例如，關(guān)于交通擁堵問題，新加坡通過聯(lián)網(wǎng)運輸解決方案應(yīng)對了巨大的交通挑戰(zhàn)。其智能交通系統(tǒng)（ITS）已經(jīng)形成了電子道路收費的先鋒系統(tǒng)，隨著交通量激增公路收費也隨之增加。ITS 還允許通過具有GPS功能的出租車提供實時交通信息，并整合公共交通結(jié)構(gòu)，同時也能夠使公交車更加準時。城市衛(wèi)生條件也可以通過智能技術(shù)改善，如使用互聯(lián)網(wǎng)連接的垃圾桶或物聯(lián)網(wǎng)支持的車隊管理系統(tǒng)進行廢物收集和垃圾處理，或者是將傳感器技術(shù)應(yīng)用于智能廢物容器，（它會自動感知什么時候垃圾到達容器的頂部，從而及時通知城市環(huán)衛(wèi)部門收集垃圾）。

制造業(yè)

在工業(yè)制造領(lǐng)域，AI和邊緣應(yīng)用有望在智能工廠的發(fā)展中發(fā)揮越來越重要的作用。在工業(yè)4.0模式的推動下，下一代智能工廠將先進的機器人技術(shù)、機器學(xué)習(xí)技術(shù)應(yīng)用于軟件服務(wù)和工業(yè)物聯(lián)網(wǎng)中，以提高產(chǎn)能和最大化生產(chǎn)效率。邊緣計算和人工智能使用本地傳感器控制和管理輸出，能夠顯著地提高效率，減少誤差。邊緣系統(tǒng)可以在毫秒內(nèi)響應(yīng)輸入，要么進行調(diào)整以修復(fù)問題，要么關(guān)閉生產(chǎn)線以防止出現(xiàn)嚴重問題。

四、邊緣AI所面臨的挑戰(zhàn)

近兩年，邊緣智能產(chǎn)業(yè)生態(tài)逐漸構(gòu)建，不過在形勢大好的背后，邊緣智能仍然面臨著各種各樣的難題。

其一，由于云計算服務(wù)的下沉，有些流量直接通過本地邊緣智能平臺流出。在傳統(tǒng)核心網(wǎng)中，計算、控制、安全等均在核心網(wǎng)內(nèi)部完成，如何對邊緣智能平臺的流量進行計費和控制，需要進行研究；同時邊緣智能在實際的網(wǎng)絡(luò)架構(gòu)上有多種不同的部署規(guī)劃，比如部署在無線接入云、邊緣云及匯聚云，而不同的架構(gòu)所面臨的問題也略有不同。

其二，邊緣智能所服務(wù)的對象以及場景較為多樣化，如何使一套邊緣智能平臺適應(yīng)多樣化的第三方應(yīng)用，也是目前面臨的一個問題。

其三，因為業(yè)務(wù)的碎片化，邊緣智能可能針對單一場景或者兩三個場景進行部署，不僅需要在整個部署能力特性上進行明確定義，且需要考慮如何進行敏捷智能化的運維。

其四，如何更好地引入人工智能，發(fā)揮邊緣計算的整體優(yōu)勢有待研究。

其五，協(xié)調(diào)如何將邊緣智能平臺內(nèi)部基于OpenStack 的平臺管理子系統(tǒng)進一步輕量化，并考慮將一些微服務(wù)架構(gòu)迅速地引入邊緣智能平臺，從而降低管理開銷。此外，邊緣智能的商業(yè)運營模式、部署位置、自愈和自動擴縮容等問題仍需要得到進一步的明確和解決。

當(dāng)前，雖然邊緣智能仍處于發(fā)展初期，不過作為下一波計算浪潮，從通信行業(yè)、互聯(lián)網(wǎng)行業(yè)再到工業(yè)領(lǐng)域，普遍對邊緣智能將要發(fā)揮的重大作用寄予了厚望。邊緣智能作為使能 5G 三大典型應(yīng)用場景的計算范式，把IT服務(wù)環(huán)境和云計算能力擴展到了移動網(wǎng)絡(luò)邊緣，必將與云端智能協(xié)同助力各行各業(yè)的數(shù)字化轉(zhuǎn)型。隨著5G的普及，相信不久將看到全球邊緣AI服務(wù)成本的下降和需求的上升。