邊緣的AI允許通過本地化處理進(jìn)行實(shí)時(shí)機(jī)器學(xué)習(xí)，從而實(shí)現(xiàn)即時(shí)數(shù)據(jù)處理，詳細(xì)的安全性和增強(qiáng)的客戶體驗(yàn)。同時(shí)，許多企業(yè)正在尋求將AI推入云端，這可以減少實(shí)施障礙，改善知識(shí)共享并支持更大的模型。前進(jìn)的道路在于找到一種利用云和邊緣優(yōu)勢(shì)的平衡。

[[361049]]

集中式云資源通常用于訓(xùn)練深度學(xué)習(xí)推理模型，因?yàn)殚_發(fā)精確模型需要大量數(shù)據(jù)和計(jì)算。生成的模型可以部署在中央云位置，也可以分發(fā)到邊緣的設(shè)備。

邊緣AI和云AI相得益彰，并且云資源幾乎總是與邊緣AI用例有關(guān)。在一個(gè)完美的世界中，為了簡(jiǎn)化和擴(kuò)展，我們將所有工作負(fù)載集中在云中，但是，諸如延遲，帶寬，自治性，安全性和隱私之類的因素使得必須在靠近數(shù)據(jù)的邊緣部署更多的AI模型。消息來源。一些培訓(xùn)正在邊緣進(jìn)行，并且越來越多地關(guān)注聯(lián)合學(xué)習(xí)的概念，該概念將處理集中在數(shù)據(jù)區(qū)域，同時(shí)集中結(jié)果以消除區(qū)域偏見。

邊緣AI的崛起

更好的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)和新的邊緣計(jì)算架構(gòu)的興起，正在打破集中式云AI與分布式邊緣AI工作負(fù)載之間的障礙。

其優(yōu)勢(shì)是基礎(chǔ)架構(gòu)的巨大新興變化，它通過增加分布在世界每個(gè)角落的信息技術(shù)層來補(bǔ)充云。我們相信邊緣AI會(huì)引發(fā)一場(chǎng)革命，就像云技術(shù)獲得牽引力一樣大。

如果設(shè)計(jì)得當(dāng)，Edge AI將為自動(dòng)縮放帶來新的機(jī)會(huì)，因?yàn)槊總€(gè)新用戶都會(huì)為集體工作負(fù)載帶來全新的機(jī)器。邊緣還可以更好地訪問更多未處理的原始輸入數(shù)據(jù)，而云AI解決方案必須與預(yù)處理的數(shù)據(jù)一起使用以提高性能或龐大的數(shù)據(jù)集，這時(shí)帶寬可能會(huì)成為一個(gè)嚴(yán)重問題。

將事物移到邊緣的原因是為了獲得更好的響應(yīng)時(shí)間。速度和延遲對(duì)于諸如計(jì)算機(jī)視覺和用于5G的虛擬無線電接入網(wǎng)絡(luò)等應(yīng)用至關(guān)重要。另一個(gè)重大好處在于，通過限制將哪些數(shù)據(jù)上傳到云來改善隱私。

Edge AI的部署也充滿了限制，包括網(wǎng)絡(luò)延遲，內(nèi)存壓力，電池消耗以及進(jìn)程可能被用戶或操作系統(tǒng)作為后臺(tái)的可能性。從事邊緣AI的開發(fā)人員需要計(jì)劃各種限制，尤其是在探索手機(jī)等常見用例時(shí)。

互補(bǔ)方法

大多數(shù)專家將邊緣和云方法視為更大戰(zhàn)略的補(bǔ)充部分。云AI更適合批量學(xué)習(xí)技術(shù)，該技術(shù)可以處理大數(shù)據(jù)集以構(gòu)建更智能的算法，從而快速，大規(guī)模地獲得最大的準(zhǔn)確性。Edge AI可以執(zhí)行這些模型，而云服務(wù)可以從這些模型的性能中學(xué)習(xí)并應(yīng)用于基礎(chǔ)數(shù)據(jù)以創(chuàng)建一個(gè)連續(xù)的學(xué)習(xí)循環(huán)。

保持適當(dāng)?shù)钠胶?如果您完全致力于邊緣AI，那么您將失去持續(xù)改進(jìn)模型的能力。沒有新的數(shù)據(jù)流，您將無處利用。但是，如果您完全致力于云AI，則可能會(huì)危及數(shù)據(jù)質(zhì)量-由于需要進(jìn)行權(quán)衡才能使其可上傳，并且缺乏反饋來指導(dǎo)用戶捕獲更好的數(shù)據(jù)-或數(shù)據(jù)量。

邊緣AI補(bǔ)充了云AI，可在需要時(shí)提供對(duì)即時(shí)決策的訪問，并利用云獲得更深入的見解或需要更廣泛或更縱向的數(shù)據(jù)集來推動(dòng)解決方案的見解。

例如，在連接的汽車中，汽車上的傳感器會(huì)提供實(shí)時(shí)數(shù)據(jù)流，該數(shù)據(jù)流會(huì)不斷進(jìn)行處理并做出決策，例如施加制動(dòng)器或調(diào)整方向盤?？梢詫⑾嗤膫鞲衅鲾?shù)據(jù)流式傳輸?shù)皆浦幸赃M(jìn)行長(zhǎng)期的模式分析，從而可以警告所有者急需的維修，從而可以防止將來發(fā)生事故。另一方面，云AI對(duì)邊緣AI進(jìn)行了補(bǔ)充，以推動(dòng)更深入的見解，調(diào)整模型并繼續(xù)增強(qiáng)他們的見解。

云計(jì)算和邊緣AI協(xié)同工作，以更深入的洞察力為驅(qū)動(dòng)力，制定即時(shí)的需求決策，而這些洞察力不斷被新的邊緣數(shù)據(jù)所告知。

培訓(xùn)工作流程

使邊緣AI和云AI協(xié)同工作的主要挑戰(zhàn)是程序和體系結(jié)構(gòu)。需要對(duì)應(yīng)用程序進(jìn)行設(shè)計(jì)，以便有目的地拆分和協(xié)調(diào)它們之間的工作量。

例如，啟用邊緣的攝像頭可以處理源自傳感器的所有信息，而不會(huì)因無關(guān)數(shù)據(jù)而使網(wǎng)絡(luò)過載。但是，當(dāng)最終在邊緣檢測(cè)到感興趣的對(duì)象時(shí)，可以將相關(guān)幀廣播到更大的云應(yīng)用程序，該應(yīng)用程序可以存儲(chǔ)，進(jìn)一步分析（例如，幀中對(duì)象的子類型是什么以及其屬性是什么），以及與人類主管共享分析結(jié)果。

一種策略在于創(chuàng)建一種在模型和數(shù)據(jù)的大小與數(shù)據(jù)傳輸成本之間取得平衡的體系結(jié)構(gòu)。對(duì)于大型模型，留在云中更有意義。有多種方法可以減小模型大小以幫助解決問題，但是，如果要處理非常大的模型，則可能需要在云中運(yùn)行它。

在其他情況下，當(dāng)在邊緣生成大量數(shù)據(jù)時(shí)，在本地更新模型，然后將其子集反饋到云中以進(jìn)行進(jìn)一步優(yōu)化可能更有意義。在對(duì)敏感數(shù)據(jù)進(jìn)行推理時(shí)，開發(fā)人員還需要考慮一些隱私問題。例如，如果開發(fā)人員希望通過手機(jī)攝像頭檢測(cè)中風(fēng)的證據(jù)，則應(yīng)用程序可能需要在本地處理數(shù)據(jù)以確保符合HIPAA。

框架將不斷發(fā)展，以提供更多有關(guān)在哪里進(jìn)行培訓(xùn)以及如何提高重用性的選擇。例如，TensorFlow.js使用WebGL和WebAssembly在瀏覽器中運(yùn)行（有益于隱私，低延遲，利用桌面或移動(dòng)GPU資源等），但也可以加載分片的，緩存的云訓(xùn)練模型版本。模型交換格式（例如，開放神經(jīng)網(wǎng)絡(luò)交換）也可以增加模型在不同環(huán)境中的流動(dòng)性。Sletten建議探索像LLVM這樣的工具，這是一個(gè)開源編譯器基礎(chǔ)結(jié)構(gòu)項(xiàng)目，以使從應(yīng)用程序所運(yùn)行的環(huán)境中抽象出應(yīng)用程序變得更加容易。

需要適應(yīng)

將更多的AI從云轉(zhuǎn)移到邊緣的關(guān)鍵挑戰(zhàn)之一是，能夠在邊緣AI芯片中高效運(yùn)行的神經(jīng)網(wǎng)絡(luò)架構(gòu)。聰明的行車記錄儀供應(yīng)商。

通用計(jì)算平臺(tái)（如在云服務(wù)器中找到的平臺(tái)）可以運(yùn)行任何網(wǎng)絡(luò)體系結(jié)構(gòu)。在邊緣AI中這變得更加困難。架構(gòu)和訓(xùn)練有素的模型必須經(jīng)過修改才能在邊緣的AI芯片組上運(yùn)行。

這是一個(gè)巨大的挑戰(zhàn)，因?yàn)橛脩艨赡軙?huì)從高性能的移動(dòng)網(wǎng)絡(luò)駛向盲區(qū)，而無論如何都希望獲得良好的性能。在推理期間，沒有足夠的網(wǎng)絡(luò)帶寬將所有數(shù)據(jù)從邊緣移動(dòng)到云，但是用例要求將本地推理輸出進(jìn)行全局匯總。邊緣AI可以運(yùn)行神經(jīng)網(wǎng)絡(luò)，以幫助過濾必須發(fā)送到云以進(jìn)行進(jìn)一步AI處理的數(shù)據(jù)。

在其他情況下，云AI訓(xùn)練可能會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型具有過多的層次，無法在邊緣設(shè)備上有效運(yùn)行。在這些情況下，邊緣AI可以運(yùn)行較輕的神經(jīng)網(wǎng)絡(luò)，從而創(chuàng)建輸入的中間表示形式，該中間表示被壓縮得更多，因此可以發(fā)送到云中以進(jìn)行進(jìn)一步的AI處理。在訓(xùn)練期間，邊緣和云AI可以以混合模式運(yùn)行，以提供類似于“虛擬主動(dòng)學(xué)習(xí)”的功能，在這種情況下，邊緣AI篩選大量數(shù)據(jù)并“教導(dǎo)”云AI。

邊緣AI芯片組中受支持的神經(jīng)網(wǎng)絡(luò)架構(gòu)的類型是有限的，并且通常比在云中可以實(shí)現(xiàn)的功能落后幾個(gè)月。解決這些局限性的一種有用方法是使用編譯器工具鏈和堆棧，例如Apache TVM，它們有助于將模型從一個(gè)平臺(tái)移植到另一個(gè)平臺(tái)。

另一種方法是使用已知可以在邊緣AI中很好地工作的網(wǎng)絡(luò)體系結(jié)構(gòu)，并直接為目標(biāo)平臺(tái)訓(xùn)練它們。他發(fā)現(xiàn)，鑒于訓(xùn)練數(shù)據(jù)的數(shù)量和種類足夠多，就絕對(duì)性能而言，這種方法通?？梢詣龠^跨平臺(tái)編譯器方法。但是，它還需要在培訓(xùn)期間以及預(yù)處理和后期處理中進(jìn)行一些手工操作。

邊緣和云AI之間的常見折衷

開發(fā)人員需要在云和邊緣AI之間進(jìn)行權(quán)衡的一些最常見的折衷方案包括：

• 處理能力：邊緣計(jì)算設(shè)備通常功能較弱，并且難以更換或升級(jí)。
• 延遲：云計(jì)算速度很快，但尚未為駕車或工業(yè)控制等實(shí)時(shí)應(yīng)用做好準(zhǔn)備。
• 能耗：大多數(shù)設(shè)計(jì)人員通常不必像對(duì)待邊緣那樣考慮云的能耗約束。
• 連通性：當(dāng)連通性下降時(shí)，像自動(dòng)駕駛汽車這樣的安全關(guān)鍵服務(wù)將無法停止工作，這會(huì)將實(shí)時(shí)AI驅(qū)動(dòng)的決策的處理推向邊緣。 
• 安全性：用于驅(qū)動(dòng)身份驗(yàn)證和處理敏感信息（例如指紋或病歷）的AI服務(wù)通常最好是在本地出于安全考慮而完成。即使部署了非常強(qiáng)大的云安全性，用戶從邊緣處理中獲得更好的隱私感也可能是重要的考慮因素。