從云到 Cloudlets:一種新的數(shù)據(jù)處理方法?
關(guān)鍵要點
- 越來越多的終端設(shè)備數(shù)據(jù)到云端進(jìn)行處理,這越來越多的共識是資源密集、耗時且效率低下,無法由大型單體云處理。
- 將數(shù)據(jù)從每個物聯(lián)網(wǎng)設(shè)備轉(zhuǎn)移到基于云的神經(jīng)網(wǎng)絡(luò)進(jìn)行語音識別根本不可行。然而,通過在這些設(shè)備和中央云之間使用間隙小云,神經(jīng)網(wǎng)絡(luò)可以開始通知即使是最小的物聯(lián)網(wǎng)設(shè)備的操作。
- 到目前為止,cloudlets 面臨的最大挑戰(zhàn)是安全性,因為一旦數(shù)據(jù)在多個存儲和處理設(shè)備上分散,安全管理它們就變得更加困難。最有效的安全措施是在數(shù)據(jù)在 cloudlet、設(shè)備和云之間移動時對其進(jìn)行加密。
- 盡管 Cloudlet 模型提供了所有機(jī)會,但截至 2020 年它們?nèi)匀幌喈?dāng)罕見。
盡管新技術(shù)一直在出現(xiàn),但過去十年的總體發(fā)展方向已經(jīng)很明確:從本地分布式數(shù)據(jù)處理轉(zhuǎn)向云存儲。
這種轉(zhuǎn)變的部分原因是過去十年連接設(shè)備數(shù)量的爆炸式增長,這也需要將數(shù)據(jù)集中在一個地方進(jìn)行處理和存儲。
然而,現(xiàn)在可能正在發(fā)生一種奇怪的逆轉(zhuǎn)。小型分布式云或命名法中的“小云”的日益普及 ,是對“傳統(tǒng)”云模型局限性的隱含認(rèn)識,并可能標(biāo)志著數(shù)據(jù)收集、存儲和處理方式的重大轉(zhuǎn)變.
在本文中,我們將探討小云的興起:它們是什么,它們帶來的挑戰(zhàn),以及它們是否是一種 比我們已經(jīng)習(xí)慣的云更可行的聯(lián)網(wǎng)設(shè)備方式。
超大規(guī)模與本地規(guī)模
盡管“cloudlet”這個術(shù)語仍然相對較新(并且相對晦澀),但它的核心概念并非如此。即使從云計算的早期開始,人們就認(rèn)識到將大量數(shù)據(jù)發(fā)送到云進(jìn)行處理 會引發(fā)帶寬問題。在過去十年的大部分時間里,設(shè)備與云共享的數(shù)據(jù)量相對較少,掩蓋了這個問題。
然而,現(xiàn)在,標(biāo)準(zhǔn)云模型的局限性變得非常明顯。越來越 多的終端設(shè)備數(shù)據(jù)到云端進(jìn)行處理,這越來越多的共識 是資源密集型、耗時且效率低下,無法由大型單體云處理。
相反, 一些 分析師表示,這些數(shù)據(jù)在本地處理得更好。此處理要么需要在生成這些數(shù)據(jù)的設(shè)備中進(jìn)行,要么需要在設(shè)備和組織的中央云存儲之間的半本地云中進(jìn)行。
這就是“cloudlet”的含義:智能設(shè)備、cloudlet 和云。Cloudlet 可以被 視為一個盒子中的數(shù)據(jù)中心,其目標(biāo)是通過為設(shè)備提供處理能力,從而使云更接近設(shè)備。至少有一些本地數(shù)據(jù)。
值得注意的是,這種方法與假定物聯(lián)網(wǎng)基礎(chǔ)設(shè)施的工作方式有很大不同。甚至在幾年前,人們就認(rèn)為 5G 連接將 允許 物聯(lián)網(wǎng)設(shè)備(包括自動駕駛汽車)所需的 所有數(shù)據(jù)處理在云端執(zhí)行。
然而,越來越清楚的是,這些設(shè)備的計算需求——尤其是為它們配備語音識別接口的愿望——遠(yuǎn)遠(yuǎn)超出了單片云所能處理的范圍。
機(jī)遇與挑戰(zhàn)
同時,組織和工程師都非常不愿意失去云存儲和處理的所有優(yōu)勢。 云模型提供的額外便利和安全性是今年使用更多基于云的應(yīng)用程序的公司比去年多36%的主要原因之一 。但是,希望通過將其中一些應(yīng)用程序移到更靠近其數(shù)據(jù)源的位置,可以提高它們的效率。
這樣做可能帶來的機(jī)會可能是巨大的。目前, 使用神經(jīng)網(wǎng)絡(luò)的最大限制之一 是它們必須輸入的大量數(shù)據(jù)才能有效地工作。
例如,將數(shù)據(jù)從每個物聯(lián)網(wǎng)設(shè)備轉(zhuǎn)移到基于云的神經(jīng)網(wǎng)絡(luò)進(jìn)行語音識別是不可行的。然而,通過在這些設(shè)備和中央云之間使用間隙小云,神經(jīng)網(wǎng)絡(luò)可以開始通知即使是最小的物聯(lián)網(wǎng)設(shè)備的操作。通過公共云邊緣服務(wù)的邊緣服務(wù)移動數(shù)據(jù)流意味著通過鏈接到整個國家或省份的服務(wù)區(qū)域的管道移動數(shù)據(jù),這就是為什么使用小云傳輸數(shù)據(jù)可以更有效的原因。
這將產(chǎn)生幾個連鎖效應(yīng)。一個,已經(jīng)提到,將大大提高 在物聯(lián)網(wǎng)設(shè)備中使用語音識別系統(tǒng)的能力。另一個同樣重要的影響將是增強(qiáng)在分布式位置使用視覺 AI 系統(tǒng)(例如面部識別)的能力。
盡管如此,向小云的遷移也帶來了一些新的挑戰(zhàn),涉及數(shù)據(jù)分發(fā)、存儲和安全性。其中最基本的與設(shè)計小云的架構(gòu)模型有關(guān)。小云模型的 基本假設(shè) 是,這些較小的分布式云可以比其較大的集中式類似物更快地處理數(shù)據(jù)。
然而,這種類型的本地化數(shù)據(jù)處理需要本地處理單元有足夠的電力,這對固有的便攜式物聯(lián)網(wǎng)設(shè)備來說是一個挑戰(zhàn)。如果必須在很長的地理距離上移動數(shù)據(jù),這個問題就會變得更加復(fù)雜。
其次,研究小云模型可行性的研究人員面臨另一個問題:保持?jǐn)?shù)據(jù)同步和連貫,不僅跨多個設(shè)備,而且跨多個子云。以這種方式確保數(shù)據(jù)的一致性不僅會影響云系統(tǒng)本身的可靠性:對于自動駕駛汽車,這可能對其安全運(yùn)行至關(guān)重要。
安全性和碎片化
然而,到目前為止,cloudlets 面臨的最大挑戰(zhàn)是安全性。遷移到云基礎(chǔ)架構(gòu)背后的主要驅(qū)動力之一是這些系統(tǒng) 比分布式系統(tǒng)更安全,因為它們允許將所有數(shù)據(jù)集中在一起并在集中式系統(tǒng)下進(jìn)行管理以進(jìn)行訪問和控制。這導(dǎo)致云存儲系統(tǒng)在具有安全意識的組織和個人中變得非常流行。
遷移到在小云中存儲和處理數(shù)據(jù)的模型可能會破壞安全性,因為一旦數(shù)據(jù)在多個存儲和處理設(shè)備中分散,安全管理它們就變得更加困難。更糟糕的是,Cloudlet 基礎(chǔ)設(shè)施的許多擬議用途要求收集數(shù)據(jù)并將其存儲在黑客可能能夠物理訪問的設(shè)備上。
最明顯的例子是 為自動駕駛汽車提出的小云類型。例如,不難想象,這些車輛可以在小云中連接在一起,使它們能夠共享有關(guān)當(dāng)?shù)亟煌顩r的信息,而無需依賴集中式基礎(chǔ)設(shè)施。問題在于,在這些分散的云中存儲太多數(shù)據(jù)會使它們?nèi)菀资艿轿锢砉?,因為汽車比?shù)據(jù)中心更容易獲得物理訪問。
cloudlet 系統(tǒng)安全性的第二個問題是——就其本質(zhì)而言——它們是定制的、單獨定制的系統(tǒng)。換句話說,投資間隙云并沒有什么意義,只是讓它在與集中式系統(tǒng)相同的資源密集型軟件上運(yùn)行。
設(shè)計定制的小云系統(tǒng)來處理同樣定制的物聯(lián)網(wǎng)設(shè)備的特定需求可能會使這些設(shè)備更高效,但也可能使它們不那么安全。大型、單一的云系統(tǒng)可能有數(shù)百名安全工程師在尋找潛在威脅:內(nèi)部開發(fā)的 cloudlet 系統(tǒng)無法與這種級別的監(jiān)督相匹敵。應(yīng)用程序安全測試的最新 進(jìn)展 已經(jīng)解決了 cloudlet 系統(tǒng)中的許多安全漏洞,但仍有許多工作要做。
另一方面,有一些理由相信 Cloudlet 系統(tǒng) 可能 比它們的全云系統(tǒng)更安全。這是因為與許多云系統(tǒng)上的全譜數(shù)據(jù)相比,這些較小系統(tǒng)收集的數(shù)據(jù)本質(zhì)上不那么詳盡,因此價值也較低。
當(dāng)然,也有可能在構(gòu)建通過大量間隙設(shè)備共享數(shù)據(jù)的系統(tǒng)時,可以設(shè)置更多層的保護(hù)。
然而,實際上,最有效的方法是在數(shù)據(jù)在 cloudlet、設(shè)備和云之間移動時對其進(jìn)行加密。實現(xiàn)這一點的最簡單方法之一是依賴使用 L2TP 或 IKEv2 協(xié)議的虛擬專用網(wǎng)絡(luò),這兩種協(xié)議 在協(xié)商新隧道會話時都提供了出色的安全性和可靠性。目前,無論是設(shè)備還是小云都不具備部署強(qiáng)加密同時保持可觀性能的計算能力。
通訊
盡管 Cloudlet 模型提供了所有機(jī)會,但截至 2020 年它們?nèi)匀幌喈?dāng)罕見。這部分是因為大規(guī)模部署這些系統(tǒng)所需的基礎(chǔ)設(shè)施仍在推出。
這些要求之一可能是 5G 連接。然而,世界各地采用 5G 標(biāo)準(zhǔn)的方式可能會對 Cloudlet 模型的可行性產(chǎn)生重大影響。
具體來說,小云系統(tǒng)的主要應(yīng)用之一可能是在工業(yè)(尤其是汽車)制造中,其中建筑機(jī)器人可能在小云和云的分層“金字塔”中連接在一起。
然而,在美國,5G 已在更高的 S 頻段上進(jìn)行了標(biāo)準(zhǔn)化,該頻段也用于雷達(dá)。因此,讓這些機(jī)器人使用 5G 進(jìn)行通信非常困難。在實施了不同 5G 標(biāo)準(zhǔn)的其他國家/地區(qū),使用這種額外的連接在制造中實施 cloudlet 可能更容易。
然而,同樣值得注意的是,5G 也 有其自身的安全問題。目前,通過 5G 網(wǎng)絡(luò)傳輸?shù)慕^大多數(shù)數(shù)據(jù)都是加密的,這是可能的,因為它只在云端進(jìn)行處理和存儲。Cloudlets 增加了這些系統(tǒng)的表面攻擊區(qū)域,引發(fā)了對這些數(shù)據(jù)可能被盜或被監(jiān)視的擔(dān)憂。
未來
小云是否有一個可行的未來還有待觀察。在許多方面,這種模型可以為網(wǎng)絡(luò)工程師提供兩全其美的方法:一種在分布式設(shè)備上部署高級功能而沒有相關(guān)帶寬問題的方法。另一方面,可以說,Cloudlet 模型通過嘗試使這種折衷發(fā)揮作用,并沒有特別好地完成任務(wù)。具體來說,小云 可能會破壞 集中式系統(tǒng)固有的安全性,而不會提供更多的計算能力。
這樣看來,小云很可能成為未來幾年的一個關(guān)鍵“戰(zhàn)場”。這場戰(zhàn)斗的一方是熱衷于推動其邊緣計算技術(shù)的公司,并將計算位置在數(shù)據(jù)流中的“更左端”轉(zhuǎn)移到終端設(shè)備和邊緣數(shù)據(jù)中心。另一方面是大型、資源充足的云存儲和安全公司,他們對將計算任務(wù)保留在云中具有既得利益。
實際上,我們很可能會在未來十年內(nèi)看到混合模式的出現(xiàn),這將更多地出于必要而非欲望。畢竟, 今天存在的所有數(shù)據(jù)中有 90% 是在過去兩年中產(chǎn)生的,其中 80% 是視頻或圖像。鑒于此,繼續(xù)在設(shè)備或云中存儲和處理數(shù)據(jù)根本不可行。
換句話說,需要的是一些間隙計算和存儲系統(tǒng),以及——最重要的是——能夠以智能方式管理請求的系統(tǒng)。
結(jié)論
CXL(可被視為硬件實現(xiàn)的小云系統(tǒng))背后的增長勢頭顯示了擁有動態(tài)、可分配資源的價值,這種洞察力可能會對未來幾年小云的使用方式產(chǎn)生巨大影響.
當(dāng)然,這將代表某種逆轉(zhuǎn),因為在 1970 年代,第一個企業(yè)網(wǎng)絡(luò)在分層大型機(jī)模型上運(yùn)行,使用的系統(tǒng)非常類似于 cloudlets。因此,我們可能已經(jīng)繞了一圈。