終于有人把云邊協(xié)同講明白了
正如前面所述,云計(jì)算是一種基于云的計(jì)算方式,這里的云指的是通過(guò)網(wǎng)絡(luò)連接的軟硬件資源。依賴互聯(lián)網(wǎng),可以將各種共享的軟硬件資源分配給多個(gè)計(jì)算機(jī)以及其他終端使用,這使得終端設(shè)備可以將耗費(fèi)計(jì)算資源多的應(yīng)用程序、計(jì)算過(guò)程放到云上進(jìn)行,大大增加了終端設(shè)備的運(yùn)行效率。
一、云邊協(xié)同是什么
邊緣計(jì)算是一種分布式運(yùn)算的架構(gòu),不同于云計(jì)算,它將之前由中心服務(wù)器負(fù)責(zé)的任務(wù)加以分解,并且將這些分解之后的任務(wù)片段分發(fā)至網(wǎng)絡(luò)的邊緣端,由邊緣端去負(fù)責(zé)運(yùn)算。邊緣計(jì)算降低了相關(guān)信息的傳輸時(shí)間,減小了延遲。
云計(jì)算雖然可以將大型的計(jì)算任務(wù)放到云端去進(jìn)行運(yùn)算,但是對(duì)于需要低延遲的應(yīng)用來(lái)說(shuō),則會(huì)遇到網(wǎng)絡(luò)帶寬瓶頸等問(wèn)題。邊緣計(jì)算可以將任務(wù)放到邊緣端來(lái)進(jìn)行,因此邊緣計(jì)算受到了本地邊緣終端計(jì)算能力的限制。
為了解決上述云計(jì)算與邊緣計(jì)算的缺點(diǎn),云邊協(xié)同應(yīng)運(yùn)而生。云邊協(xié)同將云計(jì)算與邊緣計(jì)算緊密地結(jié)合起來(lái),通過(guò)合理地分配云計(jì)算與邊緣計(jì)算的任務(wù),實(shí)現(xiàn)了云計(jì)算的下沉,將云計(jì)算、云分析擴(kuò)展到邊緣端。隨著技術(shù)的發(fā)展,云邊協(xié)同一定會(huì)在未來(lái)的互聯(lián)網(wǎng)產(chǎn)業(yè)之中占有一席之地。
二、云邊協(xié)同下的數(shù)據(jù)安全場(chǎng)景
隨著云計(jì)算與邊緣計(jì)算的發(fā)展,數(shù)據(jù)安全問(wèn)題也成為一個(gè)重要的研究課題。針對(duì)數(shù)據(jù)安全保護(hù),首先需要明確數(shù)據(jù)安全保護(hù)的相關(guān)場(chǎng)景。在云邊協(xié)同的環(huán)境下,主要考慮兩種數(shù)據(jù)安全場(chǎng)景:訓(xùn)練與查詢。
在云邊協(xié)同訓(xùn)練場(chǎng)景下,可以有以下應(yīng)用實(shí)例。
(1)云邊協(xié)同人臉識(shí)別模型訓(xùn)練
對(duì)于一個(gè)機(jī)器學(xué)習(xí)模型來(lái)說(shuō),訓(xùn)練樣本的數(shù)量會(huì)影響到最終模型的效果。而在大數(shù)據(jù)時(shí)代下,各種各樣的智能設(shè)備都可以進(jìn)行數(shù)據(jù)樣本的采集。然而如果將采集的設(shè)備傳輸?shù)皆贫诉M(jìn)行模型訓(xùn)練則會(huì)面臨一些問(wèn)題:一是帶寬與延遲的消耗;二是數(shù)據(jù)保存在云端則會(huì)有嚴(yán)重的隱私泄露隱患。
在這種場(chǎng)景下,云邊協(xié)同進(jìn)行模型的訓(xùn)練則是一個(gè)很好的選擇。得益于邊緣端的數(shù)據(jù)收集能力,最終訓(xùn)練出來(lái)的模型的泛化性能會(huì)更好。其中邊緣端負(fù)責(zé)數(shù)據(jù)的收集以及部分的模型訓(xùn)練,云端負(fù)責(zé)將邊緣端的模型更新聚合并且發(fā)送回邊緣端。而傳統(tǒng)的人臉識(shí)別模型訓(xùn)練通常是先收集人臉數(shù)據(jù),然后對(duì)人臉數(shù)據(jù)進(jìn)行標(biāo)注,同時(shí)在中心服務(wù)器進(jìn)行人臉識(shí)別模型訓(xùn)練,最后將訓(xùn)練得到的模型部署到邊緣端。
在上述訓(xùn)練過(guò)程中,需要由數(shù)據(jù)收集邊緣端收集數(shù)據(jù),同時(shí)與中心服務(wù)器進(jìn)行直接的數(shù)據(jù)交互,而直接的數(shù)據(jù)交互勢(shì)必導(dǎo)致隱私的泄露問(wèn)題。相比于傳統(tǒng)的人臉識(shí)別模型訓(xùn)練,云邊協(xié)同下的人臉識(shí)別模型訓(xùn)練(見(jiàn)圖1)不需要將人臉數(shù)據(jù)上傳至中心服務(wù)器,而這防止了某種程度的隱私泄露問(wèn)題,然而云邊協(xié)同下的人臉識(shí)別模型訓(xùn)練仍然面臨著許多問(wèn)題,例如訓(xùn)練數(shù)據(jù)的標(biāo)注問(wèn)題以及如何更好地進(jìn)行分布式訓(xùn)練,這些問(wèn)題都需要進(jìn)一步研究與解決。
圖1 云邊協(xié)同人臉模型訓(xùn)練
(2)云邊協(xié)同推薦系統(tǒng)
云邊協(xié)同下的推薦系統(tǒng)訓(xùn)練利用邊緣端收集的數(shù)據(jù)在邊緣端本地進(jìn)行訓(xùn)練,同時(shí)將模型的更新信息上傳至云端進(jìn)行模型的整合,本地的模型訓(xùn)練避免了用戶的行為習(xí)慣、瀏覽數(shù)據(jù)等信息被上傳至云邊,減少了隱私泄露的可能。而傳統(tǒng)的推薦系統(tǒng)的實(shí)現(xiàn),則需要服務(wù)提供商(例如淘寶、微博等)主動(dòng)采集用戶的瀏覽數(shù)據(jù)、瀏覽偏好、搜索數(shù)據(jù)等信息,從而進(jìn)行推薦模型的訓(xùn)練,最后根據(jù)訓(xùn)練的模型來(lái)對(duì)用戶進(jìn)行有針對(duì)的推薦。而這種數(shù)據(jù)收集不可避免的會(huì)產(chǎn)生安全隱私問(wèn)題。盡管以云邊協(xié)同的方式進(jìn)行推薦系統(tǒng)的相關(guān)訓(xùn)練可以在某種程度上避免服務(wù)商在云端收集用戶的瀏覽記錄等隱私數(shù)據(jù),以達(dá)成數(shù)據(jù)安全保護(hù)的目標(biāo),但是該方法仍然面臨著一些問(wèn)題需要解決,例如邊緣端設(shè)備的性能制約、云邊通信的帶寬制約等,而這些問(wèn)題都需要更進(jìn)一步的研究。
(3)傳統(tǒng)能源行業(yè)下的云邊協(xié)同數(shù)據(jù)處理
云邊協(xié)同技術(shù)不僅僅可以應(yīng)用于上述的大數(shù)據(jù)場(chǎng)景,對(duì)于傳統(tǒng)的能源行業(yè)來(lái)說(shuō),它涉及的各種設(shè)備相對(duì)復(fù)雜,邊緣端傳感器較多,若是將收集數(shù)據(jù)全部發(fā)送至云端,則會(huì)面臨較大的帶寬壓力,因此轉(zhuǎn)型難度較大。而傳統(tǒng)行業(yè)下的數(shù)據(jù)處理往往比較依賴于人工,這也給傳統(tǒng)行業(yè)的轉(zhuǎn)型帶來(lái)了困難。接下來(lái)以石油行業(yè)為例,簡(jiǎn)述石油行業(yè)下云邊協(xié)同的相關(guān)場(chǎng)景以及數(shù)據(jù)安全問(wèn)題。不同于傳統(tǒng)的人工錄入等方法,在云邊協(xié)同的環(huán)境下,針對(duì)石油開(kāi)采,可以將傳感器、各種開(kāi)采設(shè)備等收集到的信息進(jìn)行整合并且發(fā)送到具有簡(jiǎn)單數(shù)據(jù)處理能力的邊緣端進(jìn)行數(shù)據(jù)的自動(dòng)化錄入、數(shù)據(jù)預(yù)處理、數(shù)據(jù)實(shí)時(shí)分析等操作,然后將處理之后的數(shù)據(jù)發(fā)送到云端進(jìn)行更完全的數(shù)據(jù)分析以及決策,最后將決策結(jié)果發(fā)送回邊緣端指導(dǎo)石油的開(kāi)采等操作,如圖2所示:
圖2 云邊協(xié)同下的石油開(kāi)采
相比于傳統(tǒng)的石油開(kāi)采方法,云邊協(xié)同下的數(shù)據(jù)處理大幅度提高了數(shù)據(jù)處理的效率,并且減少了決策所用的時(shí)間。盡管如此,云邊協(xié)同下的數(shù)據(jù)處理仍有一定的隱私泄露風(fēng)險(xiǎn),在上述場(chǎng)景中,盡管邊緣端承擔(dān)了一定的數(shù)據(jù)分析操作,減輕了帶寬以及云端的壓力,但是數(shù)據(jù)的更進(jìn)一步分析仍需要云端的參與,因此在數(shù)據(jù)傳輸或者云端分析的過(guò)程中仍然有隱私泄露的風(fēng)險(xiǎn)。
在云邊協(xié)同查詢場(chǎng)景下,有以下應(yīng)用實(shí)例:
(1)云邊協(xié)同人臉支付
隨著“刷臉付”時(shí)代的到來(lái),人臉識(shí)別的精度已經(jīng)到達(dá)了可以進(jìn)行商用的程度。受限于邊緣端支付設(shè)備的計(jì)算能力與存儲(chǔ)能力,不可能完全將人臉識(shí)別模型部署于邊緣端進(jìn)行人臉識(shí)別,因此“刷臉付”必須要通過(guò)云邊協(xié)同的方式來(lái)實(shí)現(xiàn),如圖3所示。其中邊緣端負(fù)責(zé)用戶人臉數(shù)據(jù)的捕獲以及預(yù)處理,以減少對(duì)網(wǎng)絡(luò)帶寬的負(fù)荷。云端負(fù)責(zé)人臉識(shí)別以及支付服務(wù)的相關(guān)邏輯。在上述人臉支付場(chǎng)景下,邊緣、云端、數(shù)據(jù)傳輸過(guò)程中都可能會(huì)出現(xiàn)隱私泄露的問(wèn)題,例如邊緣端設(shè)備有可能會(huì)被破解成為惡意的邊緣端等,因此需要使用相應(yīng)的隱私保護(hù)技術(shù)來(lái)防止隱私的泄露。
圖3 云邊協(xié)同人臉支付
(2)云邊協(xié)同智慧交通系統(tǒng)
隨著私家車越來(lái)越多,更多的車流量帶來(lái)的是對(duì)交通系統(tǒng)更大的壓力。當(dāng)前的智慧交通的一個(gè)研究方向是自動(dòng)駕駛,然而自動(dòng)駕駛受限于復(fù)雜的路況以及車輛的計(jì)算能力等因素,不可能在現(xiàn)階段進(jìn)行大規(guī)模的部署。而另一個(gè)研究方向則是利用道路上的各種攝像頭傳感器等設(shè)備進(jìn)行數(shù)據(jù)的收集并且將它們上傳到邊緣端進(jìn)行簡(jiǎn)單的數(shù)據(jù)分析以及決策,同時(shí)在云端進(jìn)行總體統(tǒng)籌以及數(shù)據(jù)分析,以實(shí)現(xiàn)云邊協(xié)同下的智慧交通系統(tǒng)。例如通過(guò)攝像頭收集信息并且利用機(jī)器學(xué)習(xí)算法來(lái)智能判別道路交通違法行為,以實(shí)現(xiàn)效率上的提升。然而借助攝像頭、傳感器等設(shè)備收集的道路交通信息往往也有可能泄露道路行人的隱私信息,而這對(duì)智慧交通的發(fā)展帶來(lái)了挑戰(zhàn)。
關(guān)于作者:
韓銳,北京理工大學(xué)特別研究員,博士生導(dǎo)師。專注于研究面向典型負(fù)載(機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、互聯(lián)網(wǎng)服務(wù))的云計(jì)算系統(tǒng)優(yōu)化,在 TPDS、TC、TKDE、TSC等領(lǐng)域頂級(jí)(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會(huì)議上發(fā)表超過(guò)40篇論文,Google學(xué)術(shù)引用1000 余次。
劉馳,北京理工大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng),教授,博士生導(dǎo)師。智能信息技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室主任,國(guó)家優(yōu)秀青年科學(xué)基金獲得者,國(guó)家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家,中國(guó)電子學(xué)會(huì)會(huì)士,英國(guó)工程技術(shù)學(xué)會(huì)會(huì)士,英國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)士。
本文摘編自《云邊協(xié)同大數(shù)據(jù):技術(shù)與應(yīng)用》,經(jīng)出版方授權(quán)發(fā)布。(ISBN:9787111701002)轉(zhuǎn)載請(qǐng)保留文章出處。