霧中的計(jì)算節(jié)點(diǎn)通信:調(diào)查和研究挑戰(zhàn)
??想了解更多關(guān)于開源的內(nèi)容,請(qǐng)?jiān)L問:??
先看摘要
計(jì)算節(jié)點(diǎn)作為整個(gè)計(jì)算系統(tǒng)之中重要的組成部分,也是區(qū)別于云計(jì)算的一點(diǎn),目的是避免計(jì)算瓶頸和減少計(jì)算延遲。
- 在多個(gè)研究之中,提出了很多的計(jì)算平臺(tái)。大致分為:分層、點(diǎn)對(duì)點(diǎn)、和混合。
- 這些計(jì)算平臺(tái)的通信類型也會(huì)大大影響應(yīng)用最后實(shí)現(xiàn)的功能。
本文的主要主題
- 確定了霧計(jì)算中的三種主要通信類型,即:分層、點(diǎn)對(duì)點(diǎn)(P2P)和混合。
- 回顧了霧計(jì)算平臺(tái),重點(diǎn)討論了計(jì)算節(jié)點(diǎn)之間的通信,并將每個(gè)平臺(tái)映射到各自的通信類型。
- 提出了一套基于霧計(jì)算需求的標(biāo)準(zhǔn),用于比較所審查的計(jì)算平臺(tái)和通信類型。
- 通過檢查每種通信類型滿足哪些標(biāo)準(zhǔn)來確定霧計(jì)算節(jié)點(diǎn)之間通信的研究挑戰(zhàn)。
霧計(jì)算的層級(jí)通信(分層類型)
這樣的層級(jí)通信,如下圖所示,下面的層次組成了上面的層次的功能,每個(gè)計(jì)算節(jié)點(diǎn)之間形成樹狀拓?fù)浣Y(jié)構(gòu)。往往最高級(jí)的計(jì)算節(jié)點(diǎn)仍然在云上,主要負(fù)責(zé)的是協(xié)調(diào)整個(gè)系統(tǒng)。
Chekired提出的多層霧計(jì)算架構(gòu)
將網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn)組織成實(shí)現(xiàn)霧計(jì)算的樹狀層級(jí)結(jié)構(gòu),使用霧計(jì)算來最小化延遲。將低層級(jí)處理不了的工作負(fù)載到高層級(jí)上,一層一層向上請(qǐng)求,這樣在網(wǎng)絡(luò)高峰的時(shí)候,大量的IOT設(shè)備都可以正常運(yùn)行。而且作者還開發(fā)了一種負(fù)載分配的算法,使得平均延遲最小化。
Djabir Abdeldjalil Chekired and Lyes Khoukhi. 2018. Multi-Tier Fog Architecture: A New Delay-Tolerant Network for IoT Data Processing. In 2018 IEEE International Conference on Communications (ICC). IEEE, 1–6
Sinaeepourfard提出的一種IOT數(shù)據(jù)存儲(chǔ)的霧計(jì)算架構(gòu)
利用霧計(jì)算的計(jì)算節(jié)點(diǎn),減少計(jì)算延遲。頂層置于云上,層數(shù)取決于計(jì)算節(jié)點(diǎn)的數(shù)量。作者設(shè)計(jì)了一個(gè)數(shù)據(jù)存儲(chǔ)的機(jī)制,最底層節(jié)點(diǎn)收集數(shù)據(jù),如果運(yùn)行中的應(yīng)用程序需要這些數(shù)據(jù),由于彼此的距離很近,基本可以保證數(shù)據(jù)的實(shí)時(shí)獲取,但是考慮到邊緣設(shè)備的存儲(chǔ)容量有限,數(shù)據(jù)會(huì)周期性的向上層傳輸保存。
Amir Sinaeepourfard, Jordi Garcia, Xavier Masip-Bruin, and Eva Marin-Tordera.2018.Data Preservation through Fog-to-Cloud (F2C) Data Management in Smart Cities. In 2nd IEEE International Conference on Fog and Edge Computing (ICFEC).IEEE, 1–9.
Skarlat提出的霧計(jì)算執(zhí)行工作負(fù)載的框架
Olena Skarlat, Vasileios Karagiannis, Thomas Rausch, Kevin Bachmann, and Stefan Schulte. 2018. A Framework for Optimization, Service Placement, and Runtime Operation in the Fog. In 11th IEEE/ACM International Conference on Utility and Cloud Computing (UCC). IEEE, 164–173.
本框架將參與的資源整合到計(jì)算節(jié)點(diǎn)的層次結(jié)構(gòu)中,層次結(jié)構(gòu)的頂部,是一個(gè)云計(jì)算的節(jié)點(diǎn)。云計(jì)算節(jié)點(diǎn)的下層結(jié)構(gòu)按照樹形結(jié)構(gòu)來構(gòu)建,將IOT設(shè)備看成樹的葉子,在云設(shè)備和霧設(shè)備之間,設(shè)置一個(gè)霧控制器的組件,這個(gè)組件給計(jì)算節(jié)點(diǎn)提供虛擬資源。這樣的體系結(jié)構(gòu)可以將霧計(jì)算的工作負(fù)載被分到邊緣設(shè)備的多個(gè)計(jì)算節(jié)點(diǎn)。當(dāng)工作負(fù)載仍然太大或者無法完成時(shí),將任務(wù)提交到云上。
總結(jié)
這樣的分層類型的分層依據(jù)往往是按照資源大小來進(jìn)行排布的,對(duì)于霧計(jì)算平臺(tái)尤其有益,特別是那些計(jì)算資源極其有限的IOT設(shè)備,這些設(shè)備沒有那種特別復(fù)雜的算法和資源用來處理和轉(zhuǎn)發(fā)工作負(fù)載內(nèi)容。它們就在層級(jí)樹狀結(jié)構(gòu)的最底層,僅僅梳理簡(jiǎn)單的、資源占用低的計(jì)算工作。
霧計(jì)算的點(diǎn)對(duì)點(diǎn)通信
這樣的點(diǎn)對(duì)點(diǎn)通信方式就是利用P2P的方式來組織霧計(jì)算的節(jié)點(diǎn),如下圖所示
Santos提出的基于分布式哈希表的資源發(fā)現(xiàn)服務(wù)
José Santos, Tim Wauters, Bruno Volckaert, and Filip De Turck. 2018. Towards Dynamic Fog Resource Provisioning for Smart City Applications. In 14th International Conference on Network and Service Management (CNSM). IEEE, 290–294.
用于霧計(jì)算中的動(dòng)態(tài)資源配置,分布式哈希表(DHT)提供一種按照環(huán)形的結(jié)構(gòu)來組織計(jì)算節(jié)點(diǎn)的機(jī)制。通過使用DHT,計(jì)算節(jié)點(diǎn)就可以交換彼此可用的計(jì)算資源信息和工作負(fù)載的各種信息。文獻(xiàn)【40】也提出了一種接近感知和容錯(cuò)機(jī)制。雖然提供了消息傳遞系統(tǒng),但是沒有提及具體的供應(yīng)機(jī)制,作者選擇了三種基于DHT的P2P協(xié)議:Chord, Kademlia and Pastry.
Tato 提出的重疊網(wǎng)Koala
Genc Tato, Marin Bertier, and Cedric Tedeschi. 2018. Koala: Towards Lazy and Locality-Aware Overlays for Decentralized Clouds. In 2nd IEEE International Conference on Fog and Edge Computing (ICFEC). IEEE, 1–10.
用于組織所有的計(jì)算節(jié)點(diǎn),通過假設(shè)在地理維度上的很多小型數(shù)據(jù)中心,來讓云分散化。Koala通過簡(jiǎn)化掉檢測(cè)節(jié)點(diǎn)故障的周期性消息來降低通信協(xié)議上的開銷,檢測(cè)故障的方式變成了檢測(cè)不響應(yīng)程序流量的節(jié)點(diǎn)。發(fā)現(xiàn)這樣的節(jié)點(diǎn)之后,更新相應(yīng)節(jié)點(diǎn)的路由信息,從而匯報(bào)故障。這樣的機(jī)制為重疊網(wǎng)提供了容錯(cuò),而且這樣的覆蓋也提供了接近感知的路由方式?;诖?,所有的計(jì)算節(jié)點(diǎn)都被組織在了環(huán)形結(jié)構(gòu)之中,每個(gè)節(jié)點(diǎn)都僅僅維護(hù)系統(tǒng)的一部分視圖,用于權(quán)衡路由跳數(shù)和延遲之間的均衡后選擇下一跳。
Cabrera提出P2P實(shí)現(xiàn)霧計(jì)算存儲(chǔ)的系統(tǒng)模型
Juan A. Cabrera G, Daniel E. Lucani R., and Frank H. P Fitzek. 2016. On network coded distributed storage: How to repair in a fog of unreliable peers. In 2016 International Symposium on Wireless Communication Systems (ISWCS). IEEE, 188–193.
通過管理霧計(jì)算中不同設(shè)備的數(shù)據(jù)來應(yīng)對(duì)IOT設(shè)備不斷生成的數(shù)據(jù)。霧計(jì)算的節(jié)點(diǎn)也被組織到了P2P網(wǎng)絡(luò)之中,方便提供低延遲和高吞吐的量的數(shù)據(jù)存儲(chǔ)。每個(gè)節(jié)點(diǎn)與鄰近的節(jié)點(diǎn)進(jìn)行無線通信。作者提出了一種用于解決計(jì)算節(jié)點(diǎn)意外斷聯(lián)的問題:數(shù)據(jù)按照分布式存儲(chǔ)在霧計(jì)算的計(jì)算節(jié)點(diǎn)之中,當(dāng)有某個(gè)節(jié)點(diǎn)無法響應(yīng)的時(shí)候,其他的可以響應(yīng)的節(jié)點(diǎn)自動(dòng)選擇出一個(gè)領(lǐng)導(dǎo)者,這樣的一個(gè)領(lǐng)導(dǎo)者要從其他節(jié)點(diǎn)中收集數(shù)據(jù)塊,然后通過向前糾錯(cuò)碼重新組裝數(shù)據(jù)并重新分發(fā)給其他節(jié)點(diǎn)。這樣可以提升存儲(chǔ)的容錯(cuò)并且計(jì)算節(jié)點(diǎn)出現(xiàn)故障仍然可用。
總結(jié)
不可否認(rèn)P2P對(duì)于網(wǎng)絡(luò)邊緣設(shè)備通信已經(jīng)很成熟,在霧計(jì)算中集成P2P通信可以確保節(jié)點(diǎn)故障的容忍度。不足之處在于P2P假設(shè)所有節(jié)點(diǎn)都是平等的,然而節(jié)點(diǎn)之間可用資源的異質(zhì)性仍然需要討論。
霧計(jì)算的混合通信
混合通信就是將分層和P2P一起使用來組織霧計(jì)算節(jié)點(diǎn),計(jì)算節(jié)點(diǎn)按層組織,每層之間的設(shè)備按照P2P進(jìn)行通信。針對(duì)于霧計(jì)算不同部分有這不同要求的情況是有用的。(霧計(jì)算的邊緣設(shè)備和云計(jì)算的穩(wěn)定設(shè)備的容錯(cuò)性是有區(qū)別的),如下圖所示
Lee提出的霧網(wǎng)絡(luò)的框架
Gilsoo Lee, Walid Saad, and Mehdi Bennis. 2017. An online secretary framework for fog network formation with minimal latency. In 2017 IEEE International Conference on Communications (ICC). IEEE, 1–6.
這個(gè)框架是為了將工作負(fù)載從IOT設(shè)備中外包出去。作者提出了一個(gè)優(yōu)化模型,動(dòng)態(tài)選擇每個(gè)計(jì)算節(jié)點(diǎn)的鄰居節(jié)點(diǎn),然后將工作負(fù)載外包給鄰居節(jié)點(diǎn),使得計(jì)算延遲最小。霧節(jié)點(diǎn)彼此連接以P2P進(jìn)行通信。系統(tǒng)整體架構(gòu)使用三層分層組織,底層是資源受限IOT設(shè)備,將處理不了工作負(fù)載給層次結(jié)構(gòu)更高的霧層,霧層的每個(gè)計(jì)算節(jié)點(diǎn)都可以與鄰近的鄰居節(jié)點(diǎn)共享負(fù)載,也可以將工作負(fù)載外包給頂層的云層。
Chen提出的將工作負(fù)載的移動(dòng)應(yīng)用程序外包到云的框架
Xu Chen and Junshan Zhang. 2017. When D2D meets cloud: Hybrid mobile task offloadings in fog computing. In 2017 IEEE International Conference on Communications (ICC). IEEE, 1–6.
該框架給了工作負(fù)載三種選擇
- 在移動(dòng)節(jié)點(diǎn)本地執(zhí)行
- 外包給附近的計(jì)算節(jié)點(diǎn)執(zhí)行或者共同執(zhí)行
- 外包給云上的節(jié)點(diǎn)執(zhí)行
也是按照移動(dòng)設(shè)備-霧設(shè)備-云設(shè)備三層架構(gòu)來設(shè)計(jì)的。工作負(fù)載的任務(wù)是優(yōu)化問題的一部分,優(yōu)化問題可以最大程度的降低計(jì)算成本,這樣來講工作負(fù)載就可以在云層中或者在霧層中以P2P為通信方式進(jìn)行外包。作者開發(fā)了兩種啟發(fā)式方法(隨機(jī)/貪婪)來進(jìn)行工作負(fù)載的有效外包。
Fu提出的基于霧計(jì)算的可靠存儲(chǔ)框架
Junsong Fu, Yun Liu, Han-Chieh Chao, Bharat Bhargava, and Zhenjiang Zhang.
\2018. Secure data storage and searching for industrial IoT by integrating fog computing and cloud computing. IEEE Transactions on Industrial Informatics 14, 10 (2018), 4519–4528.
主要為了應(yīng)對(duì)IOT數(shù)據(jù)的大幅增加。這個(gè)框架將計(jì)算節(jié)點(diǎn)的體系結(jié)構(gòu)重新設(shè)定為“邊緣服務(wù)器-代理服務(wù)器-云服務(wù)器”。邊緣服務(wù)器將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的格式,在功能區(qū)對(duì)其進(jìn)行組合。數(shù)據(jù)被發(fā)送到代理服務(wù)器,代理服務(wù)器對(duì)數(shù)據(jù)加密方便存儲(chǔ)在云上。用戶將查詢的陷門(trapdoor)發(fā)送到云服務(wù)器上,云服務(wù)器通過陷門來查找加密數(shù)據(jù)。實(shí)現(xiàn)了數(shù)據(jù)的加密存儲(chǔ),但是對(duì)于小型數(shù)據(jù)來講,邊緣服務(wù)器之間仍然會(huì)相互通信共享負(fù)載。
總結(jié)
混合通信嘗試將P2P和分層通信結(jié)合起來。那么,這種通信方式由于固有的層次結(jié)構(gòu),支持資源異構(gòu)的節(jié)點(diǎn)。但是其使用的是簡(jiǎn)單的P2P連接,往往會(huì)喪失容錯(cuò)機(jī)制。
研究挑戰(zhàn)
為了比較霧計(jì)算中的通信類型,根據(jù)霧計(jì)算的性質(zhì)要求,特出一套標(biāo)準(zhǔn)
- 資源異質(zhì)性,有多種需要配置和維護(hù)的資源異構(gòu)設(shè)備。
- 供應(yīng)機(jī)制,是否包括虛擬資源和自動(dòng)資源管理。
- 雙重外包,從邊緣設(shè)備到霧設(shè)備到云設(shè)備
- 靠近意識(shí),確定一個(gè)度量(延遲、跳數(shù)等)來確定接近度。
- 容錯(cuò),某計(jì)算節(jié)點(diǎn)出錯(cuò)時(shí)是否可以保持霧網(wǎng)絡(luò)的連接。
根據(jù)上表所示,分層通信對(duì)于資源異質(zhì)性的處理很好,不同設(shè)備使用不同的層,之間的關(guān)系很簡(jiǎn)單,要開發(fā)供應(yīng)機(jī)制是好的選擇,計(jì)算節(jié)點(diǎn)在predecessors/successors提供虛擬資源就可以了。但是接近措施和容錯(cuò)機(jī)制沒有被重視。
對(duì)于典型的P2P通信,其對(duì)于容錯(cuò)機(jī)制很好,但是其往往將每個(gè)節(jié)點(diǎn)都視為平等的,所以對(duì)于節(jié)點(diǎn)的資源異質(zhì)性支持不是很好,反而是混合通信更好一點(diǎn),而且混合類型可以實(shí)現(xiàn)靠近感知,因?yàn)閷觾?nèi)的設(shè)備以p2p方式來通信。
基于上表,明顯可以看出,每種通信類型都符合了不同的標(biāo)準(zhǔn),所以往往通信標(biāo)準(zhǔn)決定了應(yīng)用程序的最終功能。但是為了完成通用霧計(jì)算的需求,確定以下的研究挑戰(zhàn):
- 如何將P2P的容錯(cuò)機(jī)制集成到分層通信類型中?
- 如何擴(kuò)展P2P通信類型以考慮資源異構(gòu)計(jì)算節(jié)點(diǎn)?
- 如何為混合和P2P通信類型設(shè)計(jì)供應(yīng)機(jī)制?
結(jié)論
- 霧計(jì)算平臺(tái)的通信類型應(yīng)根據(jù)最終應(yīng)用的要求確定,因?yàn)槊糠N類型都符合不同的標(biāo)準(zhǔn)。
- 根據(jù)每種通信類型所滿足的標(biāo)準(zhǔn),可以確定可能推動(dòng)未來霧計(jì)算平臺(tái)發(fā)展的研究挑戰(zhàn)。