一、介紹

人們所觀察的世界無(wú)時(shí)無(wú)刻不在改變，造就了“視頻”相比于文本等類型的數(shù)據(jù)更具表現(xiàn)力，包含更加豐富的信息。如今，能夠產(chǎn)生視頻的數(shù)據(jù)源及應(yīng)用場(chǎng)景愈發(fā)多樣，視頻數(shù)據(jù)的規(guī)模不斷增長(zhǎng)，視頻大數(shù)據(jù)成為支撐諸多行業(yè)技術(shù)發(fā)展的熱點(diǎn)方向。

1. 交通攝錄

城市化的快速發(fā)展導(dǎo)致機(jī)動(dòng)車數(shù)量持續(xù)激增，也因此造成了諸多的交通問(wèn)題。

一方面，由于時(shí)間、天氣、大型事件等多方面的因素，城市道路上的交通流量持續(xù)變化，尤其是繁華地帶的路口，經(jīng)常匯聚著較多的待通行車輛。

如何第一時(shí)間獲取交通流量信息、監(jiān)測(cè)城市交通狀況，正是交通攝錄系統(tǒng)所需解決的問(wèn)題。通過(guò)攝錄視頻流的實(shí)時(shí)收集，城市交通控制中樞能夠及時(shí)地獲知流量異常情況，做出交通調(diào)度調(diào)整，以改善行車效率。

另一方面，人為駕駛的主觀性導(dǎo)致違規(guī)事件的發(fā)生難以完全避免，而對(duì)檢測(cè)的疏漏或延遲將不僅可能導(dǎo)致駕駛行為責(zé)任人自身規(guī)則意識(shí)的下降，升高未來(lái)的事故發(fā)生率，更有可能造成交通癱瘓，甚至重大的人身財(cái)產(chǎn)損失。

因此，廣泛分布且實(shí)時(shí)視頻采集的交通攝錄系統(tǒng)具有極高的存在必要性，不斷規(guī)范及約束車輛駕駛者的行為，同時(shí)對(duì)違規(guī)事件及交通事故在第一時(shí)間進(jìn)行采集、上報(bào)，進(jìn)行后續(xù)的處理。

目前，在部分城市的交通系統(tǒng)中，已經(jīng)嘗試采用更加智能化的交通攝錄體系，例如對(duì)疲勞駕駛、違規(guī)通話等駕駛行為實(shí)時(shí)檢測(cè)、智能判斷，而無(wú)須人為干預(yù)。

密布于城市各個(gè)角落的攝像頭組成的龐大的攝像系統(tǒng)基礎(chǔ)設(shè)施帶來(lái)的交通價(jià)值不言而喻，但對(duì)交通數(shù)據(jù)處理系統(tǒng)提出了嚴(yán)峻的挑戰(zhàn)。

一方面，該系統(tǒng)需要具備低延遲的處理性能，保證異常事件發(fā)生時(shí)能夠及時(shí)地進(jìn)行分析、處理以及后續(xù)操作。另一方面，基礎(chǔ)設(shè)施中數(shù)量巨大的輸入源是傳統(tǒng)單一視頻處理系統(tǒng)所難以應(yīng)付的。

由于該系統(tǒng)不僅需要采集、存儲(chǔ)視頻，而且在邁向智能化發(fā)展的路上，需要對(duì)它進(jìn)行預(yù)處理、幀解析、事件模式匹配、異常檢測(cè)上報(bào)等操作，因此對(duì)于極多輸入源的同時(shí)處理，是當(dāng)前所面臨的一大難題。

2. 車載攝錄

對(duì)于傳統(tǒng)機(jī)動(dòng)車而言，行車記錄儀的出現(xiàn)為廣大駕駛者帶來(lái)了多方面的保護(hù)。

一方面，共享出行的專車內(nèi)、公共交通的車廂內(nèi)，車內(nèi)記錄儀能夠持續(xù)記錄乘客及駕駛者的行為，檢測(cè)車內(nèi)狀況。在發(fā)生異常事件時(shí)，記錄儀能夠提供準(zhǔn)確的現(xiàn)場(chǎng)追溯，不僅為責(zé)任認(rèn)定提供了有效的證據(jù)支撐，更為嚴(yán)重性事件的溯源剖析提供了第一手資料。

另一方面，用于私家車的前向記錄儀則更為普遍。在車輛啟動(dòng)后，行車記錄儀隨之啟動(dòng)，以視頻的形式持續(xù)地、完整地記錄著行駛的整個(gè)過(guò)程，有效彌補(bǔ)了交通攝錄系統(tǒng)不及之處，為駕駛者提供了多層面的安全保證。

對(duì)于新興的智能車輛而言，包含360°環(huán)繞攝像在內(nèi)的環(huán)境感知系統(tǒng)所發(fā)揮的作用更是舉足輕重。攝像頭之于汽車，就像眼之于人，提供了感知周遭環(huán)境的輸入口?；趯?shí)時(shí)的環(huán)境圖像，自動(dòng)駕駛控制系統(tǒng)能夠?qū)Σ杉降囊曨l進(jìn)行處理、分析，并即時(shí)進(jìn)行決策，控制車輛行為，在一定程度上，甚至完全地替代人為控制，極大地提升出行效率。

雖然車載攝錄為傳統(tǒng)及新興機(jī)動(dòng)車帶來(lái)了強(qiáng)大的功能，但車輛本身的移動(dòng)性為視頻的數(shù)據(jù)處理提出了新的問(wèn)題：

• 一方面，高移動(dòng)性導(dǎo)致視頻內(nèi)容的變化極快，不同于固定物理位置的城市攝像頭，車載攝錄可能在極短時(shí)間內(nèi)采集到完全不同的影像，這不僅包括物體本身的變化，還包含了移動(dòng)導(dǎo)致的光線、角度等上下文環(huán)境的急劇變化，對(duì)于視頻內(nèi)容分析的準(zhǔn)確性和靈活性要求更高;
• 另一方面，高移動(dòng)性直接導(dǎo)致了網(wǎng)絡(luò)通信連接的不穩(wěn)定性，不同于有線光纜傳輸，無(wú)線網(wǎng)絡(luò)傳輸?shù)馁|(zhì)量依賴于網(wǎng)絡(luò)信號(hào)強(qiáng)度、帶寬、信道實(shí)時(shí)負(fù)載等因素，造成基于無(wú)線網(wǎng)絡(luò)的數(shù)據(jù)及任務(wù)的穩(wěn)定上傳過(guò)程變得愈發(fā)艱難。

3. 航空攝錄

由于更高的攝入角度，基于航空器材的攝錄系統(tǒng)通常具有更高的專業(yè)型和特殊性，同時(shí)帶來(lái)了更加強(qiáng)大的功能性：

1)空地追蹤

得益于不被道路交通所限，飛行器能夠靈活、高效地追蹤移動(dòng)性目標(biāo)，彌補(bǔ)地面追蹤不便的缺陷，降低目標(biāo)失蹤率，為關(guān)鍵性任務(wù)提供支撐。

2)智慧農(nóng)耕

傳統(tǒng)農(nóng)耕作業(yè)需要人工地親力親為，經(jīng)歷長(zhǎng)周期的運(yùn)作，包括觀察并分析農(nóng)田情況，調(diào)整作業(yè)策略，根據(jù)種植方案進(jìn)行播種，以及后期灌溉、除蟲(chóng)等維護(hù)。由于務(wù)農(nóng)者本身能力所限，這一系列的過(guò)程將十分耗費(fèi)時(shí)間資源，效率較為低下，且無(wú)法準(zhǔn)確地按照預(yù)期規(guī)范化操作細(xì)節(jié)，造成減產(chǎn)等損失。

相比于人力運(yùn)作，基于航空器的作業(yè)方式能夠帶來(lái)極大的改善。通過(guò)航空攝錄系統(tǒng)，能夠直接以直觀的視頻形式采集農(nóng)田情況，并基于農(nóng)田數(shù)據(jù)處理系統(tǒng)進(jìn)行視頻分析，獲取種植所需的多元化參數(shù)。隨后，航空器能夠攜帶種子、農(nóng)藥等基礎(chǔ)資源，從空中直接進(jìn)行均勻播撒，在短時(shí)間內(nèi)覆蓋大范圍作業(yè)區(qū)域，實(shí)現(xiàn)人工難以達(dá)到的效率。

3)遙感

基于航空設(shè)備的自身優(yōu)勢(shì)，它能夠在空中無(wú)接觸地、遠(yuǎn)距離地探測(cè)、勘察各種復(fù)雜地形地貌，包括人們難以進(jìn)入的野生地帶、冰川、火山等。而視頻的形式為人們提供了對(duì)于未知環(huán)境最為直觀的感受，同時(shí)有利于數(shù)據(jù)處理系統(tǒng)進(jìn)一步地科學(xué)分析、探索。

如今，由于基礎(chǔ)設(shè)施以及無(wú)人控制技術(shù)的不斷發(fā)展，航空攝錄已經(jīng)逐漸轉(zhuǎn)向基于無(wú)人機(jī)的系統(tǒng)實(shí)現(xiàn)。無(wú)人機(jī)具有更低的制造成本、更小的體積、移動(dòng)更加靈活等諸多優(yōu)勢(shì)，因此對(duì)于傳統(tǒng)飛行器難以實(shí)現(xiàn)的場(chǎng)景，無(wú)人機(jī)具有更大的潛能。

同時(shí)，由于控制者本身從“機(jī)內(nèi)”移動(dòng)到了“機(jī)外”，相隔數(shù)百米甚至數(shù)百千米，因此，一方面，如何高性能地實(shí)現(xiàn)從無(wú)人機(jī)采集的實(shí)時(shí)視頻到控制者的實(shí)時(shí)決策，需要解決視頻采集技術(shù)、預(yù)處理技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)等諸多視頻大數(shù)據(jù)系統(tǒng)所面臨的問(wèn)題;另一方面，由于無(wú)人機(jī)具備更加多元化的環(huán)境感知能力，例如無(wú)死角覆蓋的實(shí)時(shí)攝錄系統(tǒng)，因此無(wú)人機(jī)自主行為控制也是實(shí)現(xiàn)智能化發(fā)展的一個(gè)方向。但是，因此帶來(lái)更高的視頻處理性能需求，是傳統(tǒng)設(shè)備端運(yùn)算或者云端兩層架構(gòu)所無(wú)法實(shí)現(xiàn)的，需要云邊協(xié)同高效架構(gòu)的加入。

4. 智能設(shè)備

包括智能手機(jī)、平板計(jì)算機(jī)在內(nèi)的智能設(shè)備，逐漸成為日常生產(chǎn)生活中與人們打交道最為頻繁的物品。

一方面，智能設(shè)備本身所具備的拍照及錄像能力，為人們的生活帶來(lái)了更加豐富的記錄方式。通過(guò)智能設(shè)備所拍下的照片、短視頻、影片，能夠方便地分享正在進(jìn)行的游戲、欣賞的風(fēng)景、有趣的寵物、令人深思的事件等。

另一方面，它能使得人們的生產(chǎn)、工作更加高效，尤其是在人們出行受限的特殊時(shí)期，眾多的團(tuán)隊(duì)、企業(yè)開(kāi)始使用基于視頻會(huì)議的高效辦公方式，繼續(xù)原有的運(yùn)作。

相比于其他的攝錄系統(tǒng)，智能設(shè)備帶來(lái)的攝錄能力以及產(chǎn)生的視頻大數(shù)據(jù)更加無(wú)處不在，更加貼近人們本身，同時(shí)也包含著更大的價(jià)值挖掘潛能。

5. 其他

遠(yuǎn)不止上述提及的應(yīng)用場(chǎng)景，視頻大數(shù)據(jù)幾乎無(wú)處不在，例如：

1)安防監(jiān)控

不同于交通攝錄系統(tǒng)，安防監(jiān)控帶來(lái)的視頻記錄能力更多地用于環(huán)境采集，以實(shí)現(xiàn)生產(chǎn)生活日常運(yùn)作的安全保障。在安防系統(tǒng)中，數(shù)據(jù)處理的低延遲、高吞吐特性尤為重要。根據(jù)用戶預(yù)設(shè)的智能檢測(cè)模型，攝像系統(tǒng)在采集到視頻數(shù)據(jù)后，應(yīng)在極短的時(shí)間內(nèi)完成數(shù)據(jù)處理，并實(shí)現(xiàn)智能決策。

2)工業(yè)攝錄

通過(guò)視頻監(jiān)控等方式，實(shí)時(shí)監(jiān)測(cè)車間生產(chǎn)情況，基于視頻大數(shù)據(jù)的分析，能夠即時(shí)發(fā)現(xiàn)異常、調(diào)整設(shè)備等。

視頻數(shù)據(jù)在各行各業(yè)的應(yīng)用場(chǎng)景十分廣泛，同時(shí)也帶了極高的潛在分析價(jià)值，但由于它文件體積本身龐大，因此對(duì)數(shù)據(jù)處理系統(tǒng)的能力提出了更大的挑戰(zhàn)。

二、問(wèn)題與挑戰(zhàn)

1. 問(wèn)題

視頻數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，價(jià)值密度很低，且具有連續(xù)性、實(shí)時(shí)性等特點(diǎn)，視頻大數(shù)據(jù)系統(tǒng)對(duì)數(shù)據(jù)相比傳統(tǒng)具有更高的性能要求，這主要體現(xiàn)在以下幾方面：

1)計(jì)算密集

對(duì)于視頻流而言，一般需要進(jìn)行信號(hào)處理、編碼、解碼等基礎(chǔ)過(guò)程，轉(zhuǎn)換為計(jì)算機(jī)內(nèi)相應(yīng)的存儲(chǔ)格式，再對(duì)每一幀內(nèi)容進(jìn)行深入處理。

一方面，對(duì)于每一幀內(nèi)容而言，可以將它看作類似于靜態(tài)照片的圖像，可通過(guò)一系列相關(guān)技術(shù)進(jìn)行以下操作：

• 特征檢測(cè)及提?。簜鹘y(tǒng)的Canny邊緣檢測(cè)算法、Harris角點(diǎn)檢測(cè)算法、SURF算法以及SIFT特征、GIST特征等，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型等，能夠?qū)D像中的邊緣、轉(zhuǎn)角等特征進(jìn)行識(shí)別，支撐后續(xù)更加復(fù)雜的處理。
• 目標(biāo)檢測(cè)：針對(duì)特定的或者泛化的目標(biāo)，例如物品、人體、面部等，通過(guò)特定算法進(jìn)行檢測(cè)，獲知其存在性或位置。
• 目標(biāo)分類：對(duì)于圖像中出現(xiàn)的目標(biāo)進(jìn)行分類等。

不論是基于傳統(tǒng)算法的圖像處理方法，還是近年來(lái)愈發(fā)火熱的深度學(xué)習(xí)處理方法，它的性能(例如準(zhǔn)確率)通常與運(yùn)算量直接關(guān)聯(lián)，例如，對(duì)于深度網(wǎng)絡(luò)模型而言，具備更高精度的模型通常具有更為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、更為龐大的訓(xùn)練參數(shù)量，因此需要更高的算力(包括計(jì)算能力、存儲(chǔ)能力等)進(jìn)行推斷。

另一方面，由于視頻是每一幀連續(xù)組合而成的流式數(shù)據(jù)，因此對(duì)于視頻流的處理將遠(yuǎn)高于靜態(tài)圖像處理的復(fù)雜度。

首先，為了捕獲環(huán)境中更多的細(xì)節(jié)，以及為后續(xù)的算法提供更加精確的原生輸入，視頻采集系統(tǒng)通常追求更高的分辨率。如今，隨著設(shè)備的不斷升級(jí)迭代，4K甚至8K分辨率已經(jīng)逐漸成為高質(zhì)量視頻的標(biāo)準(zhǔn)，這將大幅增加每一幀圖像的體積，對(duì)運(yùn)算系統(tǒng)性能提出更高的要求。

其次，為了能夠在時(shí)間變化的過(guò)程中捕獲更加順暢的運(yùn)動(dòng)行為，視頻采集系統(tǒng)通常會(huì)將幀率(即每單位時(shí)間內(nèi)采集的圖像幀數(shù)量)設(shè)置為設(shè)備能夠接受的盡可能高的水平。因此，在單幀圖像體積一定的情況下，更高的幀率意味著單位時(shí)間內(nèi)的視頻體積更大，這對(duì)數(shù)據(jù)處理系統(tǒng)會(huì)造成更大的壓力。

此外，由于不同于靜態(tài)圖像的特點(diǎn)，視頻流將具有更高的連續(xù)性、動(dòng)態(tài)性，數(shù)據(jù)處理系統(tǒng)不應(yīng)僅專注于每一幀內(nèi)圖像的信息，還應(yīng)該具備分析幀與幀之間的動(dòng)態(tài)變化性信息的能力。

在進(jìn)行目標(biāo)追蹤時(shí)，需要對(duì)高幀率的連續(xù)視頻畫(huà)面執(zhí)行算法，憑借實(shí)時(shí)性能檢測(cè)目標(biāo)物體，并定位目標(biāo)位置。例如，在檢測(cè)行人的過(guò)程中，人們的移動(dòng)通常具有群體性，因此基于對(duì)行人運(yùn)動(dòng)軌跡的預(yù)測(cè)進(jìn)而提升檢測(cè)準(zhǔn)確率，這是一個(gè)優(yōu)化的潛在方向。

因此，計(jì)算密集型的視頻流處理使得終端設(shè)備的計(jì)算能力、存儲(chǔ)能力難以滿足。

2)帶寬需求高

分辨率、幀率等配置的不斷提升，帶來(lái)的不僅是對(duì)于計(jì)算系統(tǒng)的壓力，同時(shí)也帶來(lái)了對(duì)于網(wǎng)絡(luò)傳輸系統(tǒng)的挑戰(zhàn)：

• 每一幀圖像的內(nèi)容不斷豐富，細(xì)節(jié)更加完整;
• 單位時(shí)間內(nèi)的幀數(shù)不斷增長(zhǎng)，視頻動(dòng)態(tài)變化更加流暢;
• 視頻源不斷增加，針對(duì)同一物體的拍攝角度不再限于一個(gè)(例如足球比賽中環(huán)繞全場(chǎng)的大量攝錄機(jī)位)。

這三點(diǎn)同時(shí)帶來(lái)了不同維度的體積增長(zhǎng)，進(jìn)而導(dǎo)致了視頻產(chǎn)生源發(fā)送至處理系統(tǒng)所在平臺(tái)的網(wǎng)絡(luò)帶寬開(kāi)銷急劇增加。目前，在體積優(yōu)化的情況下，智能手機(jī)以1080P分辨率、60幀/s幀率的配置錄制1min視頻的體積約為100MB;以4K分辨率、60幀/s幀率錄制1min視頻的體積約為440MB。

由此可見(jiàn)，在多采集源同時(shí)進(jìn)行傳輸?shù)那闆r下，網(wǎng)絡(luò)基礎(chǔ)設(shè)施將承受極大壓力，同時(shí)，帶寬占用帶來(lái)的成本也使得用戶難以承受。

2. 挑戰(zhàn)

針對(duì)視頻體積帶來(lái)的帶寬成本與通信壓力，需要從多個(gè)維度進(jìn)行分析，根據(jù)實(shí)際場(chǎng)景進(jìn)行優(yōu)化。例如圖1-8給出了一種嘗試方案：邊緣節(jié)點(diǎn)對(duì)終端設(shè)備采集的原生高帶寬視頻進(jìn)行預(yù)處理，通過(guò)局部壓縮、裁切、去幀等方法，減小視頻體積，并將加工后的視頻流上傳至云端進(jìn)一步處理。但這種方法同樣面臨著一些技術(shù)挑戰(zhàn)：

▲圖1-8 一種云邊協(xié)同視頻大數(shù)據(jù)處理方案

1)計(jì)算任務(wù)卸載

普通計(jì)算任務(wù)通常能夠通過(guò)劃分獲得低耦合的子任務(wù)，但視頻流由于特殊性，為任務(wù)劃分以及基于劃分的卸載提出了更高的要求：

• 一方面，視頻流本身體積龐大，這一特點(diǎn)使得該類型數(shù)據(jù)在不同平臺(tái)之間的流動(dòng)變得較為困難，每一次網(wǎng)絡(luò)傳輸都需要付出較大的時(shí)間及服務(wù)成本;
• 另一方面，視頻處理本身具有連續(xù)性，不同子任務(wù)之間可能具有較高的耦合程度，對(duì)任務(wù)的切分造成了困難，進(jìn)而導(dǎo)致處理任務(wù)卸載至邊緣平臺(tái)、云平臺(tái)時(shí)面臨更多問(wèn)題。

2)邊緣平臺(tái)資源

邊緣平臺(tái)相比于云平臺(tái)，本身不具備海量的計(jì)算、存儲(chǔ)等資源，因此對(duì)于計(jì)算密集型的視頻流應(yīng)用而言，難以提供無(wú)限制的處理能力。例如，用于處理視頻圖像的DNN通常具有百萬(wàn)甚至千萬(wàn)級(jí)的參數(shù)，這使得邊緣平臺(tái)中單一的計(jì)算節(jié)點(diǎn)可能難以負(fù)載。

對(duì)于用戶而言，需要更加縝密地考慮云邊協(xié)同處理方案，而不能簡(jiǎn)單直接地套用現(xiàn)有卸載策略。

3)邊緣服務(wù)范圍

處于網(wǎng)絡(luò)中心的云平臺(tái)能夠?qū)W(wǎng)絡(luò)全局的計(jì)算請(qǐng)求進(jìn)行處理，而邊緣節(jié)點(diǎn)受限于服務(wù)范圍，僅能夠?yàn)橐欢▍^(qū)域內(nèi)的用戶提供服務(wù)。但與此同時(shí)，許多視頻流應(yīng)用的計(jì)算任務(wù)具有較高的持續(xù)性，需要平臺(tái)為它提供不間斷的計(jì)算服務(wù)，這對(duì)于移動(dòng)性的視頻源而言，將造成節(jié)點(diǎn)切換、任務(wù)遷移、服務(wù)穩(wěn)定性等多方面影響。

此外，減小視頻體積意味著可能造成視頻的細(xì)節(jié)完整度降低，進(jìn)而導(dǎo)致在用于目標(biāo)檢測(cè)、物體追蹤等的深度網(wǎng)絡(luò)模型準(zhǔn)確率方面有所妥協(xié)，因此需要使用更加細(xì)粒度的優(yōu)化方案來(lái)彌補(bǔ)畫(huà)面細(xì)節(jié)減少帶來(lái)的損失。

因此，在傳統(tǒng)云平臺(tái)的任務(wù)卸載方式儼然無(wú)法適應(yīng)體積增長(zhǎng)迅速的視頻流處理應(yīng)用的當(dāng)下，如何利用云邊協(xié)同平臺(tái)進(jìn)一步優(yōu)化視頻大數(shù)據(jù)處理性能，值得人們深入研究。

三、前沿研究

對(duì)于計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)傳輸能力的需求使得視頻流處理系統(tǒng)需要采用新的計(jì)算服務(wù)模式來(lái)實(shí)現(xiàn)。目前，云邊協(xié)同平臺(tái)為它帶來(lái)了希望，同時(shí)也面臨著許多問(wèn)題，不僅包括云邊平臺(tái)本身所面臨的問(wèn)題，也包含針對(duì)視頻流處理應(yīng)用的特殊挑戰(zhàn)，學(xué)術(shù)界以及工業(yè)界的研究人員對(duì)此進(jìn)行著不斷探索。

1. 邊緣環(huán)境的網(wǎng)絡(luò)不穩(wěn)定性

參考文獻(xiàn)[62]針對(duì)邊緣環(huán)境中對(duì)視頻流圖像處理任務(wù)影響較大的網(wǎng)絡(luò)因素進(jìn)行分析，考慮到無(wú)線通信信號(hào)強(qiáng)弱，提出了3種處理方案：

①本地執(zhí)行;②完全卸載;③本地預(yù)處理(減小體積)后卸載至云邊平臺(tái)，并對(duì)不同模型的計(jì)算時(shí)間、計(jì)算能耗、通信時(shí)間、通信開(kāi)銷等多方面進(jìn)行綜合建模分析，權(quán)衡計(jì)算時(shí)間與能耗、通信時(shí)間與能耗，在不同信號(hào)強(qiáng)度時(shí)選擇不同的最優(yōu)策略完成圖像處理任務(wù)。

2. 邊緣節(jié)點(diǎn)的多租戶特性

同一個(gè)邊緣節(jié)點(diǎn)可能同時(shí)服務(wù)于不同的用戶，但由于邊緣平臺(tái)的地理位置以及服務(wù)范圍，這些用戶可能具有相似或部分相似的視頻流計(jì)算任務(wù)，尤其是基于深度神經(jīng)網(wǎng)絡(luò)模型的圖像處理，不同的圖像可能應(yīng)用相同的模型或相同的子模型進(jìn)行推斷。

基于這個(gè)理念，Mainstream[63]框架基于遷移學(xué)習(xí)，對(duì)使用相同預(yù)訓(xùn)練模型的并發(fā)執(zhí)行的視頻處理任務(wù)進(jìn)行分析，利用相同預(yù)訓(xùn)練層[作者稱為共享莖干(share stem)部分]的一次計(jì)算，消除重復(fù)計(jì)算。

但由于不同的應(yīng)用可能會(huì)對(duì)相同的預(yù)訓(xùn)練模型進(jìn)行細(xì)粒度的優(yōu)化訓(xùn)練以提升模型推斷準(zhǔn)確率，因此共享莖干的比重會(huì)隨之降低，同時(shí)減慢了幀處理速率。為了解決這個(gè)問(wèn)題，即動(dòng)態(tài)權(quán)衡視頻流處理速度與模型準(zhǔn)確率，該框架包含3個(gè)部分：

1)M-Trainer：模型訓(xùn)練工具包，能夠使得基于預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練優(yōu)化的過(guò)程保留不同粒度級(jí)別的副本，同時(shí)產(chǎn)生不同級(jí)別模型的推斷準(zhǔn)確率等元數(shù)據(jù);2)M-Scheduler：使用訓(xùn)練時(shí)生成的數(shù)據(jù)，計(jì)算不同層(包括共享莖干)的運(yùn)行時(shí)間開(kāi)銷，尋找全局最優(yōu)策略;3)M-Runner：提供應(yīng)用運(yùn)行時(shí)環(huán)境，動(dòng)態(tài)選擇不同級(jí)別的模型提供服務(wù)，實(shí)現(xiàn)共享莖干帶來(lái)的計(jì)算量減少與準(zhǔn)確率下降之間的權(quán)衡。該框架專注于并發(fā)視頻流任務(wù)處理的場(chǎng)景，提供了從開(kāi)發(fā)到部署運(yùn)行的完整框架，但同時(shí)也為開(kāi)發(fā)者的實(shí)現(xiàn)帶來(lái)了一定難度。

3. 云邊協(xié)同下的智能處理

深度學(xué)習(xí)技術(shù)為視頻大數(shù)據(jù)處理帶來(lái)了前所未有的性能提升，但包括深度神經(jīng)網(wǎng)絡(luò)在內(nèi)的模型架構(gòu)的復(fù)雜度使得它對(duì)于資源具有較高的要求，這表現(xiàn)在模型訓(xùn)練以及推斷兩方面：

1)模型訓(xùn)練

對(duì)于視頻大數(shù)據(jù)應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練而言，數(shù)據(jù)的規(guī)模和體積成為限制性能的一個(gè)重要因素。通常，模型訓(xùn)練階段通常放置于擁有較多資源的平臺(tái)而非在終端設(shè)備上運(yùn)行，因此視頻數(shù)據(jù)的傳輸將造成巨大的網(wǎng)絡(luò)帶寬開(kāi)銷。

CDC[64]框架實(shí)現(xiàn)了一個(gè)輕量級(jí)的自動(dòng)編碼器(AutoEncoder，AE)，以及一個(gè)輕量的元素分類器(Elementary Classifier，EC)：

首先，CDC框架控制AE對(duì)數(shù)據(jù)進(jìn)行壓縮;隨后，EC使用壓縮后的數(shù)據(jù)以及數(shù)據(jù)標(biāo)注進(jìn)行梯度下降計(jì)算，調(diào)整自身參數(shù)集合;再者，AE基于自身壓縮造成的損失與相應(yīng)的EC的損失值共同優(yōu)化自身參數(shù)，并設(shè)置削弱參數(shù)α，調(diào)整EC的損失對(duì)AE訓(xùn)練過(guò)程的影響權(quán)重，避免不收斂的問(wèn)題;如此往復(fù)迭代，實(shí)現(xiàn)EC、AE相結(jié)合，EC指導(dǎo)AE的訓(xùn)練。

經(jīng)過(guò)訓(xùn)練后的AE將具備內(nèi)容感知的壓縮能力，結(jié)合精度降低策略，實(shí)現(xiàn)傳輸?shù)皆贫说妮^低的帶寬開(kāi)銷。同時(shí)，云端能夠評(píng)估網(wǎng)絡(luò)狀況，向邊緣端反饋后續(xù)的圖像壓縮率。該框架以智能壓縮的思路，對(duì)降低訓(xùn)練數(shù)據(jù)網(wǎng)絡(luò)傳輸開(kāi)銷的方向進(jìn)行了有價(jià)值的探索。

2)模型推斷

同樣是采用壓縮策略，參考文獻(xiàn)[65]從關(guān)鍵區(qū)域(Region Of Interest，ROI)的角度實(shí)現(xiàn)帶寬與準(zhǔn)確率之間的權(quán)衡。作者基于SORT、Hungarian等算法，在云端將包含目標(biāo)物體的ROI坐標(biāo)反饋至邊緣端，邊緣端基于multi-QF JPEG算法對(duì)ROI及非ROI區(qū)域進(jìn)行不同質(zhì)量程度的壓縮，并將壓縮后的數(shù)據(jù)發(fā)送至云端推斷。

同時(shí)，基于Kalman Filter算法，該研究為每個(gè)目標(biāo)物體建立一個(gè)行為預(yù)測(cè)模型，以抵償邊-云-邊這一反饋傳輸過(guò)程的延遲。

4. 其他

參考文獻(xiàn)[66]基于動(dòng)態(tài)規(guī)劃思想，在云端構(gòu)建了一個(gè)動(dòng)態(tài)數(shù)據(jù)模型，對(duì)固定視頻流進(jìn)行分析，并預(yù)測(cè)下一次可能發(fā)生的事件的時(shí)空位置，以對(duì)特定監(jiān)控傳感器進(jìn)行帶寬控制。

而參考文獻(xiàn)[67]從多比特率視頻流傳輸?shù)慕嵌瘸霭l(fā)，認(rèn)為傳統(tǒng)邊緣緩存方法通常需要視頻流行度符合特定分布，但實(shí)際場(chǎng)景下邊緣節(jié)點(diǎn)覆蓋區(qū)域小、用戶移動(dòng)性高、用戶請(qǐng)求受移動(dòng)設(shè)備上下文影響大。因此研究人員將該問(wèn)題建模為0-1優(yōu)化問(wèn)題，利用多臂老虎機(jī)理論，設(shè)計(jì)了CUCB(C-upper置信區(qū)間)算法進(jìn)行優(yōu)化。

具體而言，該方法能夠進(jìn)行在線化的學(xué)習(xí)，根據(jù)用戶需求實(shí)時(shí)地制定緩存模式和處理策略，可最大化視頻服務(wù)提供商的利益，滿足用戶的服務(wù)質(zhì)量要求。

此外，對(duì)于云邊協(xié)同的視頻處理，還能夠應(yīng)用全局統(tǒng)一的時(shí)空ID技術(shù)、視頻編碼與特征編碼聯(lián)合優(yōu)化技術(shù)等，進(jìn)一步對(duì)視頻處理性能加以提高。

關(guān)于作者：韓銳，北京理工大學(xué)特別研究員，博士生導(dǎo)師。2010年畢業(yè)于清華大學(xué)并獲優(yōu)秀碩士畢業(yè)生，2014年博士畢業(yè)于英國(guó)帝國(guó)理工學(xué)院，2014年3月至2018年6月在中國(guó)科學(xué)院計(jì)算所工作。專注于研究面向典型負(fù)載(機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、互聯(lián)網(wǎng)服務(wù))的云計(jì)算系統(tǒng)優(yōu)化，在 TPDS、TC、TKDE、TSC等領(lǐng)域頂級(jí)(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會(huì)議上發(fā)表超過(guò)40篇論文，Google學(xué)術(shù)引用1000 余次。

劉馳，北京理工大學(xué)計(jì)算機(jī)學(xué)院副院長(zhǎng)，教授，博士生導(dǎo)師。智能信息技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室主任，國(guó)家優(yōu)秀青年科學(xué)基金獲得者，國(guó)家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家，中國(guó)電子學(xué)會(huì)會(huì)士，英國(guó)工程技術(shù)學(xué)會(huì)會(huì)士，英國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)士。分別于清華大學(xué)和英國(guó)帝國(guó)理工學(xué)院獲得學(xué)士和博士學(xué)位，后在德國(guó)電信研究總院任博士后研究員，在美國(guó)IBM T.J.Watson研究中心和IBM中國(guó)研究院任研究主管。主要研究方向是智能物聯(lián)網(wǎng)技術(shù)。

本文摘編自《云邊協(xié)同大數(shù)據(jù)技術(shù)與應(yīng)用》(ISBN：978-7-111-70100-2)，經(jīng)出版方授權(quán)發(fā)布。

參考文獻(xiàn)[62] Y G KIM, Y S LEE, S W CHUNG. Signal strength-aware adaptive offloading with local image preprocessing for energy efficient mobile devices[J].IEEE Transactions on Computers, 2019, 69(1): 99-111.

[63] A H JIANG, et al. Mainstream: Dynamic stem-sharing for multi-tenant video processing[C].2018 USENIX Annual Technical Conference, 2018: 29-42.

[64] Y DONG, P ZHAO, H YU, et al. CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning[DB/OL].arXiv preprint arXiv: 2005.02177, 2020.

[65] B A MUDASSAR, J H KO, S MUKHOPADHYAY. Edge-cloud collaborative processing for intelligent internet of things: A case study on smart surveillance[C].2018 55th ACM/ESDA/IEEE Design Automation Conference (DAC), 2018: 1-6.

[66] L TOKA, B LAJTHA, é HOSSZU, et al. A resource-aware and time-critical IoT framework[C].IEEE INFOCOM 2017-IEEE Conference on Computer Communications, 2017: 1-9.

[67] Y HAO, L HU, Y QIAN, et al. Profit maximization for video caching and processing in edge cloud[J].IEEE Journal on Selected Areas in Communications, 2019, 37(7): 1632-1641.