MAS多媒體存儲(chǔ)訪問(wèn)架構(gòu)
【51CTO.com 綜合報(bào)道】存儲(chǔ)是視頻監(jiān)控系統(tǒng)中最為核心的功能之一,視頻監(jiān)控IP化、大聯(lián)網(wǎng)的趨勢(shì)對(duì)存儲(chǔ)系統(tǒng)提出了新的要求。
一路出2M D1碼流的視頻監(jiān)控?cái)z像頭,一天產(chǎn)生的數(shù)據(jù)量是21G Bytes。而一個(gè)大型監(jiān)控系統(tǒng)中的攝像頭數(shù)量往往數(shù)以千計(jì),如此海量的數(shù)據(jù)通過(guò)什么格式保存攝像頭的錄像數(shù)據(jù),才能提升后續(xù)回放和查找的效率?如何能為數(shù)以千計(jì)的攝像頭同時(shí)提供服務(wù)器,在大量并發(fā)請(qǐng)求的情況下保持存儲(chǔ)系統(tǒng)的穩(wěn)定性,支撐7×24小時(shí)服務(wù)?
在海量的數(shù)據(jù)面前,單靠人進(jìn)行多媒體數(shù)據(jù)的檢索、挖掘明顯力不從心 —— 效率低、成本高。隨著智能視頻技術(shù)的逐漸發(fā)展和成熟,視頻監(jiān)控系統(tǒng)中也開(kāi)始出現(xiàn)智能化的需求。然而目前智能系統(tǒng)和多媒體監(jiān)控系統(tǒng)大多為相互獨(dú)立的兩個(gè)系統(tǒng),數(shù)據(jù)沒(méi)有進(jìn)行整合。成為數(shù)據(jù)共享以及效率提升的障礙。整合多媒體視頻生產(chǎn)系統(tǒng)和智能視頻技術(shù),對(duì)視頻監(jiān)控的存儲(chǔ)系統(tǒng)也提出了很高的要求,要求智能信息和視頻監(jiān)控系統(tǒng)生產(chǎn)的音視頻信息要進(jìn)行有效整合。這種情況下,MAS應(yīng)運(yùn)而生。
MAS(Multimedia Attached Storage),多媒體附屬存儲(chǔ)。是H3C IMOS(IP Multimedia Operation System)多媒體操作系統(tǒng)平臺(tái)的核心組件之一。MAS是多媒體數(shù)據(jù)存儲(chǔ)的基礎(chǔ)架構(gòu),其不同于現(xiàn)有的文件系統(tǒng)以及普通塊存儲(chǔ)方式。它使用了創(chuàng)新的設(shè)計(jì)思路,以H3C多媒體存儲(chǔ)專利技術(shù)為設(shè)計(jì)基礎(chǔ),具備高可靠性和高擴(kuò)展能力。
一、 MAS設(shè)計(jì)思想
MAS的基本設(shè)計(jì)出發(fā)點(diǎn)是“針對(duì)視頻監(jiān)控的專業(yè)多媒體存儲(chǔ)系統(tǒng)”,它以H3C在監(jiān)控領(lǐng)域成熟應(yīng)用的塊存儲(chǔ)技術(shù)為基礎(chǔ),并對(duì)原有塊存儲(chǔ)技術(shù)進(jìn)行革新,吸取文件系統(tǒng)中的空間共享可動(dòng)態(tài)調(diào)整等特點(diǎn)。吸取文件系統(tǒng)和塊存儲(chǔ)的優(yōu)點(diǎn),又規(guī)避了其缺點(diǎn),并實(shí)施針對(duì)性視頻監(jiān)控應(yīng)用的多種可靠性保證設(shè)計(jì)。
作為適合視頻監(jiān)控的多媒體存儲(chǔ)基礎(chǔ)架構(gòu),MAS設(shè)計(jì)時(shí)詳細(xì)分析了多媒體的數(shù)據(jù)特點(diǎn)以及在不同場(chǎng)景下多媒體系統(tǒng)的應(yīng)用特點(diǎn),在塊存儲(chǔ)的基礎(chǔ)上進(jìn)行深層設(shè)計(jì)。MAS兼具文件系統(tǒng)的空間共享、彈性以及塊存儲(chǔ)的高效、穩(wěn)定的特點(diǎn),對(duì)存儲(chǔ)核心的元數(shù)據(jù)區(qū)進(jìn)行了嚴(yán)密的保護(hù)和訪問(wèn)限制。針對(duì)視頻監(jiān)控應(yīng)用做了存儲(chǔ)空間訪問(wèn)的優(yōu)化和擴(kuò)展,具備多媒體數(shù)據(jù)存儲(chǔ)的靈活管理和高可擴(kuò)展性、高可靠性的特點(diǎn)。
1. 存儲(chǔ)資源全局訪問(wèn) —— IP可達(dá)即存儲(chǔ)可達(dá)
MAS具備存儲(chǔ)資源的本地和網(wǎng)絡(luò)化訪問(wèn)方式,對(duì)存儲(chǔ)資源的生產(chǎn)者和使用者提供了統(tǒng)一的訪問(wèn)接口。生產(chǎn)者和使用者無(wú)需了解存儲(chǔ)資源的位置,組網(wǎng)中存儲(chǔ)資源可全局訪問(wèn),所有的存儲(chǔ)資源都由MAS接管,并提供全局的存儲(chǔ)服務(wù)。這種歸一化的訪問(wèn)方式可減小后續(xù)應(yīng)用的開(kāi)發(fā)工作量。
對(duì)于小型組網(wǎng)中常見(jiàn)的DVR/DVS等方式,MAS可安裝在DVR/DVS內(nèi)提供本地存儲(chǔ)服務(wù)。
大型組網(wǎng)中分散的數(shù)據(jù)難以管理,又有信息安全的風(fēng)險(xiǎn),勢(shì)必帶來(lái)數(shù)據(jù)集中的要求。存儲(chǔ)空間的網(wǎng)絡(luò)化訪問(wèn)是必然的方式,MAS使用的iSCSI協(xié)議基于TCP/IP之上,當(dāng)前IP網(wǎng)絡(luò)的普及和成熟性為MAS的部署提供了基礎(chǔ)保障。通過(guò)iSCSI協(xié)議無(wú)論是媒體數(shù)據(jù)的生產(chǎn)者還是媒體數(shù)據(jù)的訪問(wèn)者(如:VOD Server、第三方系統(tǒng))都可以方便快捷的寫入或獲取數(shù)據(jù),真正可做到IP可達(dá)即存儲(chǔ)可達(dá)。
圖1 MAS網(wǎng)絡(luò)化訪問(wèn)模型
2. 多重可靠性設(shè)計(jì) —— “穩(wěn)定壓倒一切”
MAS的設(shè)計(jì)目標(biāo)是提供7×24小時(shí)服務(wù),因此穩(wěn)定和健壯是關(guān)鍵指標(biāo),MAS在多個(gè)層次采用多種手段提升系統(tǒng)的穩(wěn)定和健壯:
◆底層使用Raid冗余技術(shù)
底層使用Raid5技術(shù),保證存儲(chǔ)空間的冗余保護(hù)。在發(fā)生單個(gè)磁盤損壞時(shí)可利用Raid5技術(shù)對(duì)數(shù)據(jù)進(jìn)行恢復(fù),避免MAS的元數(shù)據(jù)和多媒體數(shù)據(jù)遭到損壞。
◆數(shù)據(jù)區(qū)和元數(shù)據(jù)區(qū)操作分離
在視頻監(jiān)控?cái)z像頭產(chǎn)生的海量數(shù)據(jù)面前,普通的桌面級(jí)文件系統(tǒng)無(wú)論在穩(wěn)定性還是性能上都將面臨極大的問(wèn)題,頻繁、異徑且大量并發(fā)的文件系統(tǒng)元數(shù)據(jù)區(qū)的訪問(wèn)將會(huì)導(dǎo)致其難以承受。MAS系統(tǒng)對(duì)多媒體數(shù)據(jù)的訪問(wèn)和元數(shù)據(jù)的訪問(wèn)作出了嚴(yán)格的控制,元數(shù)據(jù)只能由MAS的管理者——MAS Manager Server操作,多媒體數(shù)據(jù)的生產(chǎn)者和使用者被嚴(yán)格禁止操作元數(shù)據(jù)。多媒體數(shù)據(jù)和元數(shù)據(jù)區(qū)的操作分離可以保證MAS Manager Server萬(wàn)一發(fā)生故障或宕機(jī),不會(huì)影響多媒體數(shù)據(jù)的正常訪問(wèn),媒體數(shù)據(jù)的生產(chǎn)者還可以繼續(xù)存入數(shù)據(jù),媒體數(shù)據(jù)的訪問(wèn)者還可以繼續(xù)讀取數(shù)據(jù)。
◆對(duì)元數(shù)據(jù)區(qū)進(jìn)行冗余保護(hù)
MAS同時(shí)對(duì)元數(shù)據(jù)區(qū)進(jìn)行了冗余設(shè)計(jì),當(dāng)發(fā)生不可預(yù)料的異常時(shí),系統(tǒng)可根據(jù)MAS元數(shù)據(jù)區(qū)的冗余信息找到正確的元數(shù)據(jù)。例如,由于某種原因MAS Manager Server發(fā)生了掉電,其對(duì)元數(shù)據(jù)區(qū)的操作可能只是部分完成,此時(shí)元數(shù)據(jù)區(qū)中的數(shù)據(jù)出現(xiàn)了錯(cuò)誤,MAS Manager Server重新上電后會(huì)自動(dòng)根據(jù)冗余信息找出正確的狀態(tài),保證MAS系統(tǒng)的正常運(yùn)行。
3. 共享塊存儲(chǔ) —— 揚(yáng)長(zhǎng)避短
MAS對(duì)H3C原有塊存儲(chǔ)技術(shù)進(jìn)行了擴(kuò)展設(shè)計(jì),使得一個(gè)MAS卷可同時(shí)為多個(gè)媒體資源的生產(chǎn)者使用,空間共享并可按需要擴(kuò)展或縮小。為了減少對(duì)元數(shù)據(jù)的訪問(wèn),MAS將基本存儲(chǔ)塊擴(kuò)展到適合視頻數(shù)據(jù)的256M Bytes(文件系統(tǒng)通常為幾十K~幾M),256M的基本存儲(chǔ)塊可進(jìn)一步細(xì)分為適合圖片數(shù)據(jù)的16M Bytes。媒體數(shù)據(jù)的生產(chǎn)者和使用者在數(shù)據(jù)操作時(shí)無(wú)需訪問(wèn)元數(shù)據(jù)區(qū),只在存儲(chǔ)空間需要擴(kuò)大或縮小的時(shí)候通過(guò)MAS Manager Server訪問(wèn)元數(shù)據(jù)區(qū),極大的降低了對(duì)元數(shù)據(jù)區(qū)的訪問(wèn)。
4. 數(shù)據(jù)關(guān)系矩陣 —— 智能應(yīng)用整合
數(shù)據(jù)關(guān)系矩陣解決的核心問(wèn)題是多媒體數(shù)據(jù)本身與其他系統(tǒng)產(chǎn)生的針對(duì)多媒體數(shù)據(jù)的表述信息建立對(duì)映關(guān)系。比如基于IMOS的監(jiān)控系統(tǒng)所產(chǎn)生的關(guān)于車流的視頻和車牌識(shí)別系統(tǒng)識(shí)別的車牌號(hào)。MAS系統(tǒng)中這種對(duì)映關(guān)系可精確到幀組級(jí)別,后續(xù)可根據(jù)表述信息快速定位到多媒體數(shù)據(jù)的具體位置,也可以根據(jù)多媒體數(shù)據(jù)快速獲取相應(yīng)的表述信息。
圖2 MAS應(yīng)用整合模型
◆應(yīng)用舉例1 —— 視頻標(biāo)簽:
城市重要道路的視頻監(jiān)控中,對(duì)于重要路口通常會(huì)有民警實(shí)時(shí)查看,民警可以通過(guò)實(shí)時(shí)監(jiān)控界面隨時(shí)為視頻添加標(biāo)簽,例如:民警可以描述此路口的交通實(shí)時(shí)擁堵情況,紅綠燈放行情況。事后民警可根據(jù)標(biāo)簽信息調(diào)取相應(yīng)視頻進(jìn)行分析,優(yōu)化車道設(shè)置、紅綠燈放行時(shí)間設(shè)置以達(dá)到優(yōu)化交通的目的。
◆應(yīng)用舉例2 —— 智能整合應(yīng)用:
目前視頻智能分析工具雖然很多,但是這些工具基本都是針對(duì)某種場(chǎng)景,通過(guò)MAS可以將多種智能分析工具整合起來(lái)。比如:智能分析工具A為車牌識(shí)別系統(tǒng),智能分析工具B為周界檢測(cè)系統(tǒng),如果要在一段視頻中找出紅色小汽車進(jìn)入某個(gè)周界的視頻,目前的智能分析工具是相互獨(dú)立的,對(duì)此無(wú)能為力。如果使用MAS系統(tǒng),可先使用智能分析工具A 分析視頻中包含紅色小汽車的視頻,然后使用智能分析工具B分析包含紅色小汽車的視頻,從而得到準(zhǔn)確符合用戶需求的視頻。MAS也可以在已經(jīng)經(jīng)過(guò)多種智能分析工具分析的視頻中用組合邏輯查找相應(yīng)的視頻信息,例如:可以查找汽車進(jìn)入某個(gè)周界或/且有紅色小汽車的視頻。 #p#
二、 MAS架構(gòu)
MAS設(shè)計(jì)秉承IMOS的抽象、開(kāi)放、分層的設(shè)計(jì)原則。
抽象:MAS抽象出各種物理存儲(chǔ)資源(如:磁盤、CF卡)的共性特征,并將其封裝為統(tǒng)一的讀、寫、查接口。例如:資源的使用者(如:編碼器)無(wú)需感知物理存儲(chǔ)資源,也無(wú)需感知是本地還是遠(yuǎn)程物理存儲(chǔ)設(shè)備,使用統(tǒng)一的接口即能訪問(wèn)所有類型的物理存儲(chǔ)資源。
開(kāi)放:MAS無(wú)論對(duì)系統(tǒng)內(nèi)網(wǎng)元還是系統(tǒng)外網(wǎng)元都提供標(biāo)準(zhǔn)的訪問(wèn)方式,對(duì)內(nèi)為讀、寫、查接口,對(duì)外為標(biāo)準(zhǔn)的RTSP/RTP等訪問(wèn)接口。可以很容易的通過(guò)開(kāi)放接口開(kāi)發(fā)IMOS應(yīng)用以及和外系統(tǒng)聯(lián)動(dòng)擴(kuò)展。
分層:MAS內(nèi)部架構(gòu)的分層設(shè)計(jì)降低了內(nèi)部模塊之間耦合度,提升了MAS系統(tǒng)的穩(wěn)定性,以及可移植性。基于這些分層的設(shè)計(jì)可以便捷的開(kāi)發(fā)基于MAS的應(yīng)用,以及擴(kuò)展MAS內(nèi)部的功能。
MAS架構(gòu)如下圖所示:
圖3 MAS架構(gòu)
◆流媒體應(yīng)用層
實(shí)現(xiàn)標(biāo)準(zhǔn)流媒體協(xié)議,如:RTSP/ RTP等,對(duì)外展現(xiàn)為標(biāo)準(zhǔn)流媒體接口。提供標(biāo)準(zhǔn)流媒體服務(wù),外部系統(tǒng)可通過(guò)標(biāo)準(zhǔn)流媒體方式訪問(wèn)MAS系統(tǒng)內(nèi)的多媒體數(shù)據(jù)。
◆生命周期管理
MAS統(tǒng)一管理系統(tǒng)中的所有多媒體數(shù)據(jù),可根據(jù)用戶靈活配置的策略進(jìn)行生命周期管理,如:留存期管理、抽幀備份、歸檔等。通過(guò)對(duì)多媒體數(shù)據(jù)的生命周期管理,***限度的利用存儲(chǔ)空間以及保留重要信息,為用戶有效降低對(duì)存儲(chǔ)空間的投資。
◆媒體數(shù)據(jù)直接訪問(wèn)接口層
MAS系統(tǒng)提供多媒體數(shù)據(jù)的直接訪問(wèn)接口,主要是在多媒體系統(tǒng)中其他網(wǎng)元訪問(wèn)存儲(chǔ)資源時(shí)使用,多媒體數(shù)據(jù)對(duì)應(yīng)的特征數(shù)據(jù)都在此接口進(jìn)行封裝。接口對(duì)存儲(chǔ)資源的使用者抽象成讀、寫、查三類接口,簡(jiǎn)單易用。使用者無(wú)需關(guān)心存儲(chǔ)資源的類型、訪問(wèn)差異及數(shù)據(jù)組織方式。
◆數(shù)據(jù)組織層
數(shù)據(jù)組織層負(fù)責(zé)多媒體存儲(chǔ)格式、維護(hù)多媒體數(shù)據(jù)和智能特征數(shù)據(jù)之間的關(guān)系。關(guān)系組織結(jié)構(gòu)如下圖所示:
圖4 數(shù)據(jù)組織關(guān)系模型
為適應(yīng)圖4所示的數(shù)據(jù)關(guān)系矩陣,MAS對(duì)多媒體數(shù)據(jù)的存儲(chǔ)格式進(jìn)行了針對(duì)性設(shè)計(jì),多媒體數(shù)據(jù)區(qū)可動(dòng)態(tài)建立擴(kuò)展索引關(guān)系,利用擴(kuò)展索引可關(guān)聯(lián)到相應(yīng)的多媒體特征或相關(guān)表述信息。MAS中設(shè)計(jì)的擴(kuò)展索引非常靈活,通過(guò)擴(kuò)展索引可以關(guān)聯(lián)到數(shù)據(jù)表格、數(shù)據(jù)庫(kù)、URL、文件系統(tǒng)中的文件、甚至是物理地址。
◆存儲(chǔ)資源屏蔽層
存儲(chǔ)資源屏蔽層的作用是抽象存儲(chǔ)資源的訪問(wèn),屏蔽存儲(chǔ)資源的差異。無(wú)論真正的存儲(chǔ)資源是本地磁盤、CF卡、IPSAN、還是FC SAN存儲(chǔ)資源的使用者都不需關(guān)心。通過(guò)“媒體數(shù)據(jù)直接訪問(wèn)接口層”為用戶提供統(tǒng)一的訪問(wèn)接口。
◆物理資源層
真正的物理資源,如磁盤、CF卡、IPSAN等物理存儲(chǔ)資源。
◆MAS管理
整個(gè)MAS系統(tǒng)的管理者,也是系統(tǒng)中的存儲(chǔ)資源和多媒體數(shù)據(jù)的管理者,負(fù)責(zé)元數(shù)據(jù)區(qū)的維護(hù)。為存儲(chǔ)資源的管理員提供各種管理手段,如:動(dòng)態(tài)擴(kuò)展、縮小存儲(chǔ)資源,存儲(chǔ)資源的上下線等。
三、 結(jié)束語(yǔ)
對(duì)于視頻監(jiān)控系統(tǒng)而言,存儲(chǔ)非常關(guān)鍵。隨著視頻監(jiān)控的網(wǎng)絡(luò)化不斷深入,規(guī)模不斷擴(kuò)大,智能應(yīng)用的逐漸實(shí)施,傳統(tǒng)的普適性文件系統(tǒng)將會(huì)越來(lái)越力不從心。針對(duì)視頻監(jiān)控特點(diǎn)開(kāi)發(fā)專業(yè)存儲(chǔ)系統(tǒng)是視頻監(jiān)控大聯(lián)網(wǎng)時(shí)代的必然趨勢(shì)。