多媒體存儲(chǔ)的范疇很廣，包括網(wǎng)站媒體、VOD應(yīng)用、醫(yī)療PACS等在內(nèi)的各種涉及圖形、圖像應(yīng)用的存儲(chǔ)領(lǐng)域，其中視頻監(jiān)控存儲(chǔ)是多媒體存儲(chǔ)的一種重要形態(tài)。本文重點(diǎn)聚焦監(jiān)控領(lǐng)域的多媒體存儲(chǔ)，文中說到的監(jiān)控存儲(chǔ)，都指監(jiān)控領(lǐng)域的多媒體存儲(chǔ)。

    1、多媒體存儲(chǔ)的特點(diǎn)

    如表1所示，為監(jiān)控存儲(chǔ)模型和傳統(tǒng)存儲(chǔ)模型的特點(diǎn)對比：

    從表中可以看出三種存儲(chǔ)模型體現(xiàn)出了截然不同的特性。傳統(tǒng)的數(shù)據(jù)庫表存儲(chǔ)，在表現(xiàn)形式上體現(xiàn)出結(jié)構(gòu)化的特性，但是在組織方式上更多的表現(xiàn)出無序的特征；傳統(tǒng)的文本、圖像存儲(chǔ)，無論是表現(xiàn)形式，還是組織方式，都體現(xiàn)出非規(guī)則的無序特征。

    而監(jiān)控存儲(chǔ)雖然其數(shù)據(jù)的表現(xiàn)形式和傳統(tǒng)的圖像存儲(chǔ)一樣，體現(xiàn)出無規(guī)則的非結(jié)構(gòu)化特征，但是其在組織方式上是結(jié)構(gòu)化的，體現(xiàn)出很強(qiáng)的規(guī)則性，這是其***的特點(diǎn)，也是和傳統(tǒng)存儲(chǔ)模型大不一樣的地方。那么，該如何用結(jié)構(gòu)化的方法，對這種非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行管理？現(xiàn)有的數(shù)據(jù)管理方式是否適用于監(jiān)控存儲(chǔ)呢？

    2、多媒體存儲(chǔ)的數(shù)據(jù)管理挑戰(zhàn)
    業(yè)界較為典型的監(jiān)控存儲(chǔ)的數(shù)據(jù)管理方案是“DVS＋媒體服務(wù)器＋存儲(chǔ)系統(tǒng)”，其中媒體服務(wù)器是系統(tǒng)的核心，由其負(fù)責(zé)媒體數(shù)據(jù)流的分發(fā)、錄像、以及VOD點(diǎn)播，如圖1所示：

    在這種流媒體服務(wù)器的方案中，數(shù)據(jù)管理方式是基于文件系統(tǒng)進(jìn)行的，所有的錄像數(shù)據(jù)在通過媒體服務(wù)器時(shí)，都被轉(zhuǎn)成了標(biāo)準(zhǔn)的流媒體文件（幾分鐘到幾十分鐘的錄像形成一個(gè)文件），然后再進(jìn)行存儲(chǔ)。這種存儲(chǔ)方式利用了傳統(tǒng)文件系統(tǒng)自身的特性，系統(tǒng)開發(fā)比較簡單，但有可能降低監(jiān)控存儲(chǔ)的效率，主要體現(xiàn)在：

    存在視頻數(shù)據(jù)丟失的風(fēng)險(xiǎn)。文件形成需要時(shí)間，在形成過程中若網(wǎng)絡(luò)有誤碼、前端DVR/DVS/IPCAM有故障/停電，服務(wù)器自身軟件缺陷等情況出現(xiàn)，就會(huì)造成整段時(shí)間視頻文件的丟失。

    受文件碎片的影響。文件系統(tǒng)使用過程中會(huì)形成大量的文件碎片，在使用過程中存儲(chǔ)空間會(huì)逐漸變小，性能也會(huì)隨之降低。

    文件檢索效率低。歷史數(shù)據(jù)檢索的最小單位是文件，顆粒度太大，精確度低。

    除了文件系統(tǒng)自身的不足之外，方案還會(huì)受到流媒體服務(wù)器集群能力的影響。一臺(tái)普通的PC Server大約能承載幾十路2Mbps媒體數(shù)據(jù)流的處理，在這種組網(wǎng)下，要支撐更多數(shù)量的媒體流處理，需要將多臺(tái)媒體服務(wù)器組成一個(gè)集群。但是，受限于媒體流服務(wù)器的集群能力，媒體服務(wù)器的數(shù)量不能太多，一般十幾臺(tái)媒體服務(wù)器就達(dá)到了一個(gè)集群的極限。因此，媒體服務(wù)器集群成為了整個(gè)監(jiān)控系統(tǒng)的瓶頸，這使得監(jiān)控系統(tǒng)無法大規(guī)模展開。在構(gòu)建平安工程這類大規(guī)模監(jiān)控系統(tǒng)時(shí)，這種方案就會(huì)遇到很大問題，大量的媒體服務(wù)器不僅增加成本，管理同時(shí)變得更復(fù)雜。

    由此可見，傳統(tǒng)的監(jiān)控系統(tǒng)在數(shù)據(jù)管理方面面臨的兩個(gè)主要問題：普通文件系統(tǒng)不是專為監(jiān)控存儲(chǔ)設(shè)計(jì)，因此會(huì)影響到監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的效率；媒體服務(wù)器的集群能力有限，導(dǎo)致監(jiān)控系統(tǒng)大規(guī)模部署困難。那么，是否有針對監(jiān)控存儲(chǔ)的更好的數(shù)據(jù)管理方式？

    3、基于“塊直存”的多媒體存儲(chǔ)管理方式
    針對監(jiān)控存儲(chǔ)的數(shù)據(jù)特點(diǎn)，業(yè)界早在幾年前就開始嘗試一些新的數(shù)據(jù)管理方式，希望能夠提高監(jiān)控存儲(chǔ)的數(shù)據(jù)管理效率，滿足監(jiān)控大規(guī)模應(yīng)用的需求。在這些數(shù)據(jù)管理方式中，“塊直存”就是其中比較有特點(diǎn)的一種，已經(jīng)成為業(yè)界發(fā)展的方向。其創(chuàng)新性主要體現(xiàn)在：

    創(chuàng)造性的采用了“時(shí)間索引+塊數(shù)據(jù)”的專用數(shù)據(jù)結(jié)構(gòu)，拋棄了傳統(tǒng)的文件系統(tǒng)，提高監(jiān)控?cái)?shù)據(jù)的管理效率。

    創(chuàng)造性的采用了基于iSCSI協(xié)議的IP SAN直存技術(shù)，拋棄了傳統(tǒng)的流媒體服務(wù)器，簡化系統(tǒng)架構(gòu)。

    通過集中式數(shù)據(jù)管理，實(shí)現(xiàn)了對資源的統(tǒng)一劃分和調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的全局性管理。

    以下就它的各層含義做加以分析。

***，監(jiān)控專用數(shù)據(jù)結(jié)構(gòu)。

    “塊直存”的數(shù)據(jù)管理方式拋棄了傳統(tǒng)的文件系統(tǒng)，采用底層的數(shù)據(jù)塊作為基本的存儲(chǔ)單元，同時(shí)創(chuàng)造性的采用了一種專用于監(jiān)控存儲(chǔ)的專用數(shù)據(jù)結(jié)構(gòu)，通過數(shù)據(jù)塊+專用數(shù)據(jù)結(jié)構(gòu)兩部分相結(jié)合，來實(shí)現(xiàn)對監(jiān)控存儲(chǔ)的結(jié)構(gòu)化管理。

     通過深入分析文件系統(tǒng)的設(shè)計(jì)機(jī)制可以發(fā)現(xiàn)，監(jiān)控?cái)?shù)據(jù)丟失的根本原因是對元數(shù)據(jù)的過度依賴，元數(shù)據(jù)類似于這些錄像數(shù)據(jù)的組織關(guān)系。錄像數(shù)據(jù)丟失的絕大部分原因并不是磁盤介質(zhì)上的數(shù)據(jù)消失了，而是因?yàn)檫@些散落在磁盤介質(zhì)上的數(shù)據(jù)的“組織關(guān)系”被破壞了（比如文件系統(tǒng)中病毒、異常斷電導(dǎo)致文件損壞等）。那么，如果能脫離文件系統(tǒng)，把數(shù)據(jù)及其“組織關(guān)系”統(tǒng)一管理起來，讓每個(gè)攝像機(jī)的錄像數(shù)據(jù)高度自治，甚至可以基于錄像數(shù)據(jù)重構(gòu)出數(shù)據(jù)的“組織關(guān)系”，自然就能解決因文件系統(tǒng)損壞而帶來的錄像數(shù)據(jù)丟失的問題。

    進(jìn)一步的分析和研究監(jiān)控系統(tǒng)中的音視頻數(shù)據(jù)發(fā)現(xiàn)，多媒體數(shù)據(jù)具有以下特征：

    1）任何兩個(gè)攝像機(jī)之間的錄像數(shù)據(jù)在組織上都不具有相關(guān)性；

    2）攝像機(jī)的錄像數(shù)據(jù)可以基于I[z1] 幀組來進(jìn)行組織，在一定的預(yù)置條件下每個(gè)I幀組的大小非常接近；

    3）攝像機(jī)的錄像數(shù)據(jù)與時(shí)間高度相關(guān)，且具有絕對唯一的映射關(guān)系，完全可以使用嚴(yán)格遞增的時(shí)間來作為錄像數(shù)據(jù)的索引。

    以上兩點(diǎn)分析表明，基于文件系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)管理方式已不適合，而應(yīng)該采用結(jié)構(gòu)化的多媒體數(shù)據(jù)管理機(jī)制，以此徹底避免文件系統(tǒng)對系統(tǒng)帶來的不利影響。這種新的數(shù)據(jù)結(jié)構(gòu)采用I幀組作為多媒體數(shù)據(jù)的最小組織單元，時(shí)間作為每個(gè)數(shù)據(jù)單元的索引，并且把索引和數(shù)據(jù)保存在一個(gè)完全獨(dú)立的邏輯存儲(chǔ)空間上，這就是“塊直存”的基本原理，如圖2所示。

    在“塊直存”的系統(tǒng)中，“塊”存儲(chǔ)可理解成自定義的一種文件系統(tǒng)，在裸盤上進(jìn)行數(shù)據(jù)讀寫；錄像的索引可以認(rèn)為是數(shù)據(jù)的自描述元素（可以稱之為“元數(shù)據(jù)”），錄像的索引和數(shù)據(jù)形成獨(dú)立的、完整的數(shù)據(jù)結(jié)構(gòu)，這種數(shù)據(jù)結(jié)構(gòu)完全由自己管理，不再由操作系統(tǒng)和文件系統(tǒng)管理，徹底避免了由于文件系統(tǒng)原因而導(dǎo)致的錄像丟失問題。

    通過時(shí)間索引+塊數(shù)據(jù)存儲(chǔ)這種組合，還大幅提高了數(shù)據(jù)管理的效率。在錄像檢索上，可以基于時(shí)間索引進(jìn)行，而不再以單個(gè)文件為單位，因此可以快速定位到任意時(shí)間的錄像，檢索速度大幅提高。在檢索的顆粒度上，也不再受文件大小的限制，可以實(shí)現(xiàn)秒級(jí)別甚至毫秒級(jí)別的連續(xù)檢索。此外，在資源的管理上，由于監(jiān)控錄像空間的大小是可預(yù)見性，因此完全可以采用預(yù)分配的方式來劃分存儲(chǔ)空間，從而使得空間資源得以計(jì)劃分配，避免了文件系統(tǒng)使用過程中產(chǎn)生的大量文件碎片。

第二，前端設(shè)備到IP SAN的直存。

    “塊直存”的數(shù)據(jù)管理方式拋棄了流媒體服務(wù)器，在IP網(wǎng)絡(luò)的基礎(chǔ)上，采用前端設(shè)備（編碼器、IPC）直寫IP SAN存儲(chǔ)的方式，實(shí)現(xiàn)了全局性的存儲(chǔ)資源讀寫訪問。

    這些年來，技術(shù)的進(jìn)步為視頻監(jiān)控系統(tǒng)中存儲(chǔ)體系架構(gòu)的變革奠定了堅(jiān)實(shí)的基礎(chǔ)，主要表現(xiàn)在：

    1）編碼設(shè)備中的運(yùn)算處理能力越來越強(qiáng)，在提供基本的編碼、傳輸功能之外，編碼設(shè)備還有大量的空閑資源可供利用；

    2）網(wǎng)絡(luò)技術(shù)更加成熟，器件成本持續(xù)下降，前端編碼設(shè)備提供百兆或千兆接口已不存在成本方面的限制；

    3）基于iSCSI協(xié)議的IP存儲(chǔ)技術(shù)得到了廣泛的應(yīng)用，專業(yè)存儲(chǔ)更加平民化。

    基于這些技術(shù)進(jìn)步，在編碼設(shè)備中創(chuàng)新性的集成了iSCSI模塊，使得編碼設(shè)備可以基于iSCSI/TCP/IP協(xié)議端到端地把錄像數(shù)據(jù)寫入IP SAN存儲(chǔ)設(shè)備中。具體如圖3所示：

    相對于傳統(tǒng)監(jiān)控系統(tǒng)的流媒體服務(wù)器的存儲(chǔ)模型，前端設(shè)備直寫IP SAN存儲(chǔ)模型具有以下幾大明顯的技術(shù)優(yōu)勢：

    全I(xiàn)P的解決方案，輕松破解模擬視頻信號(hào)接入的工程難題；

    錄像數(shù)據(jù)基于TCP協(xié)議在編碼設(shè)備和IP SAN存儲(chǔ)設(shè)備之間傳輸，保證了錄像的可靠性；

    簡化了系統(tǒng)架構(gòu)，避免了流媒體服務(wù)器的瓶頸問題，不僅降低了系統(tǒng)的TCO，而且管理運(yùn)維更方便。

第三，全局性的資源統(tǒng)一管理。

    在前兩者的基礎(chǔ)上，通過全局性的資源統(tǒng)一劃分和調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的全局性管理。

    在大型監(jiān)控系統(tǒng)里面，可能有千上萬個(gè)攝像機(jī)和海量的存儲(chǔ)空間。如何管理這些攝像頭和存儲(chǔ)設(shè)備之間的對應(yīng)關(guān)系是一個(gè)非常復(fù)雜的難題。在“塊直存”視頻監(jiān)控系統(tǒng)中，我們引入了數(shù)據(jù)管理服務(wù)器（DM）的一個(gè)單元，以此來實(shí)現(xiàn)存儲(chǔ)資源的統(tǒng)一管理。

    在“塊直存”架構(gòu)里，所有攝像頭和存儲(chǔ)陣列通過IP網(wǎng)絡(luò)互連，任意攝像頭和任意存儲(chǔ)陣列都可以互相訪問，存儲(chǔ)的管理通過存儲(chǔ)架構(gòu)的大腦——DM數(shù)據(jù)管理平臺(tái)來實(shí)現(xiàn)。DM是一個(gè)專用的數(shù)據(jù)管理設(shè)備，所有的攝像頭和存儲(chǔ)資源都由其管理。攝像頭需要存儲(chǔ)數(shù)據(jù)時(shí)，會(huì)統(tǒng)一向DM申請，DM收到申請后，會(huì)從存儲(chǔ)空間中選擇合適的存儲(chǔ)資源分配給攝像頭，然后攝像頭再跟這一塊存儲(chǔ)資源建立讀寫關(guān)系。在整個(gè)系統(tǒng)中，攝像頭不需要知道數(shù)據(jù)存儲(chǔ)在哪個(gè)陣列上，存儲(chǔ)陣列和攝像頭之間也沒有特定的綁定關(guān)系，完全是一種動(dòng)態(tài)的資源分配。而且一旦攝像頭和存儲(chǔ)陣列建立起關(guān)系之后，DM就不再參與數(shù)據(jù)寫入過程，數(shù)據(jù)由攝像頭直接寫入到存儲(chǔ)陣列，不存在性能瓶頸。

    這種方式保證了錄像數(shù)據(jù)在不同設(shè)備間的實(shí)時(shí)共享，任一路前端設(shè)備可以訪問到任何一臺(tái)IP SAN存儲(chǔ)設(shè)備。而系統(tǒng)內(nèi)的DM統(tǒng)一管理所有的IP SAN設(shè)備，實(shí)現(xiàn)資源的統(tǒng)一劃分和調(diào)度，控制數(shù)據(jù)的全局性管理。因?yàn)榭梢栽L問到所有編碼設(shè)備的錄像數(shù)據(jù)，DM還可以很方便的提供VOD服務(wù)，多個(gè)用戶可并發(fā)回放同一攝像機(jī)的錄像數(shù)據(jù)。

    4、總結(jié)
    多媒體存儲(chǔ)管理是數(shù)據(jù)管理的一個(gè)新課題，隨著監(jiān)控應(yīng)用的迅速發(fā)展，這個(gè)課題已經(jīng)成為了業(yè)界關(guān)注的焦點(diǎn)?；?ldquo;塊直存”的數(shù)據(jù)管理方式，是多媒體存儲(chǔ)管理方式的一大創(chuàng)新嘗試。它通過獨(dú)特的方式，解決了傳統(tǒng)監(jiān)控應(yīng)用中的文件系統(tǒng)的低效率問題和流媒體服務(wù)器的集群能力問題，大幅提高了監(jiān)控存儲(chǔ)的數(shù)據(jù)管理效率，較好的滿足了監(jiān)控大規(guī)模應(yīng)用的需求。

    這一創(chuàng)新理念自誕生之際，就受到了業(yè)界眾多廠家、用戶的關(guān)注，一些綜合實(shí)力較強(qiáng)的廠商，都加大了在“塊直存”方面的研究投入，基于“塊直存”的監(jiān)控?cái)?shù)據(jù)管理方案已經(jīng)成為了最熱門的方案。但是，“塊直存”技術(shù)還遠(yuǎn)沒到***的境界，由于拋棄了傳統(tǒng)文件系統(tǒng)，導(dǎo)致那些在文件系統(tǒng)基礎(chǔ)上比較容易實(shí)現(xiàn)的圖像備份、數(shù)據(jù)轉(zhuǎn)存等功能，在“塊直存”方案中實(shí)現(xiàn)起來的變得比較復(fù)雜，實(shí)現(xiàn)的難度也大大增加。因此，采用“塊直存”技術(shù)，對廠商的技術(shù)能力也是一個(gè)挑戰(zhàn)。

    5、結(jié)束語
    “塊直存”技術(shù)，任重而道遠(yuǎn)，盡管會(huì)碰到各種曲折，作為多媒體存儲(chǔ)管理的一大創(chuàng)舉，其代表著潮流的一個(gè)方向，其前景讓人期待。

    6、H3C多媒體存儲(chǔ)管理創(chuàng)新實(shí)踐
    H3C率先在iVS視頻監(jiān)控系統(tǒng)中應(yīng)用了“塊直存”存儲(chǔ)體系架構(gòu)，一舉解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)中存儲(chǔ)所面臨的系列問題，不僅實(shí)現(xiàn)了錄像的可靠性，提升的便捷的數(shù)據(jù)訪問方式，而且還大幅降低了錄像數(shù)據(jù)的存儲(chǔ)成本。

    如圖4所示為H3C iIVS8000方案的典型組網(wǎng)，其包含了“塊直存”的三個(gè)基本特性：

    IP SAN直存方式。錄像保存過程中，前端編碼器通過iSCSI協(xié)議將數(shù)據(jù)直接寫入到VX1500 IP SAN存儲(chǔ)中，中間不經(jīng)過流媒體服務(wù)器。理論上，只要IP可達(dá)，任意一個(gè)前端設(shè)備都可以訪問到任意的IP SAN存儲(chǔ)。

    基于塊數(shù)據(jù)的錄像組織。采用“時(shí)間索引+塊數(shù)據(jù)”的方式對錄像進(jìn)行組織，中間不經(jīng)過文件系統(tǒng)。時(shí)間索引和錄像數(shù)據(jù)都保存在IP SAN存儲(chǔ)陣列上，每一個(gè)時(shí)間索引是對應(yīng)的錄像的自描述，通過時(shí)間索引可以快速檢索到任意時(shí)刻的錄像。

    全局?jǐn)?shù)據(jù)管理。通過數(shù)據(jù)管理服務(wù)器（DM）實(shí)現(xiàn)對空間資源的統(tǒng)一調(diào)度和分配。存儲(chǔ)設(shè)備的注冊、初始資源的規(guī)劃、存儲(chǔ)過程中的資源變化、存儲(chǔ)資源等空間資源操作，統(tǒng)一通過DM進(jìn)行。系統(tǒng)采用控制流和數(shù)據(jù)流分離的方式，DM和VX1500 IP存儲(chǔ)之間通過控制信令流進(jìn)行交互，而數(shù)據(jù)寫入過程的iSCSI流不經(jīng)過DM，不存在系統(tǒng)瓶頸。