【51CTO.com 綜合報道】1 多媒體存儲的特點

如表1所示，為監(jiān)控存儲模型和傳統(tǒng)存儲模型的特點對比：

表1 監(jiān)控存儲與傳統(tǒng)存儲對比

從表中可以看出三種存儲模型體現(xiàn)出了截然不同的特性。傳統(tǒng)的數(shù)據(jù)庫表存儲，在表現(xiàn)形式上體現(xiàn)出結(jié)構(gòu)化的特性，但是在組織方式上更多的表現(xiàn)出無序的特征；傳統(tǒng)的文本、圖像存儲，無論是表現(xiàn)形式，還是組織方式，都體現(xiàn)出非規(guī)則的無序特征。

而監(jiān)控存儲雖然其數(shù)據(jù)的表現(xiàn)形式和傳統(tǒng)的圖像存儲一樣，體現(xiàn)出無規(guī)則的非結(jié)構(gòu)化特征，但是其在組織方式上是結(jié)構(gòu)化的，體現(xiàn)出很強的規(guī)則性，這是其最大的特點，也是和傳統(tǒng)存儲模型大不一樣的地方。那么，該如何用結(jié)構(gòu)化的方法，對這種非結(jié)構(gòu)化的數(shù)據(jù)進行管理？現(xiàn)有的數(shù)據(jù)管理方式是否適用于監(jiān)控存儲呢？#p#

2 多媒體存儲的數(shù)據(jù)管理挑戰(zhàn)

業(yè)界較為典型的監(jiān)控存儲的數(shù)據(jù)管理方案是“DVS＋媒體服務(wù)器＋存儲系統(tǒng)”，其中媒體服務(wù)器是系統(tǒng)的核心，由其負責(zé)媒體數(shù)據(jù)流的分發(fā)、錄像、以及VOD點播，如圖1所示：

圖 1 基于媒體服務(wù)器的監(jiān)控系統(tǒng)數(shù)據(jù)流圖

在這種流媒體服務(wù)器的方案中，數(shù)據(jù)管理方式是基于文件系統(tǒng)進行的，所有的錄像數(shù)據(jù)在通過媒體服務(wù)器時，都被轉(zhuǎn)成了標(biāo)準(zhǔn)的流媒體文件（幾分鐘到幾十分鐘的錄像形成一個文件），然后再進行存儲。這種存儲方式利用了傳統(tǒng)文件系統(tǒng)自身的特性，系統(tǒng)開發(fā)比較簡單，但有可能降低監(jiān)控存儲的效率，主要體現(xiàn)在： 

◆存在視頻數(shù)據(jù)丟失的風(fēng)險。文件形成需要時間，在形成過程中若網(wǎng)絡(luò)有誤碼、前端DVR/DVS/IPCAM有故障/停電，服務(wù)器自身軟件缺陷等情況出現(xiàn)，就會造成整段時間視頻文件的丟失。 

◆受文件碎片的影響。文件系統(tǒng)使用過程中會形成大量的文件碎片，在使用過程中存儲空間會逐漸變小，性能也會隨之降低。 

◆文件檢索效率低。歷史數(shù)據(jù)檢索的最小單位是文件，顆粒度太大，精確度低。

除了文件系統(tǒng)自身的不足之外，方案還會受到流媒體服務(wù)器集群能力的影響。一臺普通的PC Server大約能承載幾十路2Mbps媒體數(shù)據(jù)流的處理，在這種組網(wǎng)下，要支撐更多數(shù)量的媒體流處理，需要將多臺媒體服務(wù)器組成一個集群。但是，受限于媒體流服務(wù)器的集群能力，媒體服務(wù)器的數(shù)量不能太多，一般十幾臺媒體服務(wù)器就達到了一個集群的極限。因此，媒體服務(wù)器集群成為了整個監(jiān)控系統(tǒng)的瓶頸，這使得監(jiān)控系統(tǒng)無法大規(guī)模展開。在構(gòu)建平安工程這類大規(guī)模監(jiān)控系統(tǒng)時，這種方案就會遇到很大問題，大量的媒體服務(wù)器不僅增加成本，管理同時變得更復(fù)雜。

由此可見，傳統(tǒng)的監(jiān)控系統(tǒng)在數(shù)據(jù)管理方面面臨的兩個主要問題：普通文件系統(tǒng)不是專為監(jiān)控存儲設(shè)計，因此會影響到監(jiān)控數(shù)據(jù)存儲的效率；媒體服務(wù)器的集群能力有限，導(dǎo)致監(jiān)控系統(tǒng)大規(guī)模部署困難。那么，是否有針對監(jiān)控存儲的更好的數(shù)據(jù)管理方式？#p#

3 基于“塊直存”的多媒體存儲管理方式

針對監(jiān)控存儲的數(shù)據(jù)特點，業(yè)界早在幾年前就開始嘗試一些新的數(shù)據(jù)管理方式，希望能夠提高監(jiān)控存儲的數(shù)據(jù)管理效率，滿足監(jiān)控大規(guī)模應(yīng)用的需求。在這些數(shù)據(jù)管理方式中，“塊直存”就是其中比較有特點的一種，已經(jīng)成為業(yè)界發(fā)展的方向。其創(chuàng)新性主要體現(xiàn)在： 

◆創(chuàng)造性的采用了“時間索引+塊數(shù)據(jù)”的專用數(shù)據(jù)結(jié)構(gòu)，拋棄了傳統(tǒng)的文件系統(tǒng)，提高監(jiān)控數(shù)據(jù)的管理效率。 

◆創(chuàng)造性的采用了基于iSCSI協(xié)議的IP SAN直存技術(shù)，拋棄了傳統(tǒng)的流媒體服務(wù)器，簡化系統(tǒng)架構(gòu)。 

◆通過集中式數(shù)據(jù)管理，實現(xiàn)了對資源的統(tǒng)一劃分和調(diào)度，實現(xiàn)數(shù)據(jù)的全局性管理。

以下就它的各層含義加以分析。

第一，監(jiān)控專用數(shù)據(jù)結(jié)構(gòu)。

“塊直存”的數(shù)據(jù)管理方式拋棄了傳統(tǒng)的文件系統(tǒng)，采用底層的數(shù)據(jù)塊作為基本的存儲單元，同時創(chuàng)造性的采用了一種專用于監(jiān)控存儲的專用數(shù)據(jù)結(jié)構(gòu)，通過數(shù)據(jù)塊+專用數(shù)據(jù)結(jié)構(gòu)兩部分相結(jié)合，來實現(xiàn)對監(jiān)控存儲的結(jié)構(gòu)化管理。

通過深入分析文件系統(tǒng)的設(shè)計機制可以發(fā)現(xiàn)，監(jiān)控數(shù)據(jù)丟失的根本原因是對元數(shù)據(jù)的過度依賴，元數(shù)據(jù)類似于這些錄像數(shù)據(jù)的組織關(guān)系。錄像數(shù)據(jù)丟失的絕大部分原因并不是磁盤介質(zhì)上的數(shù)據(jù)消失了，而是因為這些散落在磁盤介質(zhì)上的數(shù)據(jù)的“組織關(guān)系”被破壞了（比如文件系統(tǒng)中病毒、異常斷電導(dǎo)致文件損壞等）。那么，如果能脫離文件系統(tǒng)，把數(shù)據(jù)及其“組織關(guān)系”統(tǒng)一管理起來，讓每個攝像機的錄像數(shù)據(jù)高度自治，甚至可以基于錄像數(shù)據(jù)重構(gòu)出數(shù)據(jù)的“組織關(guān)系”，自然就能解決因文件系統(tǒng)損壞而帶來的錄像數(shù)據(jù)丟失的問題。

進一步的分析和研究監(jiān)控系統(tǒng)中的音視頻數(shù)據(jù)發(fā)現(xiàn)，多媒體數(shù)據(jù)具有以下特征：

1）任何兩個攝像機之間的錄像數(shù)據(jù)在組織上都不具有相關(guān)性；

2）攝像機的錄像數(shù)據(jù)可以基于I幀組來進行組織，在一定的預(yù)置條件下每個I幀組的大小非常接近；

3）攝像機的錄像數(shù)據(jù)與時間高度相關(guān)，且具有絕對唯一的映射關(guān)系，完全可以使用嚴格遞增的時間來作為錄像數(shù)據(jù)的索引。

以上分析表明，基于文件系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)管理方式已不適合，而應(yīng)該采用結(jié)構(gòu)化的多媒體數(shù)據(jù)管理機制，以此徹底避免文件系統(tǒng)對系統(tǒng)帶來的不利影響。這種新的數(shù)據(jù)結(jié)構(gòu)采用I幀組作為多媒體數(shù)據(jù)的最小組織單元，時間作為每個數(shù)據(jù)單元的索引，并且把索引和數(shù)據(jù)保存在一個完全獨立的邏輯存儲空間上，這就是“塊直存”的基本原理，如圖2所示。

圖 2 基于索引+數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)

在“塊直存”的系統(tǒng)中，“塊”存儲可理解成自定義的一種文件系統(tǒng)，在裸盤上進行數(shù)據(jù)讀寫；錄像的索引可以認為是數(shù)據(jù)的自描述元素（可以稱之為“元數(shù)據(jù)”），錄像的索引和數(shù)據(jù)形成獨立的、完整的數(shù)據(jù)結(jié)構(gòu)，這種數(shù)據(jù)結(jié)構(gòu)完全由自己管理，不再由操作系統(tǒng)和文件系統(tǒng)管理，徹底避免了由于文件系統(tǒng)原因而導(dǎo)致的錄像丟失問題。

通過時間索引+塊數(shù)據(jù)存儲這種組合，還大幅提高了數(shù)據(jù)管理的效率。在錄像檢索上，可以基于時間索引進行，而不再以單個文件為單位，因此可以快速定位到任意時間的錄像，檢索速度大幅提高。在檢索的顆粒度上，也不再受文件大小的限制，可以實現(xiàn)秒級別甚至毫秒級別的連續(xù)檢索。此外，在資源的管理上，由于監(jiān)控錄像空間的大小是可預(yù)見性，因此完全可以采用預(yù)分配的方式來劃分存儲空間，從而使得空間資源得以計劃分配，避免了文件系統(tǒng)使用過程中產(chǎn)生的大量文件碎片。

第二，前端設(shè)備到IP SAN的直存。

“塊直存”的數(shù)據(jù)管理方式拋棄了流媒體服務(wù)器，在IP網(wǎng)絡(luò)的基礎(chǔ)上，采用前端設(shè)備（編碼器、IPC）直寫IP SAN存儲的方式，實現(xiàn)了全局性的存儲資源讀寫訪問。

這些年來，技術(shù)的進步為視頻監(jiān)控系統(tǒng)中存儲體系架構(gòu)的變革奠定了堅實的基礎(chǔ)，主要表現(xiàn)在：

1）編碼設(shè)備中的運算處理能力越來越強，在提供基本的編碼、傳輸功能之外，編碼設(shè)備還有大量的空閑資源可供利用；

2）網(wǎng)絡(luò)技術(shù)更加成熟，器件成本持續(xù)下降，前端編碼設(shè)備提供百兆或千兆接口已不存在成本方面的限制；

3）基于iSCSI協(xié)議的IP存儲技術(shù)得到了廣泛的應(yīng)用，專業(yè)存儲更加平民化。

基于這些技術(shù)進步，在編碼設(shè)備中創(chuàng)新性的集成了iSCSI模塊，使得編碼設(shè)備可以基于iSCSI/TCP/IP協(xié)議端到端地把錄像數(shù)據(jù)寫入IP SAN存儲設(shè)備中。具體如圖3所示：

圖 3 媒體服務(wù)器的存儲模型、前段設(shè)備直寫IP SAN存儲模型對比

相對于傳統(tǒng)監(jiān)控系統(tǒng)的流媒體服務(wù)器的存儲模型，前端設(shè)備直寫IP SAN存儲模型具有以下幾大明顯的技術(shù)優(yōu)勢： 

◆全IP的解決方案，輕松破解模擬視頻信號接入的工程難題； 

◆錄像數(shù)據(jù)基于TCP協(xié)議在編碼設(shè)備和IP SAN存儲設(shè)備之間傳輸，保證了錄像的可靠性； 

◆簡化了系統(tǒng)架構(gòu)，避免了流媒體服務(wù)器的瓶頸問題，不僅降低了系統(tǒng)的TCO，而且管理運維更方便。

第三，全局性的資源統(tǒng)一管理。

在前兩者的基礎(chǔ)上，通過全局性的資源統(tǒng)一劃分和調(diào)度，實現(xiàn)數(shù)據(jù)的全局性管理。

在大型監(jiān)控系統(tǒng)里面，可能有千上萬個攝像機和海量的存儲空間。如何管理這些攝像頭和存儲設(shè)備之間的對應(yīng)關(guān)系是一個非常復(fù)雜的難題。在“塊直存”視頻監(jiān)控系統(tǒng)中，我們引入了數(shù)據(jù)管理服務(wù)器（DM）的一個單元，以此來實現(xiàn)存儲資源的統(tǒng)一管理。

在“塊直存”架構(gòu)里，所有攝像頭和存儲陣列通過IP網(wǎng)絡(luò)互連，任意攝像頭和任意存儲陣列都可以互相訪問，存儲的管理通過存儲架構(gòu)的大腦——DM數(shù)據(jù)管理平臺來實現(xiàn)。DM是一個專用的數(shù)據(jù)管理設(shè)備，所有的攝像頭和存儲資源都由其管理。攝像頭需要存儲數(shù)據(jù)時，會統(tǒng)一向DM申請，DM收到申請后，會從存儲空間中選擇合適的存儲資源分配給攝像頭，然后攝像頭再跟這一塊存儲資源建立讀寫關(guān)系。在整個系統(tǒng)中，攝像頭不需要知道數(shù)據(jù)存儲在哪個陣列上，存儲陣列和攝像頭之間也沒有特定的綁定關(guān)系，完全是一種動態(tài)的資源分配。而且一旦攝像頭和存儲陣列建立起關(guān)系之后，DM就不再參與數(shù)據(jù)寫入過程，數(shù)據(jù)由攝像頭直接寫入到存儲陣列，不存在性能瓶頸。

這種方式保證了錄像數(shù)據(jù)在不同設(shè)備間的實時共享，任一路前端設(shè)備可以訪問到任何一臺IP SAN存儲設(shè)備。而系統(tǒng)內(nèi)的DM統(tǒng)一管理所有的IP SAN設(shè)備，實現(xiàn)資源的統(tǒng)一劃分和調(diào)度，控制數(shù)據(jù)的全局性管理。因為可以訪問到所有編碼設(shè)備的錄像數(shù)據(jù)，DM還可以很方便的提供VOD服務(wù)，多個用戶可并發(fā)回放同一攝像機的錄像數(shù)據(jù)。#p#

4  總結(jié)

媒體存儲管理是數(shù)據(jù)管理的一個新課題，隨著監(jiān)控應(yīng)用的迅速發(fā)展，這個課題已經(jīng)成為了業(yè)界關(guān)注的焦點。基于“塊直存”的數(shù)據(jù)管理方式，是多媒體存儲管理方式的一大創(chuàng)新嘗試。它通過獨特的方式，解決了傳統(tǒng)監(jiān)控應(yīng)用中的文件系統(tǒng)的低效率問題和流媒體服務(wù)器的集群能力問題，大幅提高了監(jiān)控存儲的數(shù)據(jù)管理效率，較好的滿足了監(jiān)控大規(guī)模應(yīng)用的需求。

這一創(chuàng)新理念自誕生之際，就受到了業(yè)界眾多廠家、用戶的關(guān)注，一些綜合實力較強的廠商，都加大了在“塊直存”方面的研究投入，基于“塊直存”的監(jiān)控數(shù)據(jù)管理方案已經(jīng)成為了最熱門的方案。但是，“塊直存”技術(shù)還遠沒到完美的境界，由于拋棄了傳統(tǒng)文件系統(tǒng)，導(dǎo)致那些在文件系統(tǒng)基礎(chǔ)上比較容易實現(xiàn)的圖像備份、數(shù)據(jù)轉(zhuǎn)存等功能，在“塊直存”方案中實現(xiàn)起來變得比較復(fù)雜，實現(xiàn)的難度也大大增加。因此，采用“塊直存”技術(shù)，對廠商的技術(shù)能力也是一個挑戰(zhàn)。

5 結(jié)束語  

“塊直存”技術(shù)，任重而道遠，盡管會碰到各種曲折，作為多媒體存儲管理的一大創(chuàng)舉，其代表著潮流的一個方向，其前景讓人期待。  

6 H3C多媒體存儲管理創(chuàng)新實踐

H3C率先在iVS視頻監(jiān)控系統(tǒng)中應(yīng)用了“塊直存”存儲體系架構(gòu)，一舉解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)中存儲所面臨的系列問題，不僅實現(xiàn)了錄像的可靠性，提升的便捷的數(shù)據(jù)訪問方式，而且還大幅降低了錄像數(shù)據(jù)的存儲成本。

如圖4所示為H3C iVS8000方案的典型組網(wǎng)，其包含了“塊直存”的三個基本特性： 

圖 4  iVS8000方案中的存儲方式

◆IP SAN直存方式。錄像保存過程中，前端編碼器通過iSCSI協(xié)議將數(shù)據(jù)直接寫入到VX1500 IP SAN存儲中，中間不經(jīng)過流媒體服務(wù)器。理論上，只要IP可達，任意一個前端設(shè)備都可以訪問到任意的IP SAN存儲。 

◆基于塊數(shù)據(jù)的錄像組織。采用“時間索引+塊數(shù)據(jù)”的方式對錄像進行組織，中間不經(jīng)過文件系統(tǒng)。時間索引和錄像數(shù)據(jù)都保存在IP SAN存儲陣列上，每一個時間索引是對應(yīng)的錄像的自描述，通過時間索引可以快速檢索到任意時刻的錄像。 

◆全局數(shù)據(jù)管理。通過數(shù)據(jù)管理服務(wù)器（DM）實現(xiàn)對空間資源的統(tǒng)一調(diào)度和分配。存儲設(shè)備的注冊、初始資源的規(guī)劃、存儲過程中的資源變化、存儲資源等空間資源操作，統(tǒng)一通過DM進行。系統(tǒng)采用控制流和數(shù)據(jù)流分離的方式，DM和VX1500 IP存儲之間通過控制信令流進行交互，而數(shù)據(jù)寫入過程的iSCSI流不經(jīng)過DM，不存在系統(tǒng)瓶頸。