分布式集群存儲系統(tǒng)在電子檔案場景下的應(yīng)用
數(shù)字化檔案管理系統(tǒng)的建設(shè)突破了傳統(tǒng)的、封閉的檔案管理模式,實(shí)現(xiàn)了檔案工作以手工管理為主向以計(jì)算機(jī)管理為主、以管理檔案實(shí)體為主向以管理檔案信息為主、以檔案存儲保管為主向利用服務(wù)為主的轉(zhuǎn)變。
1、背景介紹
數(shù)字化檔案管理系統(tǒng)的建設(shè)突破了傳統(tǒng)的、封閉的檔案管理模式,實(shí)現(xiàn)了檔案工作以手工管理為主向以計(jì)算機(jī)管理為主、以管理檔案實(shí)體為主向以管理檔案信息為主、以檔案存儲保管為主向利用服務(wù)為主的轉(zhuǎn)變。數(shù)字化檔案管理系統(tǒng)的開放系統(tǒng)包容了紙質(zhì)檔案、實(shí)物檔案、圖片檔案、影視檔案的各方面及檔案信息的產(chǎn)生、收集、整理、保管、利用的全過程,將不同介質(zhì)、不同類別相互獨(dú)立的檔案信息整合成統(tǒng)一的資源庫,并確定其相互關(guān)聯(lián)關(guān)系,增加了檔案管理工作的科技含量,為各企事業(yè)單位生產(chǎn)、經(jīng)營提供了安全、優(yōu)質(zhì)、高效的信息服務(wù)手段,充分發(fā)揮檔案信息的經(jīng)濟(jì)價(jià)值和社會價(jià)值。
2、電子檔案系統(tǒng)數(shù)據(jù)存儲需求分析
(1)需要存儲能夠支持文件全局共享:讓檔案的收集、整理、管理、利用等過程都能夠無縫銜接,所有業(yè)務(wù)服務(wù)器能夠直接按需共享訪問對應(yīng)的檔案文件,確保管理流程中相關(guān)檔案文件不需要拷貝或者傳輸就能夠進(jìn)行無縫的訪問管理。整個(gè)工作流程中的各階段流程能夠順暢的進(jìn)行,從而提高整體業(yè)務(wù)的運(yùn)轉(zhuǎn)效率;
(2)需要存儲提供較高的性能:從檔案管理的業(yè)務(wù)發(fā)展方向來看,檔案管理向著內(nèi)容服務(wù)轉(zhuǎn)變,檔案文件的存儲平臺將會面臨越來越多的訪問和調(diào)用。為了能夠更好的快速對海量的檔案文件內(nèi)容進(jìn)行相關(guān)的編輯、管理和檢索,充分利用檔案的深入價(jià)值,就必須能夠在海量的內(nèi)容中快速的檢索到需要的數(shù)據(jù),這就要求存儲系統(tǒng)必須具備較高的性能。如果存儲系統(tǒng)的數(shù)據(jù)讀寫速度達(dá)不到需要的性能,那么檔案信息平臺將很難作為一個(gè)服務(wù)性的平臺為更多的人和機(jī)構(gòu)提供服務(wù);
(3)按需建設(shè),在線擴(kuò)展的大容量存儲系統(tǒng):由于檔案內(nèi)容的清晰度越來越高,文件越來越多,以及需要保存的檔案項(xiàng)目也不斷增多,檔案系統(tǒng)的數(shù)據(jù)量每年都在逐步增加,尤其是大型檔案系統(tǒng)。如果不能將海量的檔案數(shù)據(jù)進(jìn)行較好的統(tǒng)一存儲和管理,并且不能按需在線擴(kuò)展實(shí)施,數(shù)據(jù)就會被分散的存儲到多個(gè)獨(dú)立的系統(tǒng)內(nèi),不能集中統(tǒng)一管理,導(dǎo)致后期信息平臺管理過程浪費(fèi)大量人力物力并且影響檔案系統(tǒng)的正常業(yè)務(wù);
(4)需要高效支持海量小文件:在檔案的信息化流程中,海量的檔案圖片文件將會給存儲系統(tǒng)帶來巨大的壓力。存儲系統(tǒng)在這種大小文件混雜的情況下,訪問性能會急劇降低,導(dǎo)致整個(gè)檔案信息化平臺運(yùn)轉(zhuǎn)效率低下,難以提供快速的檢索訪問服務(wù);
(5)需要更高的數(shù)據(jù)安全性:硬盤級的數(shù)據(jù)安全保護(hù)已經(jīng)不能滿足檔案系統(tǒng)的需要,像RAID5同一時(shí)間最多只能允許一塊硬盤出現(xiàn)損壞,RAID6同一時(shí)間只允許損壞兩塊硬盤,但是當(dāng)總數(shù)據(jù)量達(dá)到數(shù)十、上百TB,會導(dǎo)致RAID數(shù)據(jù)重建的時(shí)間比較慢,而且硬盤連續(xù)出現(xiàn)故障的概率會提高,另外也有可能會出現(xiàn)整個(gè)存儲設(shè)備損壞從而導(dǎo)致數(shù)據(jù)不可用的情況發(fā)生;
(6)需要遵從法律法規(guī):電子檔案的存儲和管理,需要符合相關(guān)法律法規(guī)要求,實(shí)現(xiàn)長期安全的保存,并且需要能夠防止各種可能導(dǎo)致檔案文件被破壞的事故,那么就要求存儲系統(tǒng)自身具備良好的檔案文件長期保存和管理能力。
3、分布式集群存儲在電子檔案場景下的應(yīng)用特點(diǎn)
(1)系統(tǒng)提供單一文件系統(tǒng)共享存儲池,采用文件切片式存儲,并行處理,無性能瓶頸,高并發(fā)聚合帶寬,性能隨系統(tǒng)擴(kuò)容線性增長;
(2)高效的元數(shù)據(jù)管理和集群技術(shù),對海量小文件提供了很好的支持和優(yōu)化,對檔案圖片等小文件的檢索毫無壓力;
(3)按照用戶實(shí)際需要,在線不停機(jī)橫向擴(kuò)展,無需數(shù)據(jù)遷移,所有的維護(hù)操作可以不停機(jī),不影響業(yè)務(wù)正常運(yùn)行;
(4)系統(tǒng)內(nèi)無任何單點(diǎn)故障,可做到設(shè)備級的冗余,允許損壞的設(shè)備數(shù)量可根據(jù)方案需要靈活調(diào)整,這樣就確保了檔案業(yè)務(wù)連續(xù)性,并且丟失或損壞的數(shù)據(jù)可快速恢復(fù)重建,速度是傳統(tǒng)硬盤級RAID 的5-10倍;
(5)多臺物理存儲節(jié)點(diǎn)通過一個(gè)界面統(tǒng)一管理,統(tǒng)一調(diào)配存儲資源,直觀的管理界面,操作方便;
(6)系統(tǒng)自帶WORM功能,預(yù)防數(shù)據(jù)被刪除和篡改,另外由于文件采用分片式存儲,即使存儲設(shè)備丟失也能保證數(shù)據(jù)不泄露。