從一塊硬盤壞了正兒八經地學習全套存儲知識
一塊硬盤壞了,對于非專業(yè)人士而言,意味著里面的數(shù)據(jù)丟了,然后引發(fā)一系列不堪想象的后果……
此刻,或許要腦補很多畫面,但我們今天拋開社會輿論和八卦新聞,一起學習存儲知識。
數(shù)據(jù)存儲——是指數(shù)據(jù)以某種格式記錄在計算機內部或外部存儲介質上。數(shù)據(jù)存儲要命名,這種命名要反映信息特征的組成含義。
01
首先,學習數(shù)據(jù)存儲知識,需要了解數(shù)據(jù)的類型。整體上我們將數(shù)據(jù)類型分為結構化數(shù)據(jù)、半結構化數(shù)據(jù)、非結構化數(shù)據(jù)。
結構化數(shù)據(jù)——能夠用數(shù)據(jù)或統(tǒng)一的結構加以表示,如數(shù)字、文字、符號。結構化數(shù)據(jù)也稱作行數(shù)據(jù),是由二維表結構來邏輯表達和實現(xiàn)的數(shù)據(jù),嚴格地遵循數(shù)據(jù)格式與長度規(guī)范,主要通過關系型數(shù)據(jù)庫進行存儲和管理。
半結構化數(shù)據(jù)——是介于完全結構化數(shù)據(jù)(如關系型數(shù)據(jù)庫、面向對象數(shù)據(jù)庫中的數(shù)據(jù))和完全無結構的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),XML、HTML文檔就屬于半結構化數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結構和內容混在一起,沒有明顯的區(qū)分。
非結構化數(shù)據(jù)——非結構化數(shù)據(jù)是數(shù)據(jù)結構不規(guī)則或不完整,沒有預定義的數(shù)據(jù)模型,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括圖像和音頻/視頻信息等等。丟失的視頻數(shù)據(jù)就屬于非結構化數(shù)據(jù)。
02
知道了這些數(shù)據(jù)結構,我們就要知道如何存儲這些數(shù)據(jù),就像我們要裝水,需要裝水的工具。對此,我們提到數(shù)據(jù)的存儲介質。
數(shù)據(jù)的存儲介質是指存儲數(shù)據(jù)的載體。比如軟盤、光盤、DVD、磁帶、硬盤、閃存、U盤、CF卡、SD卡、MMC卡、SM卡、記憶棒(MemoryStick)、xD卡等。
對于企業(yè)級存儲市場,一般的數(shù)據(jù)存儲介質是磁帶與硬盤。
磁帶曾經風靡八十年代,但是隨著技術的進步和社會發(fā)展的需求,現(xiàn)在基本采用硬盤存儲數(shù)據(jù),一些長期存儲的歷史數(shù)據(jù)/冷數(shù)據(jù)才會用到磁帶(庫)進行存儲。
硬盤又分三大種類:SSD、HHD、HDD
SSD——固態(tài)硬盤,用固態(tài)電子存儲芯片陣列而制成的硬盤,由控制單元和存儲單元(FLASH芯片、DRAM芯片)組成。固態(tài)硬盤在接口的規(guī)范和定義、功能及使用方法上與普通硬盤的完全相同,在產品外形和尺寸上也完全與普通硬盤一致。被廣泛應用于軍事、車載、工控、視頻監(jiān)控、網絡監(jiān)控、網絡終端、電力、醫(yī)療、航空、導航設備等領域。
HHD——混合硬盤,既包含傳統(tǒng)硬盤又有閃存模塊的大容量存儲設備。閃存處理存儲中寫入或恢復最頻繁的數(shù)據(jù)。很多公司開始提供這項技術的變體,他們期望它會在高端系統(tǒng)中受到追捧,尤其是在筆記本電腦和個人數(shù)字助理中。
HDD——傳統(tǒng)硬盤,即硬盤驅動器。最基本的電腦存儲器,我們電腦中常說的電腦C/D盤。目前硬盤一般常見的磁盤容量為80G——1TB、2TB等;硬盤按體積大小可分為3.5寸、2.5寸、1.8寸等;按轉數(shù)可分為5400rpm/7200rpm/10000rpm等。噪音大,怕摔,強制斷電易燒盤是HDD缺點。
簡單地說,SSD采用閃存顆粒來存儲,HDD采用磁性碟片來存儲,HHD是把磁性硬盤和閃存集成到一起的一種硬盤。
其中,根據(jù)硬盤接口不同,又可分為IDE、SATA、SCSI和光纖通道四種,IDE接口硬盤多用于家用產品中,也部分應用于服務器,SCSI接口的硬盤則主要應用于服務器市場,光纖通道只在高端服務器上。
03
普通的企業(yè)級視頻監(jiān)控,一般采用傳統(tǒng)的HDD硬盤進行視頻錄像的存儲,所以噪音大、怕摔、易燒不可避免。根據(jù)企業(yè)級監(jiān)控存儲方式的發(fā)展規(guī)律,我們又可以分為:VCR→ DVR→NVR→CVR。
VCR——模擬式磁帶錄放機,使用空白錄像帶并加載錄像機進行影像的錄制及存儲的監(jiān)控系統(tǒng)設備。VCR 信號易受外界燥聲干擾,每次的錄像與播放后均會有些品質損失。且磁帶不易保存,是最大的缺點。
DVR——模擬機和同軸纜信號的硬盤錄像機,不需要配置IP,它是一種使用數(shù)字方式進行影像的錄制及存儲的監(jiān)控系統(tǒng)設備;功能齊全,影像錄制效果好、畫面清晰,并可重復多次錄制,能對存放影像進行回放檢索。DVR布線比較繁瑣,要視頻線、音頻線等。
NVR——網絡型錄像機,必須配置IP,布線簡單,一條網線基本解決。主要的功能是通過網絡接收IPC(網絡攝像機)設備傳輸?shù)臄?shù)字視頻碼流, 并進行存儲、管理,從而實現(xiàn)網絡化帶來的分布式架構優(yōu)勢??梢酝瑫r觀看、瀏覽、回放、管理、存儲多個網絡攝像機的視頻數(shù)據(jù)。
NVR——DVR的終結者
CVR——視頻云存儲,是集編碼設備管理、錄像管理、存儲、轉發(fā)功能為一體的視頻專用存儲技術。CVR由標準的IPSAN/NAS網絡存儲設備結合視頻監(jiān)控應用發(fā)展而來,是一種融合了專業(yè)存儲技術與專業(yè)安防視頻監(jiān)控應用技術的產品。
CVR是更高級的NVR或者DVR,或者是數(shù)據(jù)集中存貯的NVR。
04
學到了存儲介質的知識,下一步就是數(shù)據(jù)存儲的方式。常見的四種存儲方式:DAS、NAS、SAN、OBS。
DAS——直接附加存儲,外部存儲設備都是直接掛接在服務器內部總線上,數(shù)據(jù)存儲設備是整個服務器結構的一部分,與家用電腦的構造一樣。
NAS——網絡附加存儲,采用獨立于服務器,單獨為網絡數(shù)據(jù)存儲而開發(fā)的一種文件服務器來連接所存儲設備,自形成一個網絡。這樣數(shù)據(jù)存儲就不再是服務器的附屬,而是作為獨立網絡節(jié)點而存在于網絡之中,可由所有的網絡用戶共享。
SAN——存儲區(qū)域網絡,與NAS架構類似,只是基于光纖介質,傳輸速率以光纖網絡速度的服務器訪問存儲器的一種連接方式。1991年由IBM公司建成。
DAS存儲一般應用在中小企業(yè),與計算機采用直連方式;NAS存儲則通過以太網添加到計算機上;SAN存儲則使用FC接口,提供性能更加的存儲。
OBS——對象存儲系統(tǒng),綜合了NAS和SAN的優(yōu)點,同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢,提供了高可靠性、跨平臺性以及安全的數(shù)據(jù)共享的存儲體系結構。對象存儲被看作是塊存儲、文件存儲之后,一種更適合互聯(lián)網應用環(huán)節(jié)的存儲方式。
存儲方式的不同,是不同時代不同應用場景的存儲產物,各有優(yōu)缺點,每家存儲廠商的方案也百花齊放百家爭鳴,比如云計算對象存儲,每家的命名和架構都有差異。
05
學到了這,我們應該明白存儲是門技術活,特別是大型存儲項目,需要的集成系統(tǒng)更加復雜。在此,介紹一些比較專業(yè)的大型存儲系統(tǒng)。
集中存儲系統(tǒng)——采用集中的存儲服務器存放所有數(shù)據(jù)。存儲服務器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應用的需要。
分布式存儲系統(tǒng)——將數(shù)據(jù)分散存儲在多臺獨立的設備上,采用分布式可擴展的系統(tǒng)架構,利用多臺存儲服務器分擔系統(tǒng)負荷。它不但提高了系統(tǒng)的可靠性、可用性和性能,還易于在線靈活擴展。
全閃存陣列——完全由固態(tài)存儲介質(通常是NAND閃存)構成的獨立的存儲陣列或設備,這些系統(tǒng)是用于增強可能包含磁盤陣列的環(huán)境的性能,或者用于取代所有傳統(tǒng)的硬盤存儲陣列。
06
學到這,我們需要知道現(xiàn)在的存儲趨勢之一是軟件定義存儲(SDS)。
SDS是一種數(shù)據(jù)存儲方式,所有存儲相關的控制工作都僅在相對于物理存儲硬件的外部軟件中。這個軟件不是作為存儲設備中的固件,而是在一個服務器上或者作為操作系統(tǒng)(OS)或hypervisor的一部分。
軟件定義存儲與軟件定義網絡(SDN)和軟件定義數(shù)據(jù)中心(SDDC),被認為是IT行業(yè)的發(fā)展趨勢。使用軟件定義存儲進行長期存儲充滿了諸多風險,例如數(shù)據(jù)位錯誤、硬盤故障、網絡攻擊、人為失誤以及自然災害等等。
07
因此,再安全可靠的存儲介質和存儲方式,都不能保證存儲數(shù)據(jù)的100%,對關鍵數(shù)據(jù)進行容災備份被認為是企業(yè)信息安全的最后一道防線。所以,雙活容災又被提出來。
雙活容災——災備系統(tǒng)中使主生產端數(shù)據(jù)庫和備機端數(shù)據(jù)庫同時在線運行,處于可讀可查詢的狀態(tài)的技術,確保企業(yè)在一定范圍內的業(yè)務連續(xù)性和數(shù)據(jù)安全。
高可用災備系統(tǒng)常有的幾種工作方式:第一種是:共享存儲(磁盤陣列)的方式;第二種是雙機雙存儲,也叫全冗余方式;第三種是利用數(shù)據(jù)的同步方式,通常我們稱為mirror方式,包括基于文件級的復制功能、基于數(shù)據(jù)庫內部機制、基于數(shù)據(jù)攔截技術。
但是,由于雙活容災的存儲設備往往存放在同一個機房,所以發(fā)生火災、水災、人為破壞等風險依然存在。為此,異地容災又被提了出來。
08
異地容災包括數(shù)據(jù)級容災和應用級容災,數(shù)據(jù)級容災是對數(shù)據(jù)在異地的復制備份等,應用級容災則強調核心業(yè)務應用的接管,即當生產機房發(fā)生故障停止工作時,備用機房能夠馬上接管業(yè)務繼續(xù)對外提供服務。
有了異地容災,一定程度上確保用戶數(shù)據(jù)不丟,業(yè)務不停,大家就再也不怕硬盤壞了。