對(duì)象存儲(chǔ)的優(yōu)勢(shì)

存儲(chǔ)局域網(wǎng)(SAN)和網(wǎng)絡(luò)附加存儲(chǔ)(NAS)是目前兩種主流傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)，而對(duì)象存儲(chǔ)(Object-based Storage)是一種新的網(wǎng)絡(luò)存儲(chǔ)架構(gòu)。1999年成立的全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA)的對(duì)象存儲(chǔ)設(shè)備工作組發(fā)布了ANSI的X3T10標(biāo)準(zhǔn)。總體上來講，對(duì)象存儲(chǔ)綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具有SAN的高速直接訪問和NAS的分布式數(shù)據(jù)共享等優(yōu)勢(shì)，提供了具有高性能、高可靠性、跨平臺(tái)以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。

隨著非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)，傳統(tǒng)的SAN和NAS存儲(chǔ)架構(gòu)不能應(yīng)對(duì)數(shù)據(jù)爆發(fā)帶來的問題?；谄浔馄交⑼卣剐詮?qiáng)的結(jié)構(gòu)特點(diǎn)，對(duì)象存儲(chǔ)成為非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的***解決方案。通過對(duì)象存儲(chǔ)替代傳統(tǒng)的SAN和NAS 存儲(chǔ)，極大提升了非結(jié)構(gòu)化數(shù)據(jù)訪問和存儲(chǔ)的效率。對(duì)象存儲(chǔ)具有分布式存儲(chǔ)的所有優(yōu)點(diǎn)，靈活的拓展性，元數(shù)據(jù)的管理;通過其版本管理的強(qiáng)大功能，對(duì)象存儲(chǔ)有效地規(guī)避了人為操作的邏輯錯(cuò)誤。

在性能方面，SAN存儲(chǔ)在處理結(jié)構(gòu)化數(shù)據(jù)有著不可代替的地位;小容量非結(jié)構(gòu)化數(shù)據(jù)共享正是NAS存儲(chǔ)發(fā)揮作用的場(chǎng)景;對(duì)于海量非結(jié)構(gòu)化數(shù)據(jù)，對(duì)象存儲(chǔ)的性能優(yōu)勢(shì)不可比擬。此外，對(duì)象存儲(chǔ)成本較SAN和NAS有很大優(yōu)勢(shì)，應(yīng)對(duì)海量文件，采用對(duì)象存儲(chǔ)替代傳統(tǒng)集中式存儲(chǔ)能節(jié)省不小的存儲(chǔ)成本，避免了資源浪費(fèi)。

目前，人們需求的數(shù)據(jù)越來越多，而其中絕大部分都是非結(jié)構(gòu)化數(shù)據(jù)。在未來幾年，非結(jié)構(gòu)化更會(huì)呈現(xiàn)指數(shù)型增長(zhǎng)，對(duì)象存儲(chǔ)的需求和市場(chǎng)會(huì)越來越大，互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)都離不開對(duì)象存儲(chǔ)的發(fā)展。

當(dāng)前對(duì)象存儲(chǔ)主流技術(shù)和產(chǎn)品

目前，在對(duì)象存儲(chǔ)行業(yè)存在兩大陣營(yíng)，分別為開源技術(shù)和商用產(chǎn)品。開源技術(shù)主要以Ceph為代表，Ceph是一種開源的分布式對(duì)象、塊和文件存儲(chǔ)平臺(tái)。商業(yè)產(chǎn)品中主要以IBM、EMC和HDS三家傳統(tǒng)存儲(chǔ)廠商為市場(chǎng)主流。

兩大陣營(yíng)：開源和商業(yè)

開源技術(shù)主要依靠開源社區(qū)的貢獻(xiàn)，以Ceph為代表。Ceph 是一個(gè)開源的分布式存儲(chǔ)系統(tǒng)，包括對(duì)象存儲(chǔ)、塊設(shè)備、文件系統(tǒng)。它可靠性高、管理方便、伸縮性強(qiáng)，能夠輕松應(yīng)對(duì)PB、EB級(jí)別數(shù)據(jù)。Ceph 存儲(chǔ)體系中，核心為 RADOS，它是一個(gè)高可用分布式對(duì)象存儲(chǔ)，該模塊負(fù)責(zé)對(duì)集群眾多 OSD 的運(yùn)行，保證存儲(chǔ)系統(tǒng)的可用性，為應(yīng)用提供 RESTful 類型的對(duì)象存儲(chǔ)接口，其接口方式支持 S3 和 Swift 兩種類型。

近些年，越來越多的企業(yè)嘗試使用Ceph存儲(chǔ)，并基于Ceph建立統(tǒng)一的對(duì)象存儲(chǔ)資源池，用來解決近幾年讓企業(yè)頭疼的CM內(nèi)容管理平臺(tái)。企業(yè)采用Ceph搭建對(duì)象存儲(chǔ)框架，主要考慮到Ceph作為相對(duì)成熟的開源軟件，其技術(shù)成本相對(duì)低廉;Ceph在開源領(lǐng)域被廣大客戶接受和追求，用戶之間可以相互溝通技術(shù)細(xì)節(jié)和問題處理方法，擁有廣大客戶群體也是Ceph被越來越多企業(yè)使用的出發(fā)點(diǎn)之一。

商業(yè)陣營(yíng)主要由成熟的存儲(chǔ)廠商研發(fā)產(chǎn)品。商業(yè)產(chǎn)品依靠其強(qiáng)大的研發(fā)團(tuán)隊(duì)不斷根據(jù)客戶需求和使用反饋對(duì)產(chǎn)品進(jìn)行更新和換代，商業(yè)陣營(yíng)深入客戶，發(fā)掘客戶并能夠根據(jù)客戶的特點(diǎn)開發(fā)存儲(chǔ)產(chǎn)品。商業(yè)產(chǎn)品更符合客戶要求，操作簡(jiǎn)便，易維護(hù)，商業(yè)團(tuán)隊(duì)會(huì)為客戶的正常運(yùn)行保駕護(hù)航。

從架構(gòu)上來講，開源技術(shù)和商業(yè)產(chǎn)品均采用分布式架構(gòu)，可靈活進(jìn)行橫向擴(kuò)展，滿足用戶對(duì)大數(shù)據(jù)量的需求。

以Ceph為代表的開源技術(shù)，核心為RADOS，RADOS的架構(gòu)圖如下圖，由Monitor+OSD節(jié)點(diǎn)搭建而成。

商業(yè)產(chǎn)品通常采用訪問節(jié)點(diǎn)+計(jì)算節(jié)點(diǎn)+存儲(chǔ)節(jié)點(diǎn)的部署方式，更具扁平化的結(jié)構(gòu)，不同節(jié)點(diǎn)各司其職，有機(jī)構(gòu)成整個(gè)對(duì)象存儲(chǔ)的系統(tǒng)。開源對(duì)象存儲(chǔ)技術(shù)以純軟件方式部署，安裝軟件于客戶的服務(wù)器中，通過調(diào)試進(jìn)行對(duì)外服務(wù);商業(yè)產(chǎn)品既可單獨(dú)采購純軟件方式，更可以采購一體機(jī)方式，節(jié)省了自身部署的復(fù)雜度。

開源技術(shù)目前對(duì)跨站點(diǎn)部署支持有限，還不能***的進(jìn)行跨站點(diǎn)部署;商業(yè)產(chǎn)品跨站點(diǎn)技術(shù)更為成熟，均可進(jìn)行跨站點(diǎn)跨數(shù)據(jù)中心的部署，能夠?yàn)榭蛻籼峁┤轂?zāi)方案，避免站點(diǎn)級(jí)單點(diǎn)故障，安全性更高。數(shù)據(jù)可靠性方面開源技術(shù)采用多副本技術(shù)，通常采用三副本，這樣的架構(gòu)帶來了存儲(chǔ)成本的上升;商業(yè)產(chǎn)品采用糾刪碼技術(shù)，既能避免邏輯錯(cuò)誤，也能節(jié)省存儲(chǔ)開銷成本。

運(yùn)行維護(hù)方面，開源技術(shù)主要依靠客戶的運(yùn)維能力，需要很強(qiáng)的應(yīng)急處理能力，運(yùn)維成本相對(duì)較高;商業(yè)產(chǎn)品由廠商高水平團(tuán)隊(duì)對(duì)客戶負(fù)責(zé)，可以根據(jù)客戶的情況“因地制宜”，制定最合適的運(yùn)維團(tuán)隊(duì)，及時(shí)有效的處理應(yīng)急情況，保障客戶的系統(tǒng)穩(wěn)定運(yùn)行。

商業(yè)陣營(yíng)幾大產(chǎn)品

商業(yè)產(chǎn)品陣營(yíng)中主要以IBM、EMC、HDS為代表，擁有豐富的存儲(chǔ)開發(fā)經(jīng)驗(yàn)以及完整的開發(fā)和維護(hù)團(tuán)隊(duì)。

IBM的對(duì)象存儲(chǔ)為IBM Cloud Object Storage，簡(jiǎn)稱COS，被IBM收購以前叫Clever Safe。架構(gòu)方面采用管理節(jié)點(diǎn)+訪問節(jié)點(diǎn)+存儲(chǔ)節(jié)點(diǎn)的完全分布式架構(gòu)，數(shù)據(jù)在訪問節(jié)點(diǎn)進(jìn)行切片，平均分布在存儲(chǔ)節(jié)點(diǎn)的磁盤中，更細(xì)顆粒度的保護(hù)數(shù)據(jù)完整性;硬件方面可以采用IBM定制機(jī)，也可以采用客戶自身的經(jīng)IBM認(rèn)證的X86服務(wù)器，靈活高效，也可以對(duì)服務(wù)器進(jìn)行利舊處理;COS容量擴(kuò)展方面極其優(yōu)秀，集群可擴(kuò)展到EB級(jí)別，滿足客戶的未來發(fā)展需求;支持跨站點(diǎn)的部署方式;數(shù)據(jù)保護(hù)方面采用靈活多變的糾刪碼技術(shù)，客戶可根據(jù)自身的需求調(diào)整數(shù)據(jù)可靠和容量利用的***分配;支持?jǐn)?shù)據(jù)加密、多版本管理以及防篡改的高級(jí)功能，有效保障數(shù)據(jù)的可靠性;協(xié)議方面除支持Swift和S3協(xié)議外，還支持IBM特有的simple object的接口協(xié)議;數(shù)據(jù)讀寫性能可達(dá)到數(shù)Gb/s的讀寫速度;Gartner和IDC排名連續(xù)多年***。

EMC的對(duì)象存儲(chǔ)為ECS，架構(gòu)采用分布式云存儲(chǔ)平臺(tái)，通過軟件實(shí)現(xiàn)X86服務(wù)器系統(tǒng)的大規(guī)模拓展管理，***容量可達(dá)PB級(jí)別;支持跨站點(diǎn)的部署方式;提供兩種糾刪碼技術(shù)，12D+4P和10D+2P兩種方式，對(duì)應(yīng)的容量開銷分為1.33和1.2;協(xié)議方面支持Swift和S3兩種方式;市場(chǎng)占有率位于***象限;

HDS的對(duì)象存儲(chǔ)為HCP，架構(gòu)采用典型的分布式一體化方式，采用管理計(jì)算節(jié)點(diǎn)+存儲(chǔ)節(jié)點(diǎn)的部署方式;HCP硬件配置靈活多樣，整體存儲(chǔ)節(jié)點(diǎn)通常能擴(kuò)展至400PB;HCP支持多站點(diǎn)部署的同時(shí)，可以實(shí)現(xiàn)站點(diǎn)間數(shù)據(jù)傳輸和容災(zāi)備份;數(shù)據(jù)保護(hù)方面采用20D+6P的糾刪碼技術(shù)，能夠提供77%的容量利用率;具備多版本、重復(fù)對(duì)象刪除和壓縮功能;協(xié)議方面支持Swift和S3兩種方式;數(shù)據(jù)傳輸方面HCP提供萬兆網(wǎng)絡(luò)，可提供GB級(jí)別的處理能力;Gartner排名連續(xù)三年排名前三。

金融行業(yè)存儲(chǔ)規(guī)劃選型分析

倘若企業(yè)非結(jié)構(gòu)化數(shù)據(jù)未來增長(zhǎng)緩慢，目前的存儲(chǔ)結(jié)構(gòu)滿足業(yè)務(wù)響應(yīng)的需求，尚可以采用NAS存儲(chǔ)。在傳統(tǒng)的金融行業(yè)中，錄音錄像系統(tǒng)以及內(nèi)容管理平臺(tái)系統(tǒng)的推廣帶來了海量非結(jié)構(gòu)化數(shù)據(jù)飛速增長(zhǎng)，傳統(tǒng)的NAS存儲(chǔ)自身為樹形結(jié)構(gòu)，響應(yīng)速度不能滿足業(yè)務(wù)發(fā)展，此時(shí)，對(duì)象存儲(chǔ)是企業(yè)的***選擇。

新興的互聯(lián)網(wǎng)金融行業(yè)根據(jù)其業(yè)務(wù)特點(diǎn)，更多采用開源技術(shù)，通過自身技術(shù)人員的運(yùn)維能力維護(hù)開源產(chǎn)品的運(yùn)行，降低運(yùn)維成本。在傳統(tǒng)金融行業(yè)中，非結(jié)構(gòu)化數(shù)據(jù)量巨大且繼續(xù)呈現(xiàn)增長(zhǎng)趨勢(shì)，業(yè)務(wù)連續(xù)性需達(dá)到監(jiān)管要求，企業(yè)普遍采用商業(yè)產(chǎn)品。傳統(tǒng)金融行業(yè)非結(jié)構(gòu)化文件達(dá)到億級(jí)別，數(shù)據(jù)量普遍達(dá)到PB級(jí)別，有些企業(yè)未來會(huì)達(dá)到EB級(jí)別，采用商業(yè)產(chǎn)品才可以滿足企業(yè)需求;商業(yè)產(chǎn)品擁有完整的技術(shù)支撐，提升企業(yè)的業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性。良好的UI操作界面也是商業(yè)產(chǎn)品被企業(yè)接受的另一優(yōu)點(diǎn)。成熟的體系架構(gòu)、靈活的容量拓展、糾刪技術(shù)的運(yùn)用，是商業(yè)對(duì)象存儲(chǔ)未來占據(jù)更多市場(chǎng)的堅(jiān)實(shí)基礎(chǔ)，非結(jié)構(gòu)化數(shù)據(jù)性能問題隨著對(duì)象存儲(chǔ)的推廣找到了合適的解決辦法。

企業(yè)應(yīng)根據(jù)業(yè)務(wù)特點(diǎn)進(jìn)行合理的存儲(chǔ)使用規(guī)劃。傳統(tǒng)的數(shù)據(jù)庫型結(jié)構(gòu)化數(shù)據(jù)采用SAN存儲(chǔ)，達(dá)到業(yè)務(wù)的快速響應(yīng);少量樹形結(jié)構(gòu)的數(shù)據(jù)可采用NAS存儲(chǔ)，達(dá)到業(yè)務(wù)數(shù)據(jù)共享的目標(biāo);海量非機(jī)構(gòu)化數(shù)據(jù)采用對(duì)象存儲(chǔ)，由于對(duì)象存儲(chǔ)使用S3或Swift訪問協(xié)議，傳統(tǒng)的業(yè)務(wù)系統(tǒng)需要調(diào)整業(yè)務(wù)訪問端口，企業(yè)可采用“兩步走”的步驟，對(duì)于新開發(fā)的業(yè)務(wù)系統(tǒng)，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的訪問直接采用對(duì)象存儲(chǔ)的方式，對(duì)于存量的業(yè)務(wù)系統(tǒng)逐漸調(diào)整訪問端口。

合理的存儲(chǔ)使用規(guī)劃一定會(huì)為企業(yè)帶來長(zhǎng)久的收益，存儲(chǔ)性能得到了提升，業(yè)務(wù)響應(yīng)時(shí)間得到了有效的提高，對(duì)企業(yè)的服務(wù)水平和口碑具有良好的推動(dòng)作用。合理的存儲(chǔ)規(guī)劃為企業(yè)降低了存儲(chǔ)開銷成本，根據(jù)業(yè)務(wù)特點(diǎn)和需求使用合理的存儲(chǔ)，避免了SAN存儲(chǔ)的浪費(fèi)，同時(shí)采用對(duì)象存儲(chǔ)對(duì)企業(yè)的科技創(chuàng)新開辟了嶄新的道路。

本文作者：張森，就職于北京農(nóng)商銀行運(yùn)維中心，主要負(fù)責(zé)存儲(chǔ)相關(guān)方面運(yùn)維和項(xiàng)目建設(shè)，研究對(duì)象存儲(chǔ)以及存儲(chǔ)虛擬化整合先進(jìn)技術(shù)和案例。