在云的大趨勢(shì)下,軟件定義存儲(chǔ)必將在3年內(nèi)普及
“軟件定義”是IT世界最熱的詞之一,從軟件定義網(wǎng)絡(luò)(SDN)、軟件定義存儲(chǔ)(SDS)、軟件定義數(shù)據(jù)中心(SDDC),再到軟件定義一切(SDE)。SDS是軟件定義中相對(duì)比較具體,比較容易落地的概念,但是業(yè)界對(duì)SDS解讀和定義非常多,讓人無(wú)所適從。SDS到底是什么?我們?cè)撊绾卫斫馄浔举|(zhì)?技術(shù)發(fā)展到什么階段,行業(yè)對(duì)SDS的態(tài)度和看法?我們存在哪些問(wèn)題和挑戰(zhàn),要不要向SDS轉(zhuǎn)型?如果轉(zhuǎn)型,我們準(zhǔn)備好了么,該怎么擁抱SDS,讓IT平滑過(guò)渡?
面對(duì)一系列問(wèn)題,試著從What、Where、Why、How四個(gè)方面,梳理SDS的脈絡(luò),找出其內(nèi)涵和本質(zhì),借助第三方數(shù)據(jù)判斷其發(fā)展階段,分析自身存儲(chǔ)的問(wèn)題和面臨的挑戰(zhàn)。最后結(jié)合云的大趨勢(shì),介紹統(tǒng)一管理面雙模數(shù)據(jù)面的雙模存儲(chǔ)架構(gòu)如何將SDS落地實(shí)現(xiàn),傳統(tǒng)企業(yè)存儲(chǔ)和SDS在數(shù)據(jù)中心應(yīng)用場(chǎng)景,存儲(chǔ)服務(wù)該怎么設(shè)計(jì),業(yè)務(wù)需求如何轉(zhuǎn)換為存儲(chǔ)需求。
What
SDS是什么?
IDC、Gartner、SNIA等第三方機(jī)構(gòu)都對(duì)SDS進(jìn)行了定義和說(shuō)明,還有很多出版發(fā)行的書(shū)籍也對(duì)SDS有一些理解,各方的視角不同、方法不同、觀點(diǎn)不同,但相同的是SDS核心概念和分類(lèi)。
提到SDS不得不說(shuō)軟件定義其它概念SDE (Software Defined Everything)、SDI(Software Defined Infrastructure)、SDDC(Software Defined Datacenter)、SDN(Software Defined Network)等,軟件定義的本質(zhì)對(duì)現(xiàn)實(shí)世界的抽象建模和算法,以SDDC為例,其主要特點(diǎn)有虛擬化(標(biāo)準(zhǔn)化、易擴(kuò)展的共享資源池)、可編程(API可編程設(shè)備、計(jì)算存儲(chǔ)網(wǎng)絡(luò)軟件控制器)、抽象化(分層抽象建模,應(yīng)用與基礎(chǔ)專(zhuān)業(yè)之間,基礎(chǔ)專(zhuān)業(yè)相互之間并行解耦運(yùn)維)、服務(wù)化(服務(wù)化封裝交付,動(dòng)態(tài)分配綁定、自動(dòng)化編排調(diào)度)、分布式(大規(guī)模分布式計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)集群擁有獨(dú)立分離的管理控制軟件)。SDS是SDDC的組成部分,包含了幾乎所有SDDC特性,比如共享資源池、抽象建模、可編程、分布式和服務(wù)化。
SDS的核心概念比較多,IDC和Gartner對(duì)其進(jìn)行分類(lèi)。IDC將SDS分為SDSControllerSoftware和ServerBaseStorage,Gartner將SDS分為ManagementSDS和Infrastructure SDS,兩種分類(lèi)方法通俗的講是管理面SDS和數(shù)據(jù)面SDS。OpenStack的Cinder屬于典型的管理面SDS,CEPH則屬于典型的數(shù)據(jù)面SDS。
Where
SDS當(dāng)前處于什么發(fā)展階段?
大家都在熱談SDS,一大批產(chǎn)品出現(xiàn),大批客戶或在研究或已經(jīng)使用,那么SDS目前處于什么發(fā)展階段呢?從存儲(chǔ)技術(shù)的HypeCycle 2016和2017對(duì)比看,ManagementSDS還處于萌芽期,發(fā)展速度很慢,2017從High降低到Moderate,說(shuō)明發(fā)展態(tài)勢(shì)并不太好。InfrastructureSDS即將渡過(guò)“熱情高漲”時(shí)期,說(shuō)明已經(jīng)有大量的技術(shù)前沿客戶部署,同時(shí)Open-SourceStorage與InfrastructureSDS趨勢(shì)趨同,略有延后。SDS熱度的“熱源”,就是來(lái)自InfrastructureSDS和Open-SourceStorage。
Why
驅(qū)動(dòng)力
在云的大趨勢(shì)下,傳統(tǒng)數(shù)據(jù)中心遇到很多問(wèn)題和挑戰(zhàn),這些問(wèn)題和挑戰(zhàn)是SDS重要的驅(qū)動(dòng)力。
一、傳統(tǒng)數(shù)據(jù)中心往往是面向設(shè)備和技術(shù),而不是面向服務(wù),與云的服務(wù)化、自動(dòng)化思路不符
- 用戶申請(qǐng)存儲(chǔ)資源的場(chǎng)景PK:
傳統(tǒng)數(shù)據(jù)中心DBA與存儲(chǔ)管理員的對(duì)話:
DBA:“我需要5塊VMAX的LUN,每塊100GB,用在AIX環(huán)境,性能越快越好,最好是雙活的,……”。
存儲(chǔ)管理員:“VMAX沒(méi)有資源了,VSP行不行”
DBA:“VSP怎么樣,比VMAX快不快”
存儲(chǔ)管理員:“兩個(gè)產(chǎn)品性能指標(biāo)相差不大”
DBA:“以前都是VMAX,VSP到底行不行”
存儲(chǔ)管理員:“……”
軟件定義數(shù)據(jù)中心DBA與存儲(chǔ)管理員對(duì)話:
DBA:“我需要1TB SAN存儲(chǔ)用于聯(lián)機(jī)交易數(shù)據(jù)庫(kù),響應(yīng)時(shí)間要求<3ms,IOPS不低于5000”。
存儲(chǔ)管理員:“好嘞,”
存儲(chǔ)資源管理方式PK:
傳統(tǒng)數(shù)據(jù)中心:“我有2臺(tái)DS8800,2臺(tái)VMAX,1臺(tái)SVC”
軟件定義數(shù)據(jù)中心:“我有1個(gè)資源池,可用性:園區(qū)雙活99.999%,性能:<3ms,功能:Thin,分層,復(fù)制”
二、傳統(tǒng)數(shù)據(jù)中心運(yùn)維存在效率低和風(fēng)險(xiǎn)大的問(wèn)題
人工操作導(dǎo)致效率低下。存儲(chǔ)管理員從收到請(qǐng)求、準(zhǔn)備變更、審批變更、實(shí)施變更,至少一周以上,無(wú)法滿足業(yè)務(wù)快速部署要求,與云的按需供應(yīng)相去甚遠(yuǎn)。
存儲(chǔ)的標(biāo)準(zhǔn)化程度低導(dǎo)致運(yùn)維復(fù)雜。一個(gè)數(shù)據(jù)中心可能有N個(gè)品牌、N個(gè)型號(hào)、N個(gè)規(guī)格、N人N種操作方法。
復(fù)雜環(huán)境的人工操作是產(chǎn)生事故的主要原因。復(fù)雜環(huán)境下,人工操作很難執(zhí)行標(biāo)準(zhǔn)化操作,變更失誤的可能性大幅提高。人執(zhí)行操作,無(wú)論怎么控制都無(wú)法根本上杜絕誤操作。
三、傳統(tǒng)存儲(chǔ)的縱向擴(kuò)容方式越來(lái)越不能適應(yīng)云環(huán)境
在一個(gè)傳統(tǒng)數(shù)據(jù)中心,SAN存儲(chǔ)資源不夠,會(huì)考慮新購(gòu)一臺(tái)或者在原有設(shè)備上擴(kuò)容,兩種方式都存在一些弊端。新購(gòu)一臺(tái),意味著擴(kuò)容步長(zhǎng)就是一臺(tái)存儲(chǔ)的容量,對(duì)于大型數(shù)據(jù)中心尚可,對(duì)于中小型數(shù)據(jù)中心,一次擴(kuò)容相當(dāng)于1-2的需求,擴(kuò)容的資源面臨長(zhǎng)時(shí)間閑置。在原有設(shè)備上擴(kuò)容,則意味著要接受比原有設(shè)備更高的價(jià)格,擴(kuò)容還會(huì)收到容量上限約束。因此,縱向擴(kuò)容的技術(shù)限制,導(dǎo)致容量規(guī)模受限,擴(kuò)容方式成本高,擴(kuò)容周期不靈活等等局限性。
四、SDS成為解除“廠商綁定”的重要技術(shù)
被廠商綁定是數(shù)據(jù)中心普遍存在的現(xiàn)象,這里說(shuō)的綁定不完全代表“貶義”,是相對(duì)于自主可控而言的。如果技術(shù)實(shí)力足夠強(qiáng),可以自主可控,減少?gòu)S商綁定,如果技術(shù)實(shí)力不夠強(qiáng),或者重心不在存儲(chǔ)技術(shù),也可以選擇“被綁定”。
自主可控的程度大致可以分為集中情況:SAN或NAS,軟件和硬件都需要依賴廠商;商用的分布式存儲(chǔ)軟件(比如VSAN、Nutanix),則只需要依賴軟件廠商,硬件采用標(biāo)準(zhǔn)、通用的X86服務(wù)器;開(kāi)源的分布式存儲(chǔ)軟件(比如CEPH),則安全自主,不依賴軟件和硬件廠商。
SDS,特別是開(kāi)源的SDS成為自主可控,不再被廠商綁定的一種可選的技術(shù)路線,逐漸成為一種趨勢(shì)。
五、云的大趨勢(shì)驅(qū)動(dòng)SDS發(fā)展
公有云服務(wù)商AWS、阿里云、騰訊云等,互聯(lián)網(wǎng)公司Facebook、新浪等幾乎全部采用自主研發(fā)的分布式存儲(chǔ),從SDS定義來(lái)看,公有云的分布式存儲(chǔ)也屬于SDS一種,公有云的SDS已經(jīng)成為一種趨勢(shì),勢(shì)不可擋。
開(kāi)源SDS的興起,CEPH是InfrastructureSDS的代表,Openstack Cinder、Manila是ManagementSDS的代表。Openstack與CEPH已經(jīng)成為一種標(biāo)準(zhǔn)組合,正在各個(gè)行業(yè)應(yīng)用,需要密切關(guān)注。
How
順勢(shì)而為
一、 趨勢(shì)分析
正如HypeCycle報(bào)告中預(yù)測(cè),ManagementSDS還處于萌芽期,InfrastructureSDS剛剛渡過(guò)高漲期,接下來(lái)還需要一定時(shí)間的冷靜期,預(yù)計(jì)5-10年大規(guī)模應(yīng)用。
不過(guò)我認(rèn)為Gartner有點(diǎn)保守,在云的大趨勢(shì)下,Infrastructure SDS在3年內(nèi)估計(jì)就會(huì)普及,需要密切關(guān)注,提前使用或者儲(chǔ)備基礎(chǔ)。Server SAN是ManagementSDS的主要實(shí)例化形態(tài),今后將逐漸取代傳統(tǒng)存儲(chǔ),詳細(xì)內(nèi)容可以參考Wikibon分析報(bào)告
ManagementSDS產(chǎn)品Openstack的Cinder、Swift、Manila發(fā)展最好,但是受Openstack整體影響較大,Openstack屬于另一個(gè)話題,不在本文討論。無(wú)論ManagementSDS今后怎么發(fā)展,其抽象建模、自動(dòng)自助、可編程、服務(wù)化的核心本質(zhì)不變,現(xiàn)在就需要加大投入。
SDS的應(yīng)用場(chǎng)景很多,在企業(yè)環(huán)境,SDS主要應(yīng)用在VM環(huán)境,數(shù)據(jù)庫(kù)場(chǎng)景應(yīng)用還較少;互聯(lián)網(wǎng)公司SDS主要應(yīng)用在VM、圖片、視頻、郵件等環(huán)境;商業(yè)軟件占主導(dǎo)地位,開(kāi)源逐漸成熟。
二、 統(tǒng)一管理面雙模數(shù)據(jù)面策略
InfrastructureSDS是未來(lái)趨勢(shì),但是傳統(tǒng)數(shù)據(jù)中心的關(guān)鍵應(yīng)用仍然依賴IOE的E,預(yù)計(jì)未來(lái)一段時(shí)間將維持兩者共存的局面,即雙模數(shù)據(jù)面。面對(duì)雙模數(shù)據(jù)面,ManagementSDS可以對(duì)兩個(gè)平面統(tǒng)一抽象建模、統(tǒng)一編程、統(tǒng)一資源池管理、統(tǒng)一服務(wù)接口,形成統(tǒng)一的管理面。
技術(shù)視角:傳統(tǒng)企業(yè)存儲(chǔ)與分布式軟件定義存儲(chǔ)共存,標(biāo)準(zhǔn)化配置和參數(shù)
服務(wù)視角:統(tǒng)一的存儲(chǔ)服務(wù)設(shè)計(jì),按需自助服務(wù)、敏捷彈性交付存儲(chǔ)服務(wù)
運(yùn)維視角:統(tǒng)一的運(yùn)維體系設(shè)計(jì),存儲(chǔ)資源池化、標(biāo)準(zhǔn)化的分層模型
三、 統(tǒng)一管理面雙模數(shù)據(jù)面架構(gòu)
虛擬機(jī)、數(shù)據(jù)庫(kù)和文件是三種主要的數(shù)據(jù)存儲(chǔ)形式,各有各的特點(diǎn),對(duì)存儲(chǔ)的需求各不相同,在統(tǒng)一管理面雙模數(shù)據(jù)面架構(gòu)中的關(guān)系如下圖所示。
虛擬機(jī)構(gòu)建在虛擬化平臺(tái)之上(主流的KVM、VMware等),主要運(yùn)行應(yīng)用的Web和AP,當(dāng)前階段大多數(shù)企業(yè)已經(jīng)實(shí)現(xiàn)應(yīng)用的集群化,具備橫向擴(kuò)容能力和容錯(cuò)能力。因此虛擬機(jī)環(huán)境更適合運(yùn)行在SDS環(huán)境,利用SDS的分布式能力,更好的配合應(yīng)用集群橫向擴(kuò)展。虛擬化環(huán)境采用SDS已被很多企業(yè)采用,正成為一種趨勢(shì)。
SDS的出現(xiàn),數(shù)據(jù)庫(kù)的存儲(chǔ)有了更多的選擇,隨著SDS在可用性、性能、成本的優(yōu)勢(shì)不斷增強(qiáng),非核心業(yè)務(wù)的數(shù)據(jù)庫(kù)會(huì)率先向SDS遷移。
SDS最初的應(yīng)用場(chǎng)景是分布式文件系統(tǒng)和對(duì)象存儲(chǔ),也是SDS最成熟的場(chǎng)景,AWS的S3,百度云盤(pán)、微盤(pán)等都是基于對(duì)象存儲(chǔ)實(shí)現(xiàn)。除了互聯(lián)網(wǎng)、公有云之外,企業(yè)中也在廣泛應(yīng)用對(duì)象存儲(chǔ),但是由于數(shù)據(jù)中心原有應(yīng)用一般采用文件訪問(wèn)接口,無(wú)法平滑移植到對(duì)象存儲(chǔ),NAS存儲(chǔ)在一段時(shí)間內(nèi)也會(huì)存在。
無(wú)論哪種應(yīng)用、哪種存儲(chǔ)形式,都可以基于統(tǒng)一的管理平面進(jìn)行抽象建模、編排調(diào)度、自動(dòng)化和資源池管理。管理平面屬于云平臺(tái)的一部分,北向提供API接口,南向通過(guò)驅(qū)動(dòng)調(diào)用各種形態(tài)的存儲(chǔ),編排調(diào)度可以在管理平面實(shí)現(xiàn),也可以現(xiàn)在放在云平臺(tái)統(tǒng)一調(diào)度。
四、 存儲(chǔ)服務(wù)和資源池化
服務(wù)化是ManagementSDS的基礎(chǔ),將雙模數(shù)據(jù)面中的存儲(chǔ)進(jìn)行抽象建模,形成標(biāo)準(zhǔn)的服務(wù)規(guī)格、SLA、計(jì)量和計(jì)費(fèi)。存儲(chǔ)服務(wù)最核心的兩個(gè)緯度是可用性和性能,通過(guò)對(duì)可用性和性能數(shù)據(jù)統(tǒng)計(jì)分析建模,形成相應(yīng)的級(jí)別。下圖是存儲(chǔ)服務(wù)級(jí)別的一個(gè)示例,可以根據(jù)自身情況進(jìn)行調(diào)整。TierI、II、III是可用性的三個(gè)級(jí)別,分別代表99.999%、99.995%、99.99%可用性級(jí)別。Diamond、Platinum、Gold、Silver、Bronze是五個(gè)性能級(jí)別,每個(gè)級(jí)別表示不通的響應(yīng)時(shí)間和IOPS指標(biāo)。將可用性和性能級(jí)別的交叉矩陣就是可以提供的存儲(chǔ)服務(wù)全集,再根據(jù)自身需求和技術(shù)發(fā)展情況確定要提供的存儲(chǔ)服務(wù)。
五、 業(yè)務(wù)需求通過(guò)自動(dòng)化編排映射到服務(wù)能力
存儲(chǔ)服務(wù)對(duì)外通過(guò)API暴露自身的能力,業(yè)務(wù)需求通過(guò)統(tǒng)一的編排調(diào)度,將業(yè)務(wù)需求“翻譯”成對(duì)應(yīng)的能力,最終交付合適的存儲(chǔ)服務(wù)。