華為龐鑫:構(gòu)建安全、綠色全閃存數(shù)據(jù)中心
從2005年到2019年間,中國數(shù)字經(jīng)濟(jì)總體規(guī)模由2.6萬億元增加至35.8萬億元,數(shù)字經(jīng)濟(jì)在GDP的占比也由14.2%提升至36.2%。隨著數(shù)字經(jīng)濟(jì)蓬勃發(fā)展,數(shù)據(jù)也成為當(dāng)之無愧的關(guān)鍵生產(chǎn)要素,是基礎(chǔ)性資源和戰(zhàn)略性資源。數(shù)據(jù)洪流的到來進(jìn)一步驅(qū)動了數(shù)據(jù)價值鏈的成熟,進(jìn)而驅(qū)動企業(yè)的決策和創(chuàng)新,獲取數(shù)字紅利。數(shù)據(jù)中心作為數(shù)據(jù)的載體,承擔(dān)著數(shù)據(jù)資源集中存儲、計算、交換的功能,轉(zhuǎn)型升級迫在眉睫。
4月13日,在2021華為全球分析師大會上,華為數(shù)據(jù)存儲與機器視覺營銷工程部總裁龐鑫向全行業(yè)解讀了華為對存儲產(chǎn)業(yè)以及全閃存數(shù)據(jù)中心的理解與洞察。
全閃存市場是剛需,但當(dāng)前全球全閃存市場占比仍然很低
龐鑫表示,全閃存憑借出色的性能優(yōu)勢和綠色節(jié)能已經(jīng)成為市場剛需。在性能方面,從IOPS、低延時、吞吐量三個常用的存儲性能指標(biāo)來看,閃存SSD在性能上遠(yuǎn)超機械硬盤HDD。閃存具有高的IOPS,一個SSD的IOPS可達(dá)數(shù)萬次之多,而一個HDD的IOPS只能達(dá)到幾百次,這表明需要許多HDD才能達(dá)到一個SSD的性能。同時閃存還具有低延遲(常以毫秒或微秒為度量單位)性能和大吞吐量。
在耗能方面,數(shù)據(jù)中心已經(jīng)成為事實上的耗電大戶。目前全球數(shù)據(jù)中心的耗電大約占據(jù)全球每年總用電量的2%-3%,電費在數(shù)據(jù)中心運營成本中占比超過50%。而在國內(nèi),全國數(shù)據(jù)中心的耗電量已連續(xù)八年以超過12%的速度增長,未來占社會總用電量的比例將持續(xù)增長。相對于HDD,在相同的容量下,SSD的電力能耗降低70%,空間占用節(jié)省50%,不僅能大幅降低數(shù)據(jù)中心的TCO總成本,并且能有效推進(jìn)數(shù)據(jù)中心低碳運轉(zhuǎn)。
雖然閃存在性能及綠色節(jié)能上優(yōu)勢明顯,但是當(dāng)前閃存在存儲市場的占比仍然不高。數(shù)據(jù)顯示,全球存儲市場閃存占比43.7%,在中國市場這一數(shù)字僅為24.7%。加速閃存替代機械硬盤已經(jīng)勢在必行。
四大變化,將全面激發(fā)全閃存數(shù)據(jù)中心潛能釋放
對于過去十年閃存存儲產(chǎn)業(yè)的發(fā)展,龐鑫將其總結(jié)為2010~2015年閃存1.0時代,2015~2020年閃存2.0時代,未來5年,將邁入閃存3.0時代。在閃存1.0時代,僅關(guān)注性能,主要通過高性能硬件實現(xiàn),全閃存作為存儲系統(tǒng)的加速層,軟件特性非常缺乏,價格昂貴。在閃存2.0時代,閃存開始進(jìn)入主存儲系統(tǒng),通過系統(tǒng)化設(shè)計,提供豐富企業(yè)特性,同時通過數(shù)據(jù)縮減技術(shù)不斷降低閃存存儲成本,全閃存進(jìn)入快速發(fā)展期。進(jìn)入閃存3.0時代,四大變化將全面激發(fā)全閃存數(shù)據(jù)中心潛能釋放,進(jìn)一步提升端到端性能,并實現(xiàn)綠色節(jié)能、安全可靠。
第一個變化是全場景閃存普惠。全閃存將從之前只用于核心數(shù)據(jù)存儲,比如金融核心、運營商計費系統(tǒng),越來越多地走向全行業(yè)、全場景,比如超算、大數(shù)據(jù)場景也逐漸開始使用性能好、耗能低的全閃存存儲。
第二個變化是全場景數(shù)據(jù)保護(hù)。隨著全閃存應(yīng)用場景不斷演進(jìn),數(shù)據(jù)全生命周期保護(hù)出現(xiàn)新的要求,包括保護(hù)等級的變化、保護(hù)對象的變化、保護(hù)性能的變化以及保護(hù)規(guī)模的變化。保護(hù)等級上,以銀行為例,資產(chǎn)規(guī)模千億以下時要求建立同城災(zāi)備,當(dāng)總資產(chǎn)規(guī)模超過千億,就需要建立兩地三中心災(zāi)備。保護(hù)對象上,以前是結(jié)構(gòu)化數(shù)據(jù)保護(hù),現(xiàn)在需要同時保護(hù)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。比如醫(yī)院HIS系統(tǒng)是結(jié)構(gòu)化數(shù)據(jù),而PACS影像是非結(jié)構(gòu)化數(shù)據(jù),要求保存10年以上,并且至少3年在線,可供快速調(diào)閱和診斷使用。保護(hù)性能上,災(zāi)備的冷數(shù)據(jù)需要能變成溫?zé)釘?shù)據(jù),發(fā)揮數(shù)據(jù)的價值。保護(hù)規(guī)模上,數(shù)據(jù)從PB級增長到EB級。比如L4級自動駕駛數(shù)據(jù),每車每天路測數(shù)據(jù)達(dá)60TB,是L2級的50倍。
第三個變化是多元融合管理。從傳統(tǒng)的煙囪式建設(shè)到全閃存整合,形成PB級資源池,這就需要存儲系統(tǒng)具備多元融合管理的能力。
第四個變化是高速網(wǎng)絡(luò)聯(lián)接。未來的存儲網(wǎng)絡(luò)需要用NVMe協(xié)議來替代SCSI協(xié)議,讓全閃存最大程度釋放性能潛力。
全閃存數(shù)據(jù)中心四大能力引領(lǐng)未來建設(shè)
在龐鑫看來,建設(shè)全閃存數(shù)據(jù)中心,不僅僅是對介質(zhì)進(jìn)行升級,同時也是將數(shù)據(jù)中心資源進(jìn)行整合,架構(gòu)進(jìn)行重構(gòu),以應(yīng)對未來業(yè)務(wù)多樣性的需求。華為通過提供全場景閃存化、全場景數(shù)據(jù)保護(hù)、全生命周期自動化運維管理以及全I(xiàn)P數(shù)據(jù)中心網(wǎng)絡(luò)四大能力實現(xiàn)數(shù)據(jù)中心效率更高、安全等級更高、運維更智能、網(wǎng)絡(luò)無瓶頸、綠色低成本的目標(biāo)。
1. 全場景閃存化,綠色節(jié)能,邁向碳中和
全場景閃存化是指多類型的數(shù)據(jù)負(fù)載均應(yīng)通過閃存存儲進(jìn)行業(yè)務(wù)加速,除了主存的全閃化替代之外,華為建議存儲災(zāi)備系統(tǒng)也應(yīng)加大閃存配比,讓災(zāi)備數(shù)據(jù)快取快用,實現(xiàn)存儲容災(zāi)的常態(tài)化和備份存儲的生產(chǎn)化能力。
在主存上,借助最新的SCM介質(zhì),可以對熱數(shù)據(jù)進(jìn)一步加速,時延低至亞毫秒級;在備份上,通過閃存加速,有效提升備份系統(tǒng)性能,將原來的備份時間由小時級縮短為分鐘級,確保備份數(shù)據(jù)即時可用;在歸檔上,SSD作為歸檔緩存提供高訪問性能,歸檔數(shù)據(jù)訪問時間從小時級降低到分鐘級。
華為還致力于領(lǐng)先數(shù)據(jù)縮減算法研究,實現(xiàn)有限的空間能存放更多的數(shù)據(jù),加速閃存普惠。華為在全球數(shù)學(xué)圣地法國巴黎和俄羅斯莫斯科,分別建立了算法研究中心,將數(shù)據(jù)的縮減做到極致。去年華為舉辦的全球數(shù)據(jù)壓縮大賽,里面有不少算法就開始應(yīng)用到華為全閃存存儲產(chǎn)品上。
2. 全場景數(shù)據(jù)保護(hù),保護(hù)對象更廣、業(yè)務(wù)響應(yīng)更快、留存時間更久
隨著數(shù)據(jù)量越來越多,數(shù)據(jù)越來越重要,更大規(guī)模和更多類型的數(shù)據(jù)需要保護(hù),數(shù)據(jù)災(zāi)備速度、恢復(fù)速度、副本使用頻度、乃至留存時間,都需要大幅的提升。
從保護(hù)對象的角度來看,災(zāi)備數(shù)據(jù)的范圍變大,從核心到通用到一般,從生產(chǎn)核心擴大到開發(fā)測試、分析訓(xùn)練、視頻監(jiān)控,從結(jié)構(gòu)化數(shù)據(jù)擴大到非結(jié)構(gòu)化數(shù)據(jù)。這一趨勢導(dǎo)致災(zāi)備數(shù)據(jù)量迅速變大,但備份窗口不變或變小。數(shù)據(jù)災(zāi)備的等級需要提升,從本地的雙活/主備容災(zāi),到異地3DC,再到災(zāi)備上云,進(jìn)行全方位的數(shù)據(jù)保護(hù)。同時備份數(shù)據(jù)需要立即可用,不需要數(shù)據(jù)恢復(fù)到生產(chǎn)設(shè)備后再使用。在數(shù)據(jù)留存方面,數(shù)據(jù)合規(guī)通常要求重要數(shù)據(jù)留存30年以上,同時具備防刪改、防病毒,適應(yīng)較為寬泛的機房環(huán)境。
3. 全生命周期自動化運維管理,提升運維效率
全閃存的普及將加速數(shù)據(jù)資源池化,而數(shù)據(jù)池化加劇了數(shù)據(jù)中心運維的難度,華為全閃存數(shù)據(jù)中心具備全生命周期自動化運維的能力,即在規(guī)劃、建設(shè)、運維、優(yōu)化的各個階段,均具備自動化智能化的能力。
在規(guī)劃階段從關(guān)注設(shè)備到關(guān)注數(shù)據(jù)的全生命周期,實現(xiàn)精準(zhǔn)規(guī)劃;在建設(shè)階段實現(xiàn)從人工到自動化,核心是全局資源發(fā)放;在運維階段變被動巡檢為主動發(fā)現(xiàn),實現(xiàn)全棧智能運維;在優(yōu)化階段變依賴專家經(jīng)驗為智能算法自治,達(dá)到資源配置敏捷優(yōu)化。
4. 全I(xiàn)P數(shù)據(jù)中心網(wǎng)絡(luò),最大化釋放閃存性能潛力
全場景閃存化也推動了數(shù)據(jù)中心的網(wǎng)絡(luò)改革,NVMe最大化釋放了SSD介質(zhì)的能力,更快的介質(zhì)和協(xié)議呼喚更快的網(wǎng)絡(luò)。NoF(NVMe over Fabric)存儲網(wǎng)絡(luò)應(yīng)運而生,通過使用IP網(wǎng)絡(luò)進(jìn)行對專用網(wǎng)絡(luò)的創(chuàng)新性革新,實現(xiàn)了更快吞吐帶寬和更低時延,同時也兼具IP易管理優(yōu)勢,是更好地實現(xiàn)端到端NVMe存儲網(wǎng)絡(luò)的最佳方案,NoF方案也是目前業(yè)界最主流的趨勢。
基于當(dāng)下業(yè)界主流標(biāo)準(zhǔn)NoF方案,華為又依托在網(wǎng)絡(luò)和存儲領(lǐng)域的深厚積累,從可靠性、性能、易用性上對其進(jìn)行提升,基于智能無損網(wǎng)絡(luò)面向華為OceanStor存儲提出了NoF+方案,將下一代數(shù)據(jù)中心存儲網(wǎng)絡(luò)推向更廣闊的發(fā)展空間。
在演講最后,龐鑫表示,包含了OceanStor全閃存、OceanProtect數(shù)據(jù)保護(hù)、DME全生命周期智能運維、NoF+高速存儲網(wǎng)絡(luò)在內(nèi)的華為全閃存數(shù)據(jù)中心解決方案,是打造未來安全高效、綠色節(jié)能數(shù)據(jù)中心行之有效的方法。全閃存數(shù)據(jù)中心必將在未來大展身手,推動社會經(jīng)濟(jì)生產(chǎn)邁向新征程。