需求分析和技術(shù)路線篇

對于很多中小金融機(jī)構(gòu)來講，由于歷史原因，企業(yè)的存儲(chǔ)形態(tài)往往較為單一，存儲(chǔ)系統(tǒng)并未做分類和分級建設(shè)。比如，對于集中式存儲(chǔ)來講，只有SAN存儲(chǔ)，而并未使用NAS存儲(chǔ)。這樣一來，對于文件共享場景，很多企業(yè)有用到GPFS來構(gòu)建分布式集群文件系統(tǒng)來滿足業(yè)務(wù)系統(tǒng)文件共享場景需求。

實(shí)際上，GPFS是一種高性能的并行文件系統(tǒng)，其底座很多也是使用FC組網(wǎng)的SAN存儲(chǔ)。GPFS大多適用于高性能計(jì)算場景，或者是和企業(yè)其他IT技術(shù)生態(tài)捆綁使用。另一方面，GPFS在構(gòu)建同城或異地容災(zāi)時(shí)，也有一定的局限性，很多也是基于底層SAN存儲(chǔ)來做的數(shù)據(jù)級容災(zāi)。

如果從企業(yè)的存儲(chǔ)系統(tǒng)發(fā)展來看，隨著企業(yè)存儲(chǔ)管理的精細(xì)化，可以看到，GPFS和NAS的使用場景也開始逐漸分流，兩種技術(shù)分別適用于不同的業(yè)務(wù)場景中，可以說兩者是“術(shù)業(yè)有專攻”。對于低時(shí)延的高性能場景或者是多業(yè)務(wù)系統(tǒng)之間文件交互場景，即插即用的NAS存儲(chǔ)可以說帶來了極大的便利。此外，集中式的NAS存儲(chǔ)也有成熟的雙活以及異步復(fù)制解決方案，很好的匹配了企業(yè)的文件高可用性建設(shè)需求。

此外，在海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)優(yōu)化方面，對象存儲(chǔ)技術(shù)扮演了重要角色。近年來，對象存儲(chǔ)憑借其優(yōu)異的成本優(yōu)勢、強(qiáng)大的橫向和快速擴(kuò)展能力以及豐富的服務(wù)接口特性在國內(nèi)取得了快速發(fā)展，同時(shí)交付了很多成功案例。而對于傳統(tǒng)的銀行業(yè)，對象存儲(chǔ)也有不少落地案例。從應(yīng)用場景來看，主要用于對接ECM內(nèi)容管理平臺和備份系統(tǒng)的分層建設(shè)中。

一、背景和必要性

目前，我行的非結(jié)構(gòu)化數(shù)據(jù)主要存儲(chǔ)在構(gòu)建于傳統(tǒng)集中式塊存儲(chǔ)之上的IBM GPFS并行文件系統(tǒng)中。這些非結(jié)構(gòu)化數(shù)據(jù)的文件數(shù)量和容量隨著業(yè)務(wù)規(guī)模的發(fā)展呈逐年激增的趨勢，而這種使用存儲(chǔ)的方式靈活性不高，同時(shí)帶來了過高的成本開銷。

GPFS構(gòu)建在FC SAN存儲(chǔ)之上，消耗了較多的SAN存儲(chǔ)資源以及中間的FC交換網(wǎng)絡(luò)資源。而從使用場景來看，GPFS主要用于前端的應(yīng)用服務(wù)器集群，隨著行里云平臺的廣泛使用，這種應(yīng)用服務(wù)器外聯(lián)FC SAN存儲(chǔ)的架構(gòu)也給應(yīng)用服務(wù)器入云帶來了制約，進(jìn)而由于消耗了更多的物理服務(wù)器也會(huì)帶來額外的成本開銷。另外，由于GPFS和數(shù)據(jù)庫類的應(yīng)用爭搶存儲(chǔ)資源，也給這些聯(lián)機(jī)交易類系統(tǒng)帶來了一定的性能沖擊。隨著行里的業(yè)務(wù)種類越來越豐富，不同類型數(shù)據(jù)的合理存放成為亟待解決的問題。

針對上述問題，我行2018年引入了中低端NAS存儲(chǔ)設(shè)備，用于存儲(chǔ)文件類的數(shù)據(jù)，為數(shù)據(jù)的分類存儲(chǔ)提供了便利，使得存儲(chǔ)的使用方式更趨于合理化。然而，按照我行存儲(chǔ)資源池的分級架構(gòu)建設(shè)規(guī)劃，需要額外建設(shè)具備雙活能力的高端NAS存儲(chǔ)系統(tǒng)，滿足GPFS場景中重要業(yè)務(wù)系統(tǒng)的文件共享需求和同城雙活的高可用需求。為此，我行近兩年來構(gòu)建了高端NAS同城雙活架構(gòu)，同時(shí)，異地部署了一臺低端NAS存儲(chǔ)，進(jìn)而實(shí)現(xiàn)了依托NAS存儲(chǔ)復(fù)制技術(shù)的3DC高可用架構(gòu)。而現(xiàn)有的中低端NAS存儲(chǔ)，可以繼續(xù)承載GPFS場景中的一般重要業(yè)務(wù)系統(tǒng)的文件存儲(chǔ)需求。

除了非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu)優(yōu)化之外，我行另一個(gè)需要逐步優(yōu)化的場景是系統(tǒng)間的文件交互。目前，我行使用專門的文件傳輸工具進(jìn)行各系統(tǒng)間的文件傳遞，軟件架構(gòu)較為復(fù)雜，同時(shí)運(yùn)維難度也略大。此外，由于各業(yè)務(wù)系統(tǒng)分布在不同的網(wǎng)絡(luò)區(qū)域，跨區(qū)的文件傳輸流量也會(huì)給各區(qū)域的邊界防火墻帶來性能壓力。為此，我們可以借助NAS存儲(chǔ)構(gòu)建文件交互平臺，不但省去了文件在各系統(tǒng)間的頻繁傳遞，提高業(yè)務(wù)系統(tǒng)效率，同時(shí)，依托NAS存儲(chǔ)的多網(wǎng)絡(luò)區(qū)域覆蓋能力，可以避免產(chǎn)生跨區(qū)流量，進(jìn)而規(guī)避對邊界防火墻的性能沖擊。

下面兩張圖分別是NAS引進(jìn)前、后的文件類數(shù)據(jù)存儲(chǔ)系統(tǒng)高可用架構(gòu)圖：

圖一 構(gòu)建在SAN存儲(chǔ)復(fù)制技術(shù)上的文件高可用架構(gòu)

圖二 依托NAS存儲(chǔ)3DC方案構(gòu)建的文件高可用架構(gòu)

實(shí)際上，在我行的整體存儲(chǔ)體系和存儲(chǔ)架構(gòu)規(guī)劃中，SAN存儲(chǔ)、NAS存儲(chǔ)和對象存儲(chǔ)有其各自的定位和應(yīng)用場景。SAN存儲(chǔ)適用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫類應(yīng)用，滿足其高并發(fā)、低延遲的高性能需求。NAS存儲(chǔ)適用于多服務(wù)器共享文件場景或構(gòu)建文件傳輸平臺，對性能要求沒有SAN存儲(chǔ)高，但成本要低。對象存儲(chǔ)適用于存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)（文件、影印件、音視頻等），當(dāng)文件數(shù)量達(dá)到數(shù)十億、存儲(chǔ)容量達(dá)到幾十PB以上的量級時(shí)，其性能和總體擁有成本較之于NAS更具優(yōu)勢。

二、技術(shù)路線對比

對于文件類數(shù)據(jù)存儲(chǔ)的解決方案，實(shí)際上我們從業(yè)界不難看到基本包括分布式集群文件系統(tǒng)、分布式NAS存儲(chǔ)、傳統(tǒng)集中式NAS存儲(chǔ)以及對象存儲(chǔ)等。

這些存儲(chǔ)技術(shù)各具特色，分別適用不同的業(yè)務(wù)場景。比如分布式集群文件系統(tǒng)或者稱為并行文件系統(tǒng)解決方案，例如：GPFS、Cephfs、GlusterFS、HDFS、GFS等。對于這些集群文件系統(tǒng)，有些存在元數(shù)據(jù)節(jié)點(diǎn)，有些則是沒有元數(shù)據(jù)節(jié)點(diǎn)的對稱架構(gòu)，另外在文件的分片尺寸上也略有區(qū)別，但總體上來講，這些分布式文件系統(tǒng)或者是分布式NAS存儲(chǔ)基本適用于高性能計(jì)算場景或者是大文件處理場景中。而對于一般文件共享場景以及多系統(tǒng)文件交互場景，采用傳統(tǒng)集中式NAS存儲(chǔ)則更為便捷。

如果從文件規(guī)模角度來看，對于文件數(shù)量在千萬級以下，文件容量在百TB級別，傳統(tǒng)NAS技術(shù)可以承載。而對于文件數(shù)量在億級別，文件容量在幾十PB以上的情況下，采用對象存儲(chǔ)則更能凸顯價(jià)值。

對象存儲(chǔ)可以說是云存儲(chǔ)中一個(gè)重要技術(shù)分支，是近年來在國內(nèi)發(fā)展最快的存儲(chǔ)形態(tài)之一。無論是在傳統(tǒng)行業(yè)還是互聯(lián)網(wǎng)行業(yè)都有很多落地案例。在架構(gòu)體系形態(tài)上，由于對象存儲(chǔ)用于存儲(chǔ)和處理海量的非結(jié)構(gòu)化數(shù)據(jù)，例如文件、圖片、音視頻、影印件等，所以要求其有強(qiáng)大的擴(kuò)展能力，而無疑采用分布式架構(gòu)更便于橫向、快速的擴(kuò)展。在應(yīng)用形態(tài)上，對象存儲(chǔ)暴露給前端的主要是S3協(xié)議，一種面向Web的RESTful API接口，需要前端應(yīng)用針對這種特別的接口進(jìn)行定制化開發(fā)。而為了兼容老的應(yīng)用，對象存儲(chǔ)在前端還可以進(jìn)行特別“包裝”，從而可以提供豐富的NAS接口協(xié)議，甚至和Hadoop大數(shù)據(jù)平臺還有S3A接入適配協(xié)議。

從對象存儲(chǔ)在銀行業(yè)的應(yīng)用場景來看，可以分為兩個(gè)大類，分別是業(yè)務(wù)系統(tǒng)處理和歷史數(shù)據(jù)備份及歸檔。在業(yè)務(wù)系統(tǒng)支持上，對象存儲(chǔ)可以對接ECM內(nèi)容管理平臺，作為后端的數(shù)據(jù)存儲(chǔ)系統(tǒng)。這樣一方面可以有效發(fā)揮其處理海量非結(jié)構(gòu)化數(shù)據(jù)的性能和成本優(yōu)勢。另一方面，對象存儲(chǔ)還可以提供豐富的業(yè)務(wù)附加功能，如業(yè)務(wù)元數(shù)據(jù)Metadata標(biāo)簽，便于對業(yè)務(wù)數(shù)據(jù)做標(biāo)記，提高業(yè)務(wù)數(shù)據(jù)快速檢索能力。另一個(gè)場景可以用在備份系統(tǒng)的分層建設(shè)中。對象存儲(chǔ)可以作為備份系統(tǒng)中磁帶介質(zhì)層的上層，用于作為近線備份的存儲(chǔ)，提升歷史數(shù)據(jù)的檢索效率。此外，在大數(shù)據(jù)平臺場景中，對象存儲(chǔ)憑借S3A適配協(xié)議可以實(shí)現(xiàn)和大數(shù)據(jù)平臺的對接，提供歷史數(shù)據(jù)歸檔能力。

三、存儲(chǔ)分類分級建設(shè)

通過項(xiàng)目實(shí)施，實(shí)現(xiàn)了我行NAS文件存儲(chǔ)資源池的分級建設(shè)。隨著NAS應(yīng)用的推廣和落地，逐漸降低了塊存儲(chǔ)使用成本，提高了存儲(chǔ)的使用靈活度，實(shí)現(xiàn)不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲(chǔ)。特別是借助高端NAS存儲(chǔ)設(shè)備構(gòu)建同城雙活架構(gòu)，實(shí)現(xiàn)了重要業(yè)務(wù)系統(tǒng)對于文件存儲(chǔ)的高可用需求。較之于先前的GPFS方案，在RPO同為0的情況下，RTO指標(biāo)得到極大提升。最后，利用NAS存儲(chǔ)構(gòu)建業(yè)務(wù)系統(tǒng)間文件交互平臺，顯著提升了業(yè)務(wù)處理效率。

可以說，在企業(yè)IT基礎(chǔ)架構(gòu)優(yōu)化中，很難有一種技術(shù)可以完美替代另一種技術(shù)。就如同對象存儲(chǔ)的引入并不是對現(xiàn)有企業(yè)存儲(chǔ)架構(gòu)的徹底顛覆，而是一種技術(shù)的有力補(bǔ)充，分類分級建設(shè)的存儲(chǔ)資源池可以匹配各自適用的業(yè)務(wù)場景。傳統(tǒng)集中式SAN存儲(chǔ)以其高并發(fā)、低延遲的特性，適用于數(shù)據(jù)庫類業(yè)務(wù)場景。NAS文件存儲(chǔ)資源池用于解決文件共享或者是系統(tǒng)間的文件交互場景。而對于音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)的處理，采用對象存儲(chǔ)則更為合理。正是這些技術(shù)的相互補(bǔ)充，才得以最大化地發(fā)揮各種技術(shù)的效能，從而更好地支撐前端業(yè)務(wù)系統(tǒng)的穩(wěn)定、高效運(yùn)行。

GPFS遷移實(shí)踐篇

在計(jì)劃進(jìn)行GPFS向NAS轉(zhuǎn)型前，要對目標(biāo)NAS存儲(chǔ)做好規(guī)劃和設(shè)計(jì)。為了保證NAS存儲(chǔ)可以很好地支撐業(yè)務(wù)需求，同時(shí)確保NAS存儲(chǔ)系統(tǒng)自身的架構(gòu)健壯性和性能，可以從容量、性能、架構(gòu)以及規(guī)范等層面對NAS存儲(chǔ)進(jìn)行詳細(xì)設(shè)計(jì)。

而對于GPFS向NAS的遷移，要以項(xiàng)目管理的方式進(jìn)行工作推進(jìn)。首先是人員的準(zhǔn)備，要明確各個(gè)條線的工作職責(zé)，從而便于各條線做好配合，進(jìn)而可以保證項(xiàng)目的交付質(zhì)量。對于具體的遷移工作，要按遷移前、遷移中和遷移后做好整個(gè)遷移工作的閉環(huán)管理。此外，要做好經(jīng)驗(yàn)總結(jié)，通過持續(xù)的PDCA，可以使后續(xù)的遷移工作更順暢和高效。

一、目標(biāo)NAS存儲(chǔ)的規(guī)劃和設(shè)計(jì)

在進(jìn)行GPFS向NAS技術(shù)轉(zhuǎn)型之前，要對目標(biāo)的NAS存儲(chǔ)做好規(guī)劃。可以從容量設(shè)計(jì)、性能設(shè)計(jì)、架構(gòu)設(shè)計(jì)、規(guī)范設(shè)計(jì)等方面對目標(biāo)NAS存儲(chǔ)提前進(jìn)行規(guī)劃。

具體來講，對于容量設(shè)計(jì)方面，要以GPFS臺賬為依據(jù)，梳理GPFS文件總?cè)萘?，此外，需要考慮存儲(chǔ)容量年增長率因素，評估出滿足業(yè)務(wù)至少3-5年的存儲(chǔ)容量需求。對于性能設(shè)計(jì)，可以利用存儲(chǔ)性能監(jiān)控工具，形成GPFS業(yè)務(wù)系統(tǒng)的性能基線，并充分考慮波峰（帶寬和OPS），以此作為存儲(chǔ)配置的依據(jù)。在做性能統(tǒng)計(jì)時(shí)，有幾個(gè)注意事項(xiàng)。一是GPFS業(yè)務(wù)系統(tǒng)在存儲(chǔ)上往往較為分散，不同的業(yè)務(wù)系統(tǒng)服務(wù)器會(huì)分布在不同的存儲(chǔ)設(shè)備上，這也是匯總性能數(shù)據(jù)的一個(gè)難點(diǎn)和要注意的地方。二是要特別關(guān)注交易量大的系統(tǒng)，抓住帶來存儲(chǔ)性能消耗的幾個(gè)關(guān)鍵系統(tǒng)。三是要建立典型業(yè)務(wù)高峰時(shí)點(diǎn)的性能基線，如季度結(jié)息、年終決算、雙十一等。四是在做性能分析時(shí)，要注意辨別共用存儲(chǔ)資源的情況。例如GPFS和數(shù)據(jù)庫業(yè)務(wù)共用存儲(chǔ)前端口的情況，在做性能數(shù)據(jù)收集時(shí)，要收集GPFS涉及LUN的性能，而不是端口的性能數(shù)據(jù)。因?yàn)槎丝趯儆诠灿觅Y源，除了GPFS流量，還包括數(shù)據(jù)庫業(yè)務(wù)貢獻(xiàn)的流量。對于架構(gòu)設(shè)計(jì)，存儲(chǔ)系統(tǒng)首先沒有單點(diǎn)故障，然后用于承載重要系統(tǒng)的NAS存儲(chǔ)構(gòu)建基于存儲(chǔ)復(fù)制技術(shù)的3DC架構(gòu)。

此外，為了提升NAS存儲(chǔ)系統(tǒng)各張網(wǎng)絡(luò)的健壯性和性能，建議構(gòu)建功能獨(dú)立、物理隔離的網(wǎng)絡(luò)。對于業(yè)務(wù)網(wǎng)絡(luò)，可以通過LACP鏈路聚合的方式擴(kuò)充存儲(chǔ)側(cè)的網(wǎng)絡(luò)帶寬。最后，對于規(guī)范設(shè)計(jì)方面，要充分利用NAS存儲(chǔ)提供的租戶特性，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)的安全隔離。有關(guān)NAS存儲(chǔ)的架構(gòu)設(shè)計(jì)將在后續(xù)的文章中進(jìn)行更詳細(xì)地說明。

下圖是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D，從圖中可以看出，正是采用了四網(wǎng)分離的網(wǎng)絡(luò)架構(gòu)，即業(yè)務(wù)網(wǎng)絡(luò)、復(fù)制網(wǎng)絡(luò)、仲裁網(wǎng)絡(luò)、管理網(wǎng)絡(luò)分離，才得以保障各張網(wǎng)絡(luò)的高可用和高性能。

圖三 華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D

二、遷移原則

在GPFS向NAS遷移工作實(shí)施前，為了保證遷移質(zhì)量，同時(shí)提升遷移效率，首先制定了遷移的四大原則。

第一是“先做減法”原則，一方面，對于已下線及待下線的系統(tǒng)，積極推動(dòng)系統(tǒng)下線流程，然后回收所用存儲(chǔ)資源。另一方面，推動(dòng)各業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)清理，降低數(shù)據(jù)遷移量。

第二是“以靜制動(dòng)”原則，對于有改造計(jì)劃的系統(tǒng)，待系統(tǒng)改造完成后，再?zèng)Q定是否遷移或回收老系統(tǒng)所用存儲(chǔ)資源。

第三是“分批推進(jìn)”原則，為了平穩(wěn)、高效地完成遷移任務(wù)，合理劃分遷移批次。此外，遷移工作要由易到難，從簡到繁，不斷積累經(jīng)驗(yàn)。

第四是“精細(xì)方案”原則，首先，遷移方案要做實(shí)做細(xì)，要做好遷移前、遷移中、遷移后整個(gè)遷移工作的閉環(huán)管理。此外，針對不同業(yè)務(wù)系統(tǒng)，需要定制最佳的個(gè)性化遷移方案。比如對于文件目錄很深、文件數(shù)量特別大的系統(tǒng)，可以采用分批次的遷移方案。

三、遷移方案

如前所述，為了做好整個(gè)數(shù)據(jù)遷移工作的閉環(huán)管理，下面將從遷移前的準(zhǔn)備工作、遷移實(shí)施過程以及遷移后的收尾工作等環(huán)節(jié)對遷移方案進(jìn)行展開陳述。

（一）遷移前的準(zhǔn)備工作

人員是項(xiàng)目實(shí)施的關(guān)鍵因素，在遷移項(xiàng)目中，各個(gè)技術(shù)條線要做到分工明確，進(jìn)而才可實(shí)現(xiàn)通力合作。系統(tǒng)條線作為提供和保障IT基礎(chǔ)設(shè)施的技術(shù)條線，將作為整個(gè)遷移項(xiàng)目的項(xiàng)目經(jīng)理角色，負(fù)責(zé)牽頭整個(gè)數(shù)據(jù)遷移項(xiàng)目。應(yīng)用條線配合確認(rèn)和推進(jìn)已下線和待下線系統(tǒng)的下線流程，同時(shí)，在數(shù)據(jù)遷移完成后，配合進(jìn)行必要的業(yè)務(wù)驗(yàn)證工作。網(wǎng)絡(luò)條線在遷移工作中負(fù)責(zé)開通相關(guān)的網(wǎng)絡(luò)訪問關(guān)系，提供網(wǎng)絡(luò)方面的技術(shù)支持。生產(chǎn)管理?xiàng)l線則負(fù)責(zé)組織落實(shí)相關(guān)變更的方案評審以及對外的監(jiān)管報(bào)備工作。

決定遷移項(xiàng)目質(zhì)量的另一個(gè)關(guān)鍵因素是要有一份清晰且精準(zhǔn)的GPFS臺賬。關(guān)于臺賬的準(zhǔn)備，可以采用管理維度和技術(shù)維度相輔相成的策略。對于管理維度，日常運(yùn)維工作中形成的完整且及時(shí)更新的GPFS臺賬作為基線。而對于技術(shù)維度，一方面可以通過運(yùn)維自動(dòng)化平臺，編制GPFS文件系統(tǒng)信息導(dǎo)出腳本，形成GPFS全量信息報(bào)表。另一方面，可以借助CMDB平臺導(dǎo)出GPFS相關(guān)報(bào)表。通過上述管理和技術(shù)的融合，最終形成一份全量的GPFS臺賬，從而可以指導(dǎo)后續(xù)的遷移工作。

（二）遷移實(shí)施

• 目標(biāo)NAS存儲(chǔ)分配到位

對于一般重要業(yè)務(wù)系統(tǒng)分配低端NAS存儲(chǔ)，NAS存儲(chǔ)采用本地部署方案，而對于重要系統(tǒng)則分配高端NAS存儲(chǔ)，采用NAS同城雙活架構(gòu)。

• 數(shù)據(jù)遷移操作流程

將分配的目標(biāo)NAS存儲(chǔ)掛載到臨時(shí)目錄上，如/qianyi

將GPFS掛載點(diǎn)目錄下的內(nèi)容全部拷貝到上述的目標(biāo)路徑下

待拷貝完成后，卸載掉GPFS以及目標(biāo)NAS文件系統(tǒng)

將目標(biāo)NAS文件系統(tǒng)掛載到原GPFS掛載點(diǎn)上

對于停機(jī)窗口充足的系統(tǒng)，建議在第二步開始前，停止使用GPFS的應(yīng)用程序。對于停機(jī)窗口有限的系統(tǒng)，第三步的拷貝可以使用rsync等支持增量拷貝以及斷點(diǎn)續(xù)傳的命令。對于目錄結(jié)構(gòu)深、海量小文件的系統(tǒng)，可以分批次進(jìn)行數(shù)據(jù)遷移，如先遷移近期使用的文件及目錄，后續(xù)再分批次遷移歷史文件。

（三）遷移收尾工作

數(shù)據(jù)遷移完成后，需要組織應(yīng)用人員進(jìn)行業(yè)務(wù)驗(yàn)證，驗(yàn)證新的目標(biāo)存儲(chǔ)可以正常承載業(yè)務(wù)運(yùn)行。

為了應(yīng)對可能發(fā)生的遺漏文件的快速查找需求，需要將原GPFS目錄掛載到臨時(shí)目錄下，具體操作步驟如下：

待新的NAS投產(chǎn)且平穩(wěn)運(yùn)行后，經(jīng)過一段時(shí)間的觀察期，可以組織對先前GPFS資源的回收。

四、遇到的問題和解決方法

在做數(shù)據(jù)遷移時(shí)，要充分考慮每個(gè)業(yè)務(wù)系統(tǒng)的文件生成和訪問特性。因?yàn)椴煌南到y(tǒng)對不同日期目錄的操作方式會(huì)有差異，這也是為什么要針對各個(gè)系統(tǒng)做定制化的遷移方案。

比如，有的系統(tǒng)在數(shù)據(jù)遷移窗口期間不會(huì)訪問歷史日期目錄，只會(huì)在當(dāng)前日期目錄下生成文件。對于這樣的業(yè)務(wù)系統(tǒng)，我們可以利用短暫的窗口，先將GPFS和NAS的掛載點(diǎn)進(jìn)行切換。這樣一來，新的文件就會(huì)直接落地到NAS上，然后再遷移其他的目錄和文件。

在windows操作系統(tǒng)中做數(shù)據(jù)拷貝時(shí)，我們往往會(huì)遇到內(nèi)存資源不足的情況，這個(gè)一般是與一次性拷貝的文件太多有關(guān)。對于這個(gè)問題，可以在每天的業(yè)務(wù)空閑時(shí)段，按目錄分批次進(jìn)行拷貝。

對于windows操作系統(tǒng)，在掛載NAS存儲(chǔ)（映射網(wǎng)絡(luò)驅(qū)動(dòng)器）時(shí)，你會(huì)發(fā)現(xiàn)重啟服務(wù)器后，之前掛載的網(wǎng)絡(luò)驅(qū)動(dòng)器不見了。這是因?yàn)樵谟成渚W(wǎng)絡(luò)驅(qū)動(dòng)器時(shí)，沒有注意有些附加選項(xiàng)。如下圖，在映射網(wǎng)絡(luò)驅(qū)動(dòng)器時(shí)，注意要把“登錄時(shí)重新連接”選項(xiàng)勾選上。然后，注意選擇使用其他憑據(jù)連接，這樣會(huì)彈出訪問NAS存儲(chǔ)的用戶名和密碼，同時(shí)要注意選擇讓windows記住用戶名和密碼。

圖四 Windows映射網(wǎng)絡(luò)驅(qū)動(dòng)器

另外，對于Linux或AIX操作系統(tǒng)，同樣也要注意把NFS的Mount掛載命令寫入開機(jī)自啟文件里，如對于Suse Linux操作系統(tǒng)，是/etc/init.d/after.local文件；對于紅帽Linux，是/etc/rc.d/rc.local;AIX一般可以寫入/etc/filesystems文件里。這里面如果是AIX HA場景，因?yàn)橐话鉔FS文件系統(tǒng)是隨服務(wù)IP一起的，所以可以把NFS的掛載和卸載命令寫入ha的啟停腳本里。

在做數(shù)據(jù)遷移時(shí)，有時(shí)會(huì)遇到拷到目標(biāo)目錄中的文件時(shí)間戳、文件的屬主屬組或是權(quán)限會(huì)發(fā)生改變，這是因?yàn)樵趫?zhí)行拷貝時(shí)沒有用對選項(xiàng)。比如對于cp命令，注意使用-a選項(xiàng)，這個(gè)選項(xiàng)包含了-p all的功能，也就是拷貝時(shí)會(huì)保留文件或目錄的上述元數(shù)據(jù)信息。

在數(shù)據(jù)遷移過程中，還有個(gè)典型問題，就是由于沒有更改GPFS的掛載點(diǎn)定義，而只是臨時(shí)將GPFG文件系統(tǒng)卸載掉。這樣一來，在系統(tǒng)重啟時(shí)，會(huì)造成GPFS和NAS的掛載點(diǎn)沖突。如果GPFS成功掛載了，那么新的業(yè)務(wù)文件就會(huì)寫入到GPFS文件系統(tǒng)中，進(jìn)而給整個(gè)遷移工作帶來麻煩。這也是前文提到的一定要做好遷移工作的閉環(huán)管理，注意按上文方法徹底調(diào)整GPFS的掛載點(diǎn)。

五、遷移總結(jié)

目前，GPFS遷移NAS的工作還在平穩(wěn)、高效地推進(jìn)中。通過項(xiàng)目實(shí)施，也收獲了不少經(jīng)驗(yàn)。

從技術(shù)維度來看，一是對于目標(biāo)NAS存儲(chǔ)設(shè)備的架構(gòu)規(guī)劃要以目前業(yè)務(wù)系統(tǒng)的實(shí)際需求出發(fā)，特別注意性能基線的建立。二是要結(jié)合應(yīng)用場景，靈活使用存儲(chǔ)的特性，比如租戶隔離特性。三是在遷移前針對各個(gè)系統(tǒng)定制個(gè)性化的遷移方案，在遷移中注意文件屬性保留的拷貝選項(xiàng)，在遷移后要調(diào)整GPFS的配置，尤其是更改其掛載點(diǎn)。

從管理維度來看，一是要將每一個(gè)存儲(chǔ)遷移工作以項(xiàng)目管理的方式進(jìn)行推進(jìn)，做好各技術(shù)和管理?xiàng)l線的職責(zé)分工，各專業(yè)條線通力合作，才能實(shí)現(xiàn)高質(zhì)量的項(xiàng)目交付。二是對于遷移工作，要“巧干”，首先制定工作原則。例如文中提到的“先做減法”、“以靜制動(dòng)”，這實(shí)際上也是對業(yè)務(wù)系統(tǒng)以及歷史數(shù)據(jù)生命周期管理的實(shí)踐和完善，借存儲(chǔ)遷移項(xiàng)目的契機(jī)，可以促進(jìn)對業(yè)務(wù)系統(tǒng)下線的推動(dòng)，同時(shí)完成歷史數(shù)據(jù)的清理。三是對遷移工作要做好閉環(huán)管理，特別要重視遷移后的收尾以及總結(jié)。

NAS存儲(chǔ)使用經(jīng)驗(yàn)和效果篇

數(shù)據(jù)只有做好分類存儲(chǔ)和管理，才能發(fā)揮基礎(chǔ)設(shè)施的最大效能。為此，行里從2018年開始引入中低端NAS存儲(chǔ)，到目前NAS存儲(chǔ)的3DC架構(gòu)落地，完備的NAS存儲(chǔ)資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺。通過近年來NAS存儲(chǔ)的推廣使用，逐漸降低了塊存儲(chǔ)使用成本，提高了存儲(chǔ)的使用靈活度，實(shí)現(xiàn)了不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲(chǔ)。

如果說FC網(wǎng)絡(luò)是傳統(tǒng)集中式SAN存儲(chǔ)的核心，那么IP網(wǎng)絡(luò)無疑是NAS存儲(chǔ)的關(guān)鍵。因此，在配置NAS存儲(chǔ)時(shí)，特別是對于跨數(shù)據(jù)中心的NAS雙活架構(gòu)的搭建，提前規(guī)劃好各張不同功能的網(wǎng)絡(luò)就顯得尤為重要了。此外，通過結(jié)合業(yè)務(wù)使用場景，充分利用華為NAS存儲(chǔ)提供的租戶特性，不但實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)間的安全隔離，同時(shí)也實(shí)現(xiàn)了基于單個(gè)業(yè)務(wù)系統(tǒng)的細(xì)粒度災(zāi)備切換能力。

一、技術(shù)方案

從2018年開始引入中低端NAS存儲(chǔ)，到高端NAS雙活系統(tǒng)投產(chǎn)，以及如今的NAS 3DC架構(gòu)的落地，完備的NAS存儲(chǔ)資源池為我行非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)架構(gòu)優(yōu)化提供了基礎(chǔ)設(shè)施平臺。如上圖二是我行兩地三中心的NAS存儲(chǔ)架構(gòu)，最左面是采用本地部署模式的低端NAS存儲(chǔ)系統(tǒng)，右面部分是華為的兩地三中心NAS架構(gòu)，它是采用cascade串行級聯(lián)模式的數(shù)據(jù)復(fù)制架構(gòu)。

下面將重點(diǎn)剖析NAS雙活架構(gòu)。兩臺華為高端18500雙活NAS設(shè)備分別部署在我行生產(chǎn)機(jī)房和同城災(zāi)備機(jī)房，構(gòu)建同城NAS雙活系統(tǒng)，為我行新核心、重要以及重要支撐系統(tǒng)提供文件交互、文件共享服務(wù)和文件高可用容災(zāi)服務(wù)。

（一）網(wǎng)絡(luò)架構(gòu)

如圖三是華為高端NAS雙活系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D。

整個(gè)網(wǎng)絡(luò)架構(gòu)共涉及4個(gè)網(wǎng)絡(luò)平面，分別是業(yè)務(wù)網(wǎng)絡(luò)平面、復(fù)制網(wǎng)絡(luò)平面、仲裁網(wǎng)絡(luò)平面以及管理網(wǎng)絡(luò)平面。每張網(wǎng)絡(luò)的拓?fù)浜凸δ芙榻B如下：

• 業(yè)務(wù)網(wǎng)絡(luò)平面

高端NAS雙活系統(tǒng)同時(shí)接入新核心區(qū)和業(yè)務(wù)三區(qū)，其中A、B控接入業(yè)務(wù)三區(qū)；C、D控接入新核心區(qū)，形成兩個(gè)故障漂移組（fail group）。每個(gè)控制器通過2條10GbE光纖接入業(yè)務(wù)交換機(jī)，形成一個(gè)20GbE的端口組（LACP）。接入同一網(wǎng)絡(luò)區(qū)域的控制器之間采用A-A（雙active）互備的工作模式，當(dāng)任一個(gè)控制器出現(xiàn)硬件故障或業(yè)務(wù)網(wǎng)絡(luò)中斷時(shí)，存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將業(yè)務(wù)地址切換到另一個(gè)活動(dòng)的控制器上，切換時(shí)間控制在5秒以內(nèi)，對前端業(yè)務(wù)系統(tǒng)可以做到無感知。

• 復(fù)制網(wǎng)絡(luò)平面

每臺存儲(chǔ)通過4個(gè)40GbE的全互聯(lián)連接接入2臺40GbE的內(nèi)部復(fù)制交換機(jī)，兩中心的4臺復(fù)制交換機(jī)通過2條平行連接的10GbE DWDM線路連接，構(gòu)建了NAS同城雙活數(shù)據(jù)復(fù)制鏈路。通過存儲(chǔ)系統(tǒng)內(nèi)部的配置，共形成8條負(fù)載均衡的冗余ISL（Inter Switch Link）數(shù)據(jù)復(fù)制鏈路。

• 仲裁網(wǎng)絡(luò)平面

每臺存儲(chǔ)設(shè)備通過2塊仲裁網(wǎng)卡，和2臺仲裁物理服務(wù)器（HA主備架構(gòu)）構(gòu)建成2個(gè)獨(dú)立vlan的高可用仲裁網(wǎng)絡(luò)。對于仲裁模塊，從仲裁網(wǎng)絡(luò)鏈路到仲裁軟件，再到底層的仲裁服務(wù)器均實(shí)現(xiàn)了雙冗余，規(guī)避了仲裁系統(tǒng)的單點(diǎn)故障，從而極大提升了仲裁的高可用性。

圖五 復(fù)制和仲裁鏈路

• 管理網(wǎng)絡(luò)平面

每臺存儲(chǔ)通過2個(gè)管理網(wǎng)口接入網(wǎng)管網(wǎng)，用于存儲(chǔ)設(shè)備的日常管理和存儲(chǔ)監(jiān)控管理。

如上所述，高端NAS雙活系統(tǒng)的網(wǎng)絡(luò)按照功能劃分為四個(gè)物理隔離的平行網(wǎng)絡(luò)平面，每個(gè)網(wǎng)絡(luò)平面只承載各自功能模塊的流量。這樣的網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)，既保證了各個(gè)網(wǎng)絡(luò)的安全性，也提升了每個(gè)網(wǎng)絡(luò)平面的吞吐性能。

業(yè)務(wù)網(wǎng)絡(luò)平面既可以支持兩中心大二層打通的網(wǎng)絡(luò)架構(gòu)，也支持不打通大二層，使用各中心獨(dú)立IP地址的方案。為了遵從我行整體的網(wǎng)絡(luò)規(guī)劃，我們采用了后者即獨(dú)立IP的方案。兩種網(wǎng)絡(luò)架構(gòu)在存儲(chǔ)端的RTO指標(biāo)是一致的，而最主要的區(qū)別主要在于大二層打通的架構(gòu)可以獲得更好的主機(jī)端全局的RTO指標(biāo)。在大二層打通的情況下，當(dāng)發(fā)生站點(diǎn)切換時(shí)，主機(jī)側(cè)可以無感知的恢復(fù)NAS連接。而對于獨(dú)立IP的方案，需要主機(jī)側(cè)重新執(zhí)行NAS存儲(chǔ)的掛載。為了進(jìn)一步提升該方案中主機(jī)側(cè)的RTO指標(biāo)，利用我行自動(dòng)化災(zāi)備切換系統(tǒng)編排NAS站點(diǎn)切換流程，定制了各系統(tǒng)的切換腳本。腳本的核心邏輯是這樣的：第一，更改客戶端操作系統(tǒng)中的NAS自動(dòng)掛載命令。將主站點(diǎn)的掛載命令注釋掉，同時(shí)去掉從站點(diǎn)掛載命令的注釋。第二，卸載主站點(diǎn)的NAS掛載。如果遇到卸載失敗的情況，需要判斷是否有進(jìn)程占用，如果有應(yīng)用進(jìn)程占用導(dǎo)致無法卸載，則需要停止應(yīng)用程序再卸載主站點(diǎn)的NAS掛載。第三，掛載從站點(diǎn)的NAS。如果在第二步中停止了應(yīng)用程序，則需要在從站點(diǎn)的NAS成功掛載后啟動(dòng)應(yīng)用程序。對于回切流程，也按照上述同樣的邏輯進(jìn)行回切腳本設(shè)計(jì)。

（二）軟件架構(gòu)

在軟件層面，為了提升安全性和易管理性，華為高端NAS系統(tǒng)采用基于租戶的方式實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)邏輯隔離。租戶是文件系統(tǒng)、網(wǎng)絡(luò)邏輯端口的存儲(chǔ)資源集合。針對我行的實(shí)際業(yè)務(wù)場景，設(shè)計(jì)了兩類租戶，一類是業(yè)務(wù)系統(tǒng)交互，另一類是業(yè)務(wù)系統(tǒng)獨(dú)自使用。對于業(yè)務(wù)系統(tǒng)間交互的租戶，會(huì)按照業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)區(qū)域配置不同的邏輯端口，業(yè)務(wù)系統(tǒng)會(huì)使用同區(qū)域的網(wǎng)絡(luò)端口接入NAS存儲(chǔ)，從而提升存儲(chǔ)訪問效率，同時(shí)還能規(guī)避邊界網(wǎng)絡(luò)防火墻的跨區(qū)流量。

除了安全性、易管理性和性能因素外，租戶也是華為高端NAS雙活系統(tǒng)細(xì)粒度站點(diǎn)級容災(zāi)的底層支撐要素。每個(gè)租戶在雙活架構(gòu)下會(huì)配置雙活租戶pair對，由于雙活租戶pair是雙活系統(tǒng)的最小單元，因此，可以實(shí)現(xiàn)基于單個(gè)業(yè)務(wù)系統(tǒng)的站點(diǎn)級災(zāi)備切換方案。下圖是雙活租戶pair的管理界面，從中可以清晰的看到雙活租戶pair以及文件系統(tǒng)雙活pair的運(yùn)行狀態(tài)。

圖六 雙活租戶PAIR和文件系統(tǒng)雙活PAIR

NAS存儲(chǔ)的另一層數(shù)據(jù)保護(hù)是基于文件系統(tǒng)的快照功能。通過快照技術(shù)，可以實(shí)現(xiàn)一定時(shí)間段內(nèi)對文件歷史版本的回溯以及找回被誤刪除的文件等?？梢葬槍γ總€(gè)業(yè)務(wù)系統(tǒng)的需求定制不同的快照和快照保留策略。此外，可以靈活定制每個(gè)文件系統(tǒng)的快照預(yù)留空間，當(dāng)快照預(yù)留空間剩余不足時(shí)，最早的快照將被自動(dòng)清除。

在數(shù)據(jù)備份方面，使用NDMP協(xié)議實(shí)現(xiàn)Server-Free的備份架構(gòu)。在這種架構(gòu)下，業(yè)務(wù)數(shù)據(jù)可以從NAS存儲(chǔ)端直接備份到磁帶庫中，而不通過前端客戶機(jī)操作系統(tǒng)中轉(zhuǎn)。因此，不但可以提升數(shù)據(jù)備份效率，更重要的是，可以大幅降低數(shù)據(jù)備份對業(yè)務(wù)系統(tǒng)的性能影響。

二、NAS存儲(chǔ)使用規(guī)范

NAS存儲(chǔ)在權(quán)限管理和控制方面，總體來說，主要包括客戶端授權(quán)以及用戶管理兩方面。在用戶管理方面，通過綜合考慮我行的實(shí)際業(yè)務(wù)特性、應(yīng)用場景和使用規(guī)模，最終選擇了本地用戶管理策略，也就是說NAS存儲(chǔ)未接入AD域或者使用LDAP。所以對于CIFS協(xié)議來講，通過使用NAS存儲(chǔ)本地用戶實(shí)現(xiàn)Windows客戶端的用戶管理和文件系統(tǒng)共享權(quán)限控制。而對于NFS協(xié)議，在客戶端IP授權(quán)之外，則采用客戶端本地的傳統(tǒng)SYSTEM級ACL策略實(shí)現(xiàn)文件的權(quán)限控制。

基于上述權(quán)限控制方案，結(jié)合我行實(shí)際的業(yè)務(wù)場景，制定出了詳細(xì)的NAS使用規(guī)范。主要分為上文提到的單業(yè)務(wù)系統(tǒng)使用場景和不同業(yè)務(wù)系統(tǒng)間的文件交互場景。對于單業(yè)務(wù)系統(tǒng)使用場景，需要應(yīng)用系統(tǒng)集群的各節(jié)點(diǎn)服務(wù)器使用同樣的應(yīng)用用戶訪問NFS共享，考慮到Linux操作系統(tǒng)的ACL授權(quán)機(jī)制，需要各節(jié)點(diǎn)的這個(gè)應(yīng)用用戶有相同的UID和GID設(shè)置。而對于不同業(yè)務(wù)系統(tǒng)間的文件交互場景，NAS存儲(chǔ)端按照實(shí)際業(yè)務(wù)需求控制不同業(yè)務(wù)系統(tǒng)客戶端服務(wù)器對同一共享文件系統(tǒng)的讀寫和只讀權(quán)限，共享文件系統(tǒng)中的文件和目錄權(quán)限通過設(shè)置子目錄實(shí)現(xiàn)細(xì)粒度的權(quán)限控制。各業(yè)務(wù)系統(tǒng)在共享文件系統(tǒng)掛載點(diǎn)目錄下建立獨(dú)立的子目錄，各子目錄由對應(yīng)的業(yè)務(wù)系統(tǒng)的實(shí)際需求進(jìn)行權(quán)限設(shè)置。原則上，禁止跨業(yè)務(wù)系統(tǒng)子目錄進(jìn)行寫入、刪除和更改操作，跨業(yè)務(wù)系統(tǒng)子目錄只允許只讀操作。

除了NAS的權(quán)限和用戶管理，對于客戶端的掛載也要按照最佳實(shí)踐進(jìn)行配置。

首先，對于客戶端NFS文件系統(tǒng)本地掛載點(diǎn)的選擇，要避免使用“嵌套”目錄，也就是說客戶端掛載點(diǎn)是根文件系統(tǒng)（根目錄）下的獨(dú)立空目錄，不能是其他非根文件系統(tǒng)下的子目錄。這樣在技術(shù)上可以規(guī)避上層文件系統(tǒng)異常對NFS共享文件系統(tǒng)的影響。另外，NFS的掛載選項(xiàng)里有很多可以調(diào)優(yōu)的參數(shù)，這里面可以根據(jù)實(shí)際情況，結(jié)合NAS廠商白皮書提供的建議進(jìn)行設(shè)置。最后，為了提高文件訪問性能，高端NAS存儲(chǔ)接入了多個(gè)網(wǎng)絡(luò)區(qū)域，以便提供給不同網(wǎng)絡(luò)區(qū)域中的業(yè)務(wù)系統(tǒng)使用，從而規(guī)避邊界防火墻對跨網(wǎng)絡(luò)區(qū)域文件訪問的性能影響。因此，各網(wǎng)絡(luò)區(qū)域中的客戶端要通過相應(yīng)區(qū)域的存儲(chǔ)前端業(yè)務(wù)網(wǎng)絡(luò)接入。

三、收效和總結(jié)

NAS存儲(chǔ)系統(tǒng)自投產(chǎn)以來運(yùn)行平穩(wěn)高效，其中的高端雙活NAS存儲(chǔ)平臺已經(jīng)承載了和新核心銀行系統(tǒng)交互的50多個(gè)業(yè)務(wù)系統(tǒng)場景。截至目前，已經(jīng)完成了六個(gè)批次系統(tǒng)的GPFS遷移，項(xiàng)目收效良好。

通過項(xiàng)目實(shí)施，實(shí)現(xiàn)了我行NAS文件存儲(chǔ)資源池的分級建設(shè)。隨著NAS應(yīng)用的推廣和落地，逐漸降低了塊存儲(chǔ)使用成本，提高了存儲(chǔ)的使用靈活度，實(shí)現(xiàn)不同類型業(yè)務(wù)數(shù)據(jù)的合理存儲(chǔ)。特別是借助高端NAS存儲(chǔ)設(shè)備構(gòu)建同城雙活架構(gòu)，實(shí)現(xiàn)了重要業(yè)務(wù)系統(tǒng)對于文件存儲(chǔ)的高可用需求。較之于先前的GPFS方案，在RPO同為0的情況下，RTO指標(biāo)得到極大提升。最后，利用NAS存儲(chǔ)構(gòu)建業(yè)務(wù)系統(tǒng)間文件交互平臺，顯著提升了業(yè)務(wù)處理效率。