一、中信ODS平臺介紹

中信銀行總行ODS平臺主要是對中信銀行的核心業(yè)務(wù)系統(tǒng)和一部分特色數(shù)據(jù)的海量數(shù)據(jù)進行存儲、處理和挖掘應(yīng)用。首先在數(shù)據(jù)庫服務(wù)器上對業(yè)務(wù)數(shù)據(jù)進行標(biāo)準(zhǔn)化處理，并存放在數(shù)據(jù)庫服務(wù)器群集上，進行ETL 數(shù)據(jù)加工處理，并作為批量數(shù)據(jù)分發(fā)，對目標(biāo)系統(tǒng)（如零售銀行數(shù)據(jù)集市）提供數(shù)數(shù)據(jù)。

中信銀行各分行為提高數(shù)據(jù)處理效率，直接將總行ODS 加工好的基礎(chǔ)數(shù)據(jù)和部分總行統(tǒng)一加工的匯總數(shù)據(jù)返還給分行，分行利用文件服務(wù)器接收到總行數(shù)據(jù)后，轉(zhuǎn)載到分行ODS 數(shù)據(jù)庫。經(jīng)過ETL 加工后的分行數(shù)據(jù)或數(shù)據(jù)集市將為分行信息消費者提供如報表、MIS 管理等應(yīng)用服務(wù)，為給分行提供更好的信息服務(wù)。

二、中信ODS系統(tǒng)數(shù)據(jù)遷移介紹

中信ODS平臺建設(shè)時間較早，數(shù)據(jù)庫和GPFS文件系統(tǒng)存儲設(shè)備使用了2臺IBM的DS8300和4臺V7000，16年都面臨維***期需要下線，需要將90T左右數(shù)據(jù)遷移到新采購的華為OceanStor 6800 V3存儲。

ODS平臺數(shù)據(jù)遷移特點：

1、環(huán)境復(fù)雜：

(1) 主機類型及操作系統(tǒng)版本較多、較老、例如GPFS系統(tǒng)主機19臺分別為AIX（版本5.3,6.1）、LINUX（版本4.7,5.5）。

(2) 主機多路徑版本涉及multipath、MPIO、SDDPCM等多個版本。

(3) 遷移環(huán)境FC交換機的帶寬較低4Gb帶寬。

2、遷移挑戰(zhàn)：

(1) 遷移時間窗口短，涉及主機多：在GPSF文件系統(tǒng)遷移涉及11臺LINUX系統(tǒng)、8臺AIX系統(tǒng)，需要同時重啟驗證更新多路徑接管新存儲。

(2) 遷移數(shù)據(jù)量大：ODS數(shù)據(jù)庫系統(tǒng)遷移數(shù)據(jù)量40T需要在周六、周日兩天遷移完成，同時預(yù)留晚上23點到凌晨2點跑批時間，還要預(yù)留回退時間，總共遷移實施不到30小時時間窗口。GPFS文件系統(tǒng)數(shù)據(jù)量37T也只有在周六、周日2天遷移窗口。

3、遷移的實施過程

按標(biāo)準(zhǔn)化流程實施：

1.現(xiàn)網(wǎng)環(huán)境評估調(diào)研

進行現(xiàn)網(wǎng)環(huán)境的信息采集和梳理，中信數(shù)據(jù)遷移項目主要包括近40臺的主機信息采集，4臺FC交換機信息收集。同時要梳理交換機的端口規(guī)劃信息和組網(wǎng)拓撲。

2.方案的規(guī)劃設(shè)計

結(jié)合ODS業(yè)務(wù)特點，分批分期進行數(shù)據(jù)的遷移工作，針對不同系統(tǒng)輸出針對性的遷移方案，例如：AIX主機+DB2數(shù)據(jù)庫、AIX+LINUX的GPFS文件系統(tǒng)；方案中不僅要包含詳細實施步驟，還要包含完善的回退步驟，遷移過程中回退，遷移完成運行一段時間后的回退步驟等。方案在華為內(nèi)部提交ITMO進行專家組評審，并同客戶多次組織相關(guān)廠商和行內(nèi)專家評審。

3.實驗和模擬

ODS 數(shù)據(jù)庫的遷移采用了LVM傳統(tǒng)的文件系統(tǒng)遷移，方案成熟，主要考慮的是遷移數(shù)據(jù)量和時間窗口；GPFS系統(tǒng)遷移案例較少，給出基于存儲和主機側(cè)的2種方案，進行數(shù)據(jù)量和遷移時間評估可行性，并在實驗室搭建測試環(huán)境，實驗環(huán)境主要完成方案驗證，遷移實施過程中問題的復(fù)現(xiàn)，直到遷移完成實驗環(huán)境才能夠拆除。

4.現(xiàn)場交付

組織一線、地區(qū)部多名專家現(xiàn)場實施，研發(fā)專家后端保障，由于GPFS文件系統(tǒng)的遷移涉及到19臺不同操作系統(tǒng)及版本的多路徑安裝及替換，需要同步進行，操作同時還需要進行復(fù)核；現(xiàn)場申請了華為4人和客戶3人同時操作。

5.全稱監(jiān)控

通過微信群工具，將遷移進展和遷移中問題及時同步到二線及三線專家，遷移過程中進行指導(dǎo)和遇到問題及時解決，保證遷移動作的準(zhǔn)確性。

6.值守和驗收

遷移完成后需要在新環(huán)境穩(wěn)定運行1個月左右在拆離原有存儲，這期間需要收集性能數(shù)據(jù)，觀察業(yè)務(wù)運行是否平穩(wěn)，如出現(xiàn)新設(shè)備性能不滿足，需要時可進行回退操作。確認整個遷移過程完成業(yè)務(wù)運行正常后進行驗收和文檔傳遞。

三、中信數(shù)據(jù)遷移帶來的價值

1、通過完善的數(shù)據(jù)遷移流程和專家保障，使客戶對老舊系統(tǒng)的數(shù)據(jù)遷移方案經(jīng)過驗證更加放心，現(xiàn)場實施過程中遇到問題能夠快速調(diào)動不同專業(yè)的專家支持，使客戶對華為數(shù)據(jù)遷移能力更加認可，更加安心。

2、華為存儲的異構(gòu)虛擬化遷移技術(shù)得到客戶認可，客戶認為采用存儲異構(gòu)虛擬化遷移，大大減少了操作系統(tǒng)側(cè)的操作，老舊系統(tǒng)的遷移對客戶自己來說也是難度很大的工作；并且遷移對業(yè)務(wù)影響時間短，同時回退方便，降低了整個數(shù)據(jù)遷移的復(fù)雜性。

全文結(jié)束--