一、可行性評估

1.1 背景

2016年初國家出臺《中國金融業(yè)信息化“十三五”發(fā)展規(guī)劃(征求建議稿)》[1] 強調(diào)“科學(xué)利用云服務(wù)，提升金融服務(wù)能力和效率”。同年7月《中國銀行業(yè)信息科技“十三五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見(征求意見稿)》[2 ]明確提出：積極開展云計算架構(gòu)規(guī)劃，主動和穩(wěn)步實施架構(gòu)遷移。在中國信通院2018年金融行業(yè)云計算技術(shù)調(diào)查報告中顯示參與調(diào)查的機構(gòu)中近九成金融機構(gòu)已經(jīng)或正計劃應(yīng)用云計算技術(shù)。這其中，近1/3 已經(jīng)部署了小規(guī)模以上(>500)的虛擬服務(wù)器;vmware 和openstack 占比為2.67:1;openstack用于生產(chǎn)環(huán)境占總環(huán)境不足20%[3]。在金融行業(yè)生產(chǎn)環(huán)境中vmware架構(gòu)為主流架構(gòu)。

另一方面，金融業(yè)競爭日益加劇，業(yè)務(wù)對IT技術(shù)呈現(xiàn)極強的依賴性，對IT系統(tǒng)的可用性、連續(xù)性、安全性提出更高要求。以合理的成本構(gòu)建vmware環(huán)境下完備的高可用體系才能適應(yīng)新形勢要求。雖然vmware提供FT、HA等特性在一定程度上保障了業(yè)務(wù)連續(xù)性，但是仍無法應(yīng)對數(shù)據(jù)意外的的丟失如人為誤刪、意外覆蓋或存儲介質(zhì)損壞等，因此從備份副本中恢復(fù)數(shù)據(jù)尤為重要。

對于vmware虛擬化環(huán)境下的備份系統(tǒng)建設(shè)，金融企業(yè)主要面對以下挑戰(zhàn)：

1. 有限的備份窗口及帶寬：按照小型虛擬機(硬盤配置50GB)，以目前虛擬數(shù)據(jù)中心主流規(guī)模1000 臺進行計算每天需要備份數(shù)據(jù)為50TB。在數(shù)據(jù)中心常用的千兆網(wǎng)環(huán)境下，無法預(yù)留出足夠的備份窗口。即使在萬兆帶寬條件下，每天全量備份時間最少需要14小時，也很難滿足業(yè)務(wù)需求。

2. 備份介質(zhì)存儲開銷：以每天備份一次，每個副本保留7天計算，總計保存7個副本，需要存儲容量為350TB(50TB*7)，存儲備份數(shù)據(jù)帶來巨大開銷。

3. 額外運維成本：為加快運營響應(yīng)速度，需要頻繁地對業(yè)務(wù)系統(tǒng)虛擬機進行新增、刪除、遷移、重命名等變更操作。備份策略需要及時配合變更，增加額外運維開銷。

4. 有限恢復(fù)窗口：金融行業(yè)對于業(yè)務(wù)連續(xù)性要求近乎苛刻。在部分數(shù)據(jù)丟失情況，卻需恢復(fù)整體數(shù)據(jù)，漫長的恢復(fù)時間對于金融行業(yè)無法接受。

在有限帶寬和存儲空間下快速對大規(guī)模Vmware虛擬機集群進行備份，成為金融業(yè)迫切需求之一。

1.2 項目價值

數(shù)據(jù)是金融業(yè)務(wù)系統(tǒng)的核心，當前環(huán)境下大量生產(chǎn)業(yè)務(wù)系統(tǒng)運行在Vmware虛擬機中。Vmware虛擬化后端存儲分為集中式存儲、分布式存儲、本地存儲。存儲資源池化提高了資源利用率的同時也集中了故障風險。任一存儲的故障都會帶來數(shù)10臺甚至數(shù)百臺虛擬機的數(shù)據(jù)丟失為金融企業(yè)帶來不可估量的損失。對Vmware虛擬機整機備份可以在人為操作失誤，軟件缺陷，硬件異常，自然災(zāi)害等諸多意外情況下保證數(shù)據(jù)完整性，有效性。

1.3 項目預(yù)期

在現(xiàn)有千兆網(wǎng)絡(luò)帶寬條件下，按照8小時備份窗口對于所有生產(chǎn)虛擬機自動進行整機備份。備份頻率為每日進行一次備份。備份數(shù)據(jù)按照業(yè)務(wù)系統(tǒng)等級保留多個副本。確保在系統(tǒng)故障情況下快速恢復(fù)業(yè)務(wù)，在數(shù)據(jù)丟失情況下能按照整機或者文件顆?？焖倩謴?fù)數(shù)據(jù)。需提供解決方案以在Vmware環(huán)境變化時，自動更改備份策略適應(yīng)新環(huán)境。不改變現(xiàn)有網(wǎng)絡(luò)架構(gòu)前提下避免大規(guī)模企業(yè)網(wǎng)絡(luò)架構(gòu)調(diào)整帶來額外開銷。采用重刪算法，以數(shù)十倍的重刪比降低存儲備份介質(zhì)消耗，節(jié)省存儲資源。

1.4 重大風險揭示與管理：

在解決方案實施過程中，企業(yè)虛擬化環(huán)境可能會存在多個版本及配置。對備份任務(wù)執(zhí)行效果帶來負面影響。提前調(diào)研企業(yè)虛擬化環(huán)境，收集確認各組件版本信息以及每套虛擬機配置信息。在備份方案實施之前對各組件進行升級解決已知BUG或變更配置優(yōu)化效率。由于***備份為全量備份需要耗費較多時間，按照現(xiàn)有網(wǎng)絡(luò)帶寬對初始備份任務(wù)進行分批規(guī)劃，提前安排***備份時間。

1.5 預(yù)算評估：

預(yù)算構(gòu)成分為軟件許可費用和硬件費用兩部分。

軟件許可費用至少包含以下：

1. 重刪容量許可

2. 虛擬機備份許可。

硬件費用包含以下：

按照業(yè)務(wù)類型、網(wǎng)絡(luò)類型以及監(jiān)管要求將虛擬機分成不同的備份任務(wù)集?？紤]到日后一定時間內(nèi)增長情況按照1:50重刪比進行估算購置等量空間備份介質(zhì)存儲設(shè)備。

為了控制成本，可以考慮將備份系統(tǒng)運行在虛擬化環(huán)境中。每套服務(wù)器配置多張網(wǎng)卡，將備份介質(zhì)服務(wù)器綁定到單獨物理網(wǎng)卡獨占帶寬。

1.6 關(guān)鍵技術(shù)路線選型

目前市面上提供了多款虛擬化備份軟件，例如Veeam、Networker、nbu以及vmware公司的vdp(在之后的vmware產(chǎn)品中將不再可用[4])。后端存儲可以選擇集中式塊存儲、datadomain、msdp。各主流廠商基本上都采用調(diào)用Vsphere-Api技術(shù)進行備份實現(xiàn)。解決方案分為軟硬件一體化解決方案例如Veeam、avamar、NBU一體機或備份軟件+重刪磁盤陣列方案例如Nbu+msdp/datadomain、Networker+datadomain等。

在進行選型之前，首先應(yīng)考慮公司Vmware虛擬化環(huán)境當前運行架構(gòu)，例如是否包含萬兆網(wǎng)、是否包含SAN網(wǎng)絡(luò)等選擇合理解決方案。在選型過程中，除了考慮備份效率還需著重對備份任務(wù)管理進行考量。例如備份策略的建立、維護、備份報表的生成、與公司已有備份架構(gòu)的融合。參考其他特性以及成本完成最終的產(chǎn)品選型。

2 方案設(shè)計

2.1 項目目標

項目目標包含以下四個方面

1. 在規(guī)定備份時間窗口內(nèi)完成備份任務(wù)。

2. 建立智能備份策略。

3. 自動生成報表。

4. 實現(xiàn)即時恢復(fù)。

2.2 項目的整體架構(gòu)以及組成部分說明

以下為使用NBU解決方案的典型的Vmware虛擬化邏輯架構(gòu)。架構(gòu)圖中每套宿主機配置三個網(wǎng)絡(luò)，分別為千兆數(shù)據(jù)網(wǎng)、千兆管理網(wǎng)、SAN網(wǎng)絡(luò)。由此將管理流量、業(yè)務(wù)流量、存儲流量相分離，避免互相影響。由于管理網(wǎng)主要用于監(jiān)控數(shù)據(jù)、故障切換、Vmotion，常規(guī)情況下流量不大。備份流量雖然在任務(wù)發(fā)起期間會占用大量管理帶寬，但是考慮到備份任務(wù)一般在業(yè)務(wù)低峰期發(fā)起，因此對管理網(wǎng)影響有限。另一方面，管理流量和業(yè)務(wù)流量、存儲流量相分離的設(shè)計方案保證了業(yè)務(wù)帶寬和存儲帶寬使得業(yè)務(wù)可用性不受影響。架構(gòu)中包含若干套NBU-MSDP服務(wù)器完成備份數(shù)據(jù)重刪，增加并發(fā)備份流，提高備份速度。

按照合規(guī)性與安全性要求，金融機構(gòu)多區(qū)域隔離，備份集需存放在不同分區(qū)中。在實踐中對備份數(shù)據(jù)重刪比可達：99.1%左右。按照1000臺虛擬機平均每套200GB計算，每天備份一次，每次保留7天，共需要1400TB，所需存儲空間為12.6TB。當前市場上主流2U-X86服務(wù)器可以容納24塊2.5寸硬盤，裸容量可達48TB，因此建議采用虛擬機形式構(gòu)建不同重刪池，以符合監(jiān)管強隔離規(guī)定，兼顧管理、擴展性。此外，由于備份時會占用大量帶寬，建議盡可能將備份介質(zhì)服務(wù)器和所需備份集群規(guī)劃在同一交換機中，節(jié)省交換機上聯(lián)帶寬。

 

2.3 關(guān)鍵技術(shù)

Vmware-CBT：

ESX/ESXi 主機上運行的虛擬機可以跟蹤更改了的磁盤扇區(qū)。 此功能被稱為塊修改跟蹤，記錄變更塊(CBT)[5]。CBT是備份系統(tǒng)高效備份的關(guān)鍵，能顯著提高備份速度，降低備份數(shù)據(jù)存儲空間。在許多文件系統(tǒng)上，CBT在兩個變更集 ID 之間識別修改了的磁盤扇區(qū)。在VMFS分區(qū)上，CBT還可以識別所有正在使用的磁盤扇區(qū)?？蓮奶摂M機外部到虛擬化層中對虛擬磁盤的塊修改進行跟蹤。當軟件執(zhí)行備份時，它可以請求僅傳輸自上次備份以來更改的數(shù)據(jù)塊或正在使用的數(shù)據(jù)塊。第三方應(yīng)用程序可以訪問此功能。通過調(diào)用 VADP，應(yīng)用程序可請求VMkernel 返回自上次備份快照以來虛擬磁盤上已更改的數(shù)據(jù)塊。

要使 CBT 識別自上次更改ID以來已更改的磁盤扇區(qū)，需要滿足以下條件：

1. 主機必須是 ESX/ESXi 4.0 或更高版本。

2. 包含要進行磁盤跟蹤的虛擬機的硬件版本必須是7或更高版本。

3. I/O 操作必須通過 ESX/ESXi 存儲堆棧。因此，NFS 和虛擬兼容模式下的RDM 受支持，但物理兼容模式下的 RDM 不受支持。而對于VMFS、SAN、iSCSI 或本地磁盤都提供支持。

4. 必須為虛擬機啟用 CBT。當備份日志中出現(xiàn)：更改塊跟蹤配置不正確 (Incorrect changed block tracking configuration)、磁盤“硬盤編號”的更改塊跟蹤配置不正確 (Disk "Hard disk #" has incorrect changed block tracking configuration)、一個或多個虛擬機磁盤的更改塊跟蹤配置不正確(One or more VM disks have incorrect changed block tracking configuration)時，此類虛擬機的CBT功能可能未開啟。需按照[6]中所示開啟。

5. 虛擬機存儲不能是獨立磁盤(持久性和非持久性的)

而在一些情況下，例如虛擬機啟動時發(fā)生電源故障或硬關(guān)閉等情況，CBT 可能會重置和丟失增量變更的跟蹤記錄。在vSphere 4.1和之前的版本中，冷遷移(而不是Storage vMotion)會重置CBT，但不能禁用 CBT。在vSphere 5.5 Update 2 之前的 vSphere 5.x 版本中，Storage vMotion會重置CBT。如果出現(xiàn)此類情況，需要預(yù)先預(yù)留出足夠時間窗口進行全備。

在實踐中，發(fā)現(xiàn)有些ESXI版本會導(dǎo)致CBT功能失效。例如[7]，CBT堆耗盡導(dǎo)致備份效率下降。此時在/var/log/vmkernel.log中顯示T .nnnn cpu5:nnnnnn)WARNING: CBT: 191: No memory available! Called from 0xnnnnnnnnnnnn 。因此需要升級ESXI到相應(yīng)的版本。

重刪池：

Vmware備份方案中一定要使用重刪功能，可以通過Veeam、Vdp、NBU-MSDP軟件實現(xiàn)或使用后端重刪池例如NBU一體機、Avamar、Datadomain來實現(xiàn)。

使用重刪設(shè)備能夠：

• 減少存儲的數(shù)據(jù)量。
• 減小備份帶寬。
• 減少備份時段。
• 減少基礎(chǔ)架構(gòu)。

以下為MSDP部署***做法，詳細請參考[8]

1.逐漸增加作業(yè)數(shù)。

2.使用客戶端重復(fù)數(shù)據(jù)刪除來擴展重復(fù)數(shù)據(jù)刪除處理以提高性能。

3.擴展備份介質(zhì)服務(wù)器提高并發(fā)流，提高備份效率。

構(gòu)建智能策略：

由于虛擬化平臺中的虛擬機經(jīng)常變更，因此配置智能策略自動發(fā)現(xiàn)，添加備份任務(wù)對于降低金融企業(yè)運維人員壓力尤為重要。在金融企業(yè)中不同集群往往代表不同的業(yè)務(wù)區(qū)域。以下以NBU為例：說明一個自動發(fā)現(xiàn)策略：

在虛擬機備份策略中增加自動字段：

Cluster anyof “1-管理區(qū)” AND NOT [backneed] equal “0”

“1-管理區(qū)”代表集群名稱，[backneed]代表VM中自定義字段，過濾不需要備份的虛擬機如：大量讀寫IO特性的vm(快照靜默會使虛擬機夯住)。

 

通過這些條件的組合就能自動過濾，隔離備份虛擬機。

其他前置條件：

各備份軟件對備份環(huán)境有各別特殊要求，例如NBU備份vmware前提條件(詳細請參考[9])

1.在計劃備份的虛擬機上安裝 VMware Tools。

2.在低版本NBU中Vm不能采用中文名命名

3.在Linux 虛擬機上，NetBackup 需要一個特殊的實用程序 (SYMCquiesce) 來靜默文件系統(tǒng)，為創(chuàng)建快照做準備。如果沒有SYMCquiesce，在創(chuàng)建快照時，NetBackup 無法保證該文件系統(tǒng)中的數(shù)據(jù)處于一致狀態(tài)。

2.4 設(shè)備清單(可選)

除去vmware產(chǎn)品，備份項目中需采購的產(chǎn)品主要分為備份軟件和后端重刪存儲兩部分。具體設(shè)備根據(jù)選型方案所定。

2.5 關(guān)鍵設(shè)備選型(可擴展問題)

選型時候考慮以下幾點

1. 備份效率

Vmware規(guī)模隨著數(shù)據(jù)中心規(guī)模會迅猛增長，備份系統(tǒng)的并行能力尤為重要。因此要求備份軟件支持多節(jié)點部署。

2. 管理效率

Vmware集群在上線后，變更頻繁。高效的管理功能能大幅減輕運維人員壓力。例如：本文之前提到的自動發(fā)現(xiàn)、報表等功能。

3. 恢復(fù)效率

大多數(shù)數(shù)據(jù)恢復(fù)并不需要完全恢復(fù)vm，直接通過NAS方式掛載出備份鏡像，臨時恢復(fù)出其中需要的文件能達到文件級別細粒度恢復(fù)，大幅度提升運維效率。

4. 其他新特性

備份產(chǎn)品處于在不斷更新中總是能夠提供更好的特性，綜合考慮各家產(chǎn)品新特性，選出最適合自己的產(chǎn)品。

參考文檔：

[1] 《中國金融業(yè)信息化“十三五”發(fā)展 規(guī) 劃(征求建議稿)》

[2] 《中國銀行業(yè)信息科技“十三五”發(fā)展規(guī)劃監(jiān)管指導(dǎo)意見(征求意見稿)》

[3] 《金融行業(yè)云計算技術(shù)調(diào)查報告 》中國信息通信研究院2018年3月

[4] https://kb.vmware.com/s/article/2149614

[5] https://kb.vmware.com/s/article/2076678

[6] https://kb.vmware.com/s/article/2078214

[7] https://kb.vmware.com/s/article/2116126

[8] Symantec NetBackup™ Deduplication 指南

[9] Symantec NetBackup™ for VMware 管理指南

本文作者：沈志鑫，主要從事私有云、備份系統(tǒng)建設(shè)與運維支持工作。熟悉x86服務(wù)器、各類存儲架構(gòu)、VMWARE、NBU、BMC等平臺的運維及管理。