1 需求分析

XX銀行目前虛擬化平臺(tái)為3年前建設(shè)投產(chǎn)的，版本為vSphere 5.5，一直沒(méi)有更新。隨著XX銀行業(yè)務(wù)的高速發(fā)展，原有平臺(tái)已經(jīng)滿足不了目前的應(yīng)用需求，而且有些版本老舊，給運(yùn)維帶來(lái)很多不便?；谏鲜鲈?，現(xiàn)決定構(gòu)建全新的虛擬化平臺(tái)，采用新的vSphere 6.0版本，并考慮到未來(lái)的業(yè)務(wù)擴(kuò)展。

現(xiàn)階段規(guī)劃5個(gè)分區(qū)，分別為生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)、運(yùn)維基礎(chǔ)區(qū)。每個(gè)業(yè)務(wù)區(qū)承載著不同數(shù)量的虛擬機(jī)，并且隨著業(yè)務(wù)發(fā)展不斷增加。隨著新業(yè)務(wù)不斷增長(zhǎng)要求，未來(lái)將逐步把小型機(jī)服務(wù)器上應(yīng)用系統(tǒng)遷移到虛擬化平臺(tái)，最終實(shí)現(xiàn)數(shù)據(jù)中心x86服務(wù)器的全部虛擬化。

本方案將根據(jù)用戶現(xiàn)有虛擬化平臺(tái)的現(xiàn)狀和物理服務(wù)器進(jìn)行評(píng)估，給出新數(shù)據(jù)中心虛擬化平臺(tái)的詳細(xì)設(shè)計(jì)，作為以后項(xiàng)目實(shí)施測(cè)試和驗(yàn)收的依據(jù)。

2 總體架構(gòu)

XX銀行虛擬化平臺(tái)總體架構(gòu)由86臺(tái)主機(jī)組成，分別為生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)、運(yùn)維基礎(chǔ)區(qū)構(gòu)成，面向正式生產(chǎn)業(yè)務(wù)，由一個(gè)放在運(yùn)維/基礎(chǔ)區(qū)的vCenter統(tǒng)一管理。

每個(gè)業(yè)務(wù)區(qū)域之間是網(wǎng)絡(luò)隔離的，但vCenter管理網(wǎng)絡(luò)是相通的。

2.1 ESXi主機(jī)配置

2.1.1 硬件配置規(guī)格

2.1.2 BIOS設(shè)置

2.1.3 ESXi主機(jī)軟件版本

Name: VMware ESXi 6.0 Update 1

2.1.4 配置NTP時(shí)間源

ESXi使用是UTC(Universal Time/Temps Cordonn 世界標(biāo)準(zhǔn)時(shí)間)時(shí)區(qū)，而且ESXi已經(jīng)不支持修改時(shí)區(qū)。如果沒(méi)有NTP服務(wù)器，可以手動(dòng)調(diào)整ESXi主機(jī)時(shí)間。

安裝ESXi主機(jī)后，立刻調(diào)整時(shí)間(未調(diào)整時(shí)間之前不能建立和遷移新虛擬機(jī))。強(qiáng)烈建議統(tǒng)一配置NTP時(shí)間源，所有主機(jī)須與時(shí)間源同步。

2.1.5 ESXi主機(jī)命名規(guī)范

bkxx-esxi55-e<編號(hào)>

FQDN示例：bkxx-esxi55-e01.bkxx.cn，全小寫。ESXi主機(jī)與vCenter服務(wù)器名稱解析，加入XX銀行為此項(xiàng)目搭建的DNS服務(wù)器(DNS服務(wù)安裝于vCenter服務(wù)器)。

3 群集和資源池設(shè)計(jì)

3.1 VMware HA群集設(shè)計(jì)原理

至少2臺(tái)以上ESXi主機(jī)組建為一個(gè)HA群集。虛擬機(jī)文件放置在由光纖存儲(chǔ)組成的共享存儲(chǔ)上。 ESXi主機(jī)產(chǎn)生故障時(shí)，虛擬機(jī)自動(dòng)在群集內(nèi)其他可用的ESXi主機(jī)上重新啟動(dòng)。VMware HA為虛擬機(jī)中的運(yùn)行提供快速計(jì)劃外中斷恢復(fù)和具有成本效益的高可用性。

VMware HA不需要在應(yīng)用程序或虛擬機(jī)內(nèi)安裝任何特殊軟件。HA群集中的所有虛擬機(jī)均受 VMware HA 保護(hù)。VMware HA要求虛擬機(jī)必須駐留在共享存儲(chǔ)上。

VMware HA代理會(huì)在ESXi主機(jī)間相互通信，并監(jiān)控群集內(nèi)各臺(tái)ESXi主機(jī)的活躍度。默認(rèn)情況下，此通信通過(guò)每秒交換一次檢測(cè)信號(hào)來(lái)完成。如果15 秒過(guò)去后仍未收到檢測(cè)信號(hào)，而且 ping 不到該ESXi主機(jī)，則系統(tǒng)會(huì)聲明該ESXi主機(jī)發(fā)生故障。

網(wǎng)絡(luò)檢測(cè)信號(hào)是確定主機(jī)狀態(tài)的關(guān)鍵，數(shù)據(jù)存儲(chǔ)檢測(cè)信號(hào)使主機(jī)更加正確地判斷管理網(wǎng)絡(luò)不可達(dá)的狀態(tài)。默認(rèn)情況下，HA會(huì)選擇2個(gè)數(shù)據(jù)存儲(chǔ)心跳，這個(gè)選出的的數(shù)據(jù)存儲(chǔ)在集群內(nèi)所有的主機(jī)上有效。

如果連接服務(wù)器的物理網(wǎng)絡(luò)交換機(jī)支持 PortFast(或等效)設(shè)置，請(qǐng)將其啟用。此設(shè)置可防止ESX主機(jī)在執(zhí)行冗長(zhǎng)的跨樹算法期間誤認(rèn)為網(wǎng)絡(luò)已被隔離。

在虛擬化平臺(tái)進(jìn)入運(yùn)行維護(hù)期后，如果需要執(zhí)行可能會(huì)觸發(fā)主機(jī)隔離響應(yīng)的網(wǎng)絡(luò)維護(hù)，建議首先禁用HA群集中的“主機(jī)監(jiān)控”功能，以掛起 VMware HA。完成維護(hù)后，請(qǐng)重新啟用“主機(jī)監(jiān)控”。

虛擬機(jī)重新啟動(dòng)優(yōu)先級(jí)用于設(shè)定在ESX主機(jī)發(fā)生故障后虛擬機(jī)的重新啟動(dòng)相對(duì)順序。這些虛擬機(jī)在新主機(jī)上按順序重新啟動(dòng)，首先啟動(dòng)優(yōu)先級(jí)相對(duì)較高的虛擬機(jī)，然后是那些低優(yōu)先級(jí)的虛擬機(jī)。建議為提供最重要服務(wù)的虛擬機(jī)分配較高的重新啟動(dòng)優(yōu)先級(jí)。

3.2 集群和資源池的劃分

群集為運(yùn)行的虛擬機(jī)提供一個(gè)高可用性和冗余環(huán)境。虛擬機(jī)可以在以資源池為單位的范圍內(nèi)負(fù)載均衡，靈活調(diào)配。

根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)和業(yè)務(wù)架構(gòu)，每個(gè)業(yè)務(wù)區(qū)為一個(gè)獨(dú)立集群，每個(gè)集群即為一個(gè)獨(dú)立的資源池。生產(chǎn)區(qū)域共分為5個(gè)集群?jiǎn)卧汗芾韰^(qū)集群、業(yè)務(wù)區(qū)集群、網(wǎng)銀Web區(qū)集群、網(wǎng)銀App區(qū)集群和運(yùn)維基礎(chǔ)區(qū)集群，所有集群由運(yùn)維基礎(chǔ)區(qū)的vCenter統(tǒng)一管理調(diào)度。

3.3 群集接入控制策略設(shè)置

一類 指定故障切換主機(jī)

使用“指定故障切換主機(jī)”，在群集中空置一臺(tái)ESXi主機(jī)備用，指定它做為故障切換ESXI主機(jī)。則在ESXI主機(jī)發(fā)生故障時(shí)，VMware HA 將嘗試在備用ESXI主機(jī)上重新啟動(dòng)其虛擬機(jī)。備用ESXI主機(jī)CPU和內(nèi)存配置不得低于群集內(nèi)的其他ESXI主機(jī)。

第二類 群集允許的主機(jī)故障數(shù)目

使用“群集允許的主機(jī)故障數(shù)目” ，VMware HA 允許指定數(shù)目的ESXI主機(jī)發(fā)生故障，同時(shí)可以確保群集內(nèi)留有足夠的資源來(lái)對(duì)這些主機(jī)上的虛擬機(jī)進(jìn)行故障切換。此類HA規(guī)則適用于虛擬機(jī)CPU和內(nèi)存耗用(或保留值)較平均的場(chǎng)景。目前，XX銀行項(xiàng)目中采用此種群集設(shè)置規(guī)則，設(shè)置群集允許的主機(jī)故障數(shù)目為1。

計(jì)算插槽大小

插槽大小由兩個(gè)組件(CPU 和內(nèi)存)組成。CPU 的方法是選擇已啟動(dòng)虛擬機(jī)上的 CPU 預(yù)留最大值。無(wú)CPU 預(yù)留，則默認(rèn)值 256 MHz(使用 das.vmCpuMinMHz 更改)。內(nèi)存的方法是選擇已啟動(dòng)虛擬機(jī)的內(nèi)存預(yù)留，然后再選擇最大值(使用 das.slotMemInMB 更改)。

確定每臺(tái)主機(jī)可以支持的插槽數(shù)目上限

用主機(jī)的 CPU/內(nèi)存資源數(shù)除以插槽大小，得出插槽數(shù)目上限，計(jì)算群集允許的主機(jī)故障數(shù)目。

示例，下圖中主機(jī)故障數(shù)目為1

第三類 預(yù)留的群集資源的百分比

可以將vSphere HA 配置為通過(guò)預(yù)留特定百分比的群集CPU 和內(nèi)存資源來(lái)執(zhí)行接入控制，用于從主機(jī)故障中進(jìn)行恢復(fù)。

使用“預(yù)留的群集資源的百分比”接入控制策略，vSphere HA 可確保預(yù)留CPU 和內(nèi)存資源總量的指定百分比以用于故障切換。

XX銀行選擇第二種“群集允許的主機(jī)故障數(shù)目”接入控制策略，值為“1”，即“允許1臺(tái)主機(jī)出現(xiàn)故障”。

注：如果vCenter不可用，它不會(huì)影響到群集的現(xiàn)有配置。故障切換時(shí)沒(méi)有vCenter加入，HA只是依賴vCenter配置和監(jiān)視群集。

3.4 VMware DRS功能

VMware DRS監(jiān)控群集內(nèi)所有主機(jī)和虛擬機(jī)的 CPU 和內(nèi)存資源的分布情況和使用情況。在給出群集內(nèi)資源池和虛擬機(jī)的屬性、當(dāng)前需求以及不平衡目標(biāo)的情況下，DRS會(huì)將這些衡量指標(biāo)與理想狀態(tài)下的資源利用率進(jìn)行比較。然后，DRS會(huì)相應(yīng)地執(zhí)行虛擬機(jī)遷移(或提供遷移建議)。群集中初次啟動(dòng)虛擬機(jī)時(shí)，DRS 將嘗試通過(guò)在相應(yīng)主機(jī)上放置該虛擬機(jī)或提出建議來(lái)保持適當(dāng)?shù)呢?fù)載平衡。

DRS 的自動(dòng)化級(jí)別：

手動(dòng) ： 初始放置位置：顯示推薦的主機(jī)。

遷移：顯示遷移建議。

半自動(dòng)：初始放置位置：自動(dòng)。

遷移：顯示遷移建議。

全自動(dòng)：初始放置位置：自動(dòng)。

遷移：自動(dòng)執(zhí)行遷移建議。

在目前設(shè)置下，考慮到虛擬機(jī)與駐留主機(jī)的固定配置關(guān)系，暫不啟用DRS功能或者選擇“手動(dòng)”DRS方式。啟用DRS功能，只需在群集配置中勾選啟用DRS，以及配置相應(yīng)規(guī)則。在正確規(guī)劃和操作的情況下，DRS的配置不影響虛擬機(jī)的正常運(yùn)行。

4 管理中心vCenter設(shè)計(jì)

管理軟件vCenter是整個(gè)虛擬化平臺(tái)管理控制的核心，考慮其考慮重要性和可管理性，我們?cè)O(shè)計(jì)把域控制器，vCenter服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器分離，邏輯架構(gòu)圖如下：

以上各組件說(shuō)明：

vCenter服務(wù)器采用虛擬機(jī)部署方式，部署在該運(yùn)維區(qū)。建議配置如下：

vCenter與其數(shù)據(jù)庫(kù)分離，采用虛擬機(jī)形式安裝。這樣便于利用VMware的HA技術(shù)進(jìn)行保護(hù)，而且安裝后建議克隆vCenter服務(wù)器作為一個(gè)備份鏡像。數(shù)據(jù)庫(kù)每天使用Oracle備份工具備份vCenter數(shù)據(jù)，并在ESXi主機(jī)本地內(nèi)置磁盤上保留vCenter數(shù)據(jù)庫(kù)服務(wù)器的完整克隆。根據(jù)vCenter服務(wù)器所管理的ESXi主機(jī)與虛擬機(jī)的數(shù)量，估算vCenter數(shù)據(jù)庫(kù)的容量如下：

按約50臺(tái)ESXi主機(jī)和200臺(tái)虛擬機(jī)進(jìn)行預(yù)估，vCenter數(shù)據(jù)庫(kù)容量估算工具，請(qǐng)參考《VC Database Sizing Calculator》。

創(chuàng)建數(shù)據(jù)庫(kù)時(shí)，按照該容量的3倍進(jìn)行數(shù)據(jù)庫(kù)空間的預(yù)留，即50GB。

4.1 安裝vMA

VMware vSphere Management Assistant (vMA) 是VMware對(duì)外提供的工具。vMA 將 vSphere 命令行界面、vSphere SDK for Perl 以及日志記錄和身份驗(yàn)證模塊打包到一個(gè)方便的捆綁包中。vMA還可以托管第三方代理，以增強(qiáng)管理功能。

建議安裝vMA，并憑此工具對(duì)ESXi主機(jī)進(jìn)行集中管理。同時(shí)，vMA還配置成syslog日志服務(wù)器，用于管理ESXi主機(jī)的日志。由于ESXi主機(jī)發(fā)生紫屏死機(jī)，重啟后log就丟失，所以推薦配置syslog服務(wù)器，把日志轉(zhuǎn)儲(chǔ)。

從安全性考慮，不建議打開ESXi主機(jī)的SSH功能，如果需要命令行管理主機(jī)，可以使用vMA管理助手。

4.2 用戶、組、權(quán)限和角色

定義用戶、組、角色和權(quán)限能夠控制哪些用戶可以訪問(wèn) vSphere 受管對(duì)象以及這些用戶可以執(zhí)行哪些具體操作。vCenter Server 授權(quán)用戶是包括在 vCenter Server 引用的 Windows 域列表中的用戶，或者是 vCenter Server系統(tǒng)上的本地 Windows 用戶。

角色是一組預(yù)定義的特權(quán)。特權(quán)定義用戶執(zhí)行操作和讀取屬性所需的個(gè)人權(quán)限。當(dāng)給用戶或組分配權(quán)限時(shí)，將用戶或組與角色配對(duì)，并關(guān)聯(lián)與清單中某一受管對(duì)象，直接與vCenter服務(wù)器中的高層級(jí)的對(duì)象相關(guān)聯(lián)。

根據(jù)項(xiàng)目建設(shè)和未來(lái)運(yùn)營(yíng)管理的實(shí)際需要，在建設(shè)初期，按照運(yùn)維管理的模式與需求，創(chuàng)建相關(guān)用戶、組和vCenter角色，并創(chuàng)建若干具有管理員權(quán)限的用戶。進(jìn)入運(yùn)營(yíng)管理階段后，則刪除原具有管理員權(quán)限的用戶(保留Administrator),按照既定的用戶、組和vCenter角色設(shè)置，對(duì)vSphere進(jìn)行操作。

4.2.1 vCenter角色

4.2.2 vCenter服務(wù)器域用戶組

根據(jù)角色設(shè)置，在域控服務(wù)器創(chuàng)建域用戶組(如果使用新的用戶組來(lái)管理)，具體設(shè)置如下：

4.2.3 vCenter角色與用戶組關(guān)聯(lián)

在vCenter服務(wù)器最上層級(jí)()，做vCenter角色與用戶組的關(guān)聯(lián)。

4.3 vSphere監(jiān)控事件報(bào)警

借助事件監(jiān)控和報(bào)警系統(tǒng)，在vSphere、vCenter中將被配置以便監(jiān)控所有核心虛擬架構(gòu)的健康和性能內(nèi)容，包括ESXi主機(jī)、群集、HA、虛擬機(jī)操作如VMotion和vCenter自身的健康。

配置以下被監(jiān)視事件。條件和閥值配置細(xì)節(jié)如下：

當(dāng)以上告警觸發(fā)后，配置vCenter發(fā)送SNMP traps到網(wǎng)絡(luò)管理軟件;同時(shí)也將由郵件發(fā)送到相關(guān)負(fù)責(zé)人和所有vSphere企業(yè)管理組中。

vSphere企業(yè)管理組將定期負(fù)責(zé)審查和管理這些有vCentre、ESXi主機(jī)、虛擬機(jī)產(chǎn)生的健康和系統(tǒng)日志。這些日志將為企業(yè)的保留策略和程序做準(zhǔn)備和歸檔。

SNMP 接受端得配置如下表所示：

vCenter告警郵件轉(zhuǎn)發(fā)的SMTP配置如下表所示：

5 虛擬化網(wǎng)絡(luò)設(shè)計(jì)

XX銀行虛擬化網(wǎng)絡(luò)設(shè)計(jì)考慮了以下基本原則：

1)物理交換機(jī)和網(wǎng)卡均冗余配置;

2)充分利用分布式交換機(jī)的優(yōu)點(diǎn)，物理網(wǎng)卡上均設(shè)置為Active-Active模式，有效提高帶寬，負(fù)載均衡策略和故障切換策略;

3)物理交換機(jī)連接到ESXi主機(jī)的端口設(shè)置為Trunk訪問(wèn)模式，允許VLAN訪問(wèn)。

主機(jī)物理網(wǎng)卡布局示意圖如下：

每臺(tái)ESXi主機(jī)共配有2片(每片有4個(gè)網(wǎng)口)千兆網(wǎng)卡，ESXi主機(jī)自帶2個(gè)千兆網(wǎng)口，共有10個(gè)網(wǎng)口可用。在標(biāo)準(zhǔn)虛擬交換機(jī)中，為管理網(wǎng)絡(luò)、VMotion端口、iSCSI存儲(chǔ)和FT端口提供網(wǎng)絡(luò)服務(wù)。正式部署前，管理網(wǎng)絡(luò)和VMotion端口、iSCSI存儲(chǔ)和FT端口都需要分配好固定IP地址。兩片網(wǎng)卡交叉?zhèn)浞?，一旦前一片網(wǎng)卡或網(wǎng)絡(luò)鏈路出現(xiàn)故障，則自動(dòng)切換到第二片網(wǎng)卡上運(yùn)行。

虛擬機(jī)業(yè)務(wù)網(wǎng)絡(luò)采用分布式交換機(jī)方式，使用主機(jī)自帶兩個(gè)網(wǎng)絡(luò)端口。在虛擬端口組中，這兩片網(wǎng)卡都處于活動(dòng)狀態(tài)，虛擬機(jī)的業(yè)務(wù)流量按照實(shí)際物理流量規(guī)則進(jìn)行負(fù)載均衡，在這兩片網(wǎng)卡上進(jìn)行轉(zhuǎn)發(fā)。連接這兩塊網(wǎng)卡的物理交換機(jī)端口設(shè)置為TRUNK訪問(wèn)模式，允許虛擬機(jī)業(yè)務(wù)VLAN通過(guò)。

對(duì)于生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)的虛擬化網(wǎng)絡(luò)規(guī)劃如下圖：

管理區(qū)、生產(chǎn)區(qū)和網(wǎng)銀區(qū)ESXi主機(jī)網(wǎng)絡(luò)規(guī)劃表

注：運(yùn)維基礎(chǔ)區(qū)由于是一個(gè)集群承擔(dān)運(yùn)維和基礎(chǔ)業(yè)務(wù)兩種角色，并且運(yùn)維和基礎(chǔ)業(yè)務(wù)有各自的網(wǎng)段，其上承載的虛擬機(jī)不能互訪。所以需要把FT和iSCSI的備用網(wǎng)卡都拿出來(lái)到分布式交換機(jī)的vm network上，保證基礎(chǔ)業(yè)務(wù)和運(yùn)維每個(gè)網(wǎng)段都有兩張網(wǎng)卡可以接到各自的兩臺(tái)物理交換機(jī)上，保障物理設(shè)備和鏈路的冗余。

虛擬交換機(jī)配置:

分布式交換機(jī)的負(fù)載均衡選擇“基于物理網(wǎng)卡負(fù)載的路由”

應(yīng)客戶要求，如果以后網(wǎng)絡(luò)進(jìn)行萬(wàn)兆改造，服務(wù)器上只有兩個(gè)網(wǎng)口，那么為了做到網(wǎng)絡(luò)隔離，推薦下列設(shè)計(jì)：

兩個(gè)網(wǎng)卡一個(gè)負(fù)責(zé)虛擬機(jī)網(wǎng)絡(luò)，另一個(gè)負(fù)責(zé)管理網(wǎng)絡(luò)和vmkernel應(yīng)用，二者互為主備?？梢酝ㄟ^(guò)NIOC設(shè)置份額，讓各個(gè)vmkernel網(wǎng)絡(luò)按份額比例分配。

6 存儲(chǔ)規(guī)劃

6.1 設(shè)備連接冗余設(shè)計(jì)

存儲(chǔ)設(shè)備的高可用性非常重要，建議連接到共享存儲(chǔ)的每臺(tái)ESX主機(jī)配備兩塊HBA卡，并提供兩臺(tái)物理光纖交換機(jī)，避免單點(diǎn)故障。

ESXi主機(jī)安裝后可以管理多路徑，對(duì)于配備了兩個(gè)控制器的存儲(chǔ)，使用主動(dòng)-主動(dòng)控制器，路徑選擇策略可以是“固定”或“循環(huán)”策略。

6.2 共享存儲(chǔ)容量規(guī)劃

共享存儲(chǔ)總共規(guī)劃容量6T，由20個(gè)LUN構(gòu)成，每個(gè)大小300G。根據(jù)VMware實(shí)踐，推薦Datastore與Lun一一對(duì)應(yīng)，按照此規(guī)則各個(gè)集群數(shù)據(jù)存儲(chǔ)容量規(guī)劃方案如下：

6.3 存儲(chǔ)命名規(guī)范

本地存儲(chǔ)命名

• 三位：ESX主機(jī)名后三位;
• 一位：連接符“-”;
• 五位：固定字串“local”;
• 一位：連接符“-”;
• 二位：序號(hào)，從1開始。

例子：e01-local-01

共享存儲(chǔ)命名

• 群集后5位;
• 一位：連接符“-”;
• 五位：存儲(chǔ)類型標(biāo)識(shí) “fc” – Fiber Channel SAN storage “iscsi” – iSCSI storage “nas” - NAS storage “vplex” - vplex storage
• 一位：連接符“-”;
• 二位：序號(hào)，從1開始。

示例：cls01-fc-01

7 備份規(guī)劃

vSphere Data Protection (VDP) 是一個(gè)基于磁盤的備份和恢復(fù)解決方案,可靠且易于部署。 vSphere Data Protection 與 VMware vCenter Server 完全集成,可以對(duì)備份作業(yè)執(zhí)行有效的集中式管理,同時(shí)將備份存儲(chǔ)在經(jīng)過(guò)重復(fù)數(shù)據(jù)消除的目標(biāo)存儲(chǔ)中。

7.1 vSphere Data Protection 具有優(yōu)勢(shì)

1 針對(duì)所有虛擬機(jī)提供快速有效的數(shù)據(jù)保護(hù),甚至可保護(hù)那些已關(guān)閉或在物理主機(jī)之間移動(dòng)的虛擬機(jī)。

2 在所有備份上使用智能重復(fù)數(shù)據(jù)消除,從而可極大地減少備份數(shù)據(jù)所消耗的磁盤空間。

3 通過(guò)使用更改數(shù)據(jù)塊跟蹤和 VMware 虛擬機(jī)快照,降低了備份虛擬機(jī)的成本,盡可能地縮短了備份窗口。

4 可實(shí)現(xiàn)輕松備份,無(wú)需在每個(gè)虛擬機(jī)上安裝第三方代理。

5 可以作為集成組件簡(jiǎn)單直接地安裝到 vSphere 中,可通過(guò) Web 門戶進(jìn)行管理。

6 對(duì) vSphere Data Protection 配置的直接訪問(wèn)已集成到標(biāo)準(zhǔn)的 vSphere Web Client 中。

7 使用檢查點(diǎn)和回滾機(jī)制保護(hù)備份。

8 從基于 Web 的界面中,通過(guò)最終用戶啟動(dòng)的文件級(jí)恢復(fù) (諸多限制)提供 Windows 和 Linux 文件的簡(jiǎn)化恢復(fù)。

7.2 vSphere Data Protection 體系結(jié)構(gòu)

vSphere Data Protection (VDP) 使用 vSphere Web Client 和 vSphere Data Protection 應(yīng)用裝置將備份存儲(chǔ)到經(jīng)過(guò)重復(fù)數(shù)據(jù)消除的存儲(chǔ)中。

vSphere Data Protection 由一組在不同計(jì)算機(jī)上運(yùn)行的組件構(gòu)成 (如下圖所示)。

1 vSphere

2 vSphere Data Protection Appliance

3 vSphere Web Client

vSphere Data Protection 應(yīng)用裝置有三種選項(xiàng)可用:

建議XX銀行虛擬化數(shù)據(jù)中心采用2TB VDP類型。由于每個(gè)集群互不相通，所以每個(gè)集群各部署一個(gè)VDP Appliance。備份介質(zhì)可以使用NAS，在網(wǎng)絡(luò)設(shè)計(jì)部分已經(jīng)建立iSCSi端口，可以通過(guò)網(wǎng)絡(luò)進(jìn)行備份。虛擬機(jī)備份保留策略為每天一備，保留7天。

注：VDP是已虛擬機(jī)為最小單位的備份工具，對(duì)于虛擬機(jī)里面的應(yīng)用和Oracle數(shù)據(jù)庫(kù)不能單獨(dú)備份。建議客戶采用應(yīng)用和Oracle的專用備份工具對(duì)其備份。對(duì)于Lan-Free備份方式，可以咨詢Netapp和賽門鐵克等廠商。他們針對(duì)虛擬化平臺(tái)有對(duì)于的產(chǎn)品和解決方案可以把虛擬機(jī)備份到帶庫(kù)中。

8 虛擬機(jī)設(shè)計(jì)

8.1 安裝和配置VMware Tools

每臺(tái)虛擬機(jī)安裝好操作系統(tǒng)后，必須先安裝vmware tools。沒(méi)有vmware tools驅(qū)動(dòng)，vsphere的一些功能將使用受限。

以下功能是僅當(dāng)安裝VMware Tools 時(shí)才可用的一些功能：

• 支持Aero 的操作系統(tǒng)上大大提升的圖形性能和Windows Aero 體驗(yàn)
• 在虛擬機(jī)與主機(jī)或客戶端桌面之間復(fù)制并粘貼文本、圖形和文件
• 改進(jìn)的鼠標(biāo)性能
• 虛擬機(jī)中的時(shí)鐘與主機(jī)或客戶端桌面上的時(shí)鐘同步
• 幫助自動(dòng)執(zhí)行客戶機(jī)操作系統(tǒng)操作的腳本

安裝步驟請(qǐng)參考VMWare知識(shí)庫(kù)文檔：1014294

http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=ex&bbid=TSEBB_1267116806002&url=&stateId=1%200%20125994156&dialogID=125988560&docTypeID=DT_KB_1_1&externalId=1014294&sliceId=1&rfId=

Installing VMware Tools in a Windows virtual machine (1018377)

Installing VMware Tools in an Ubuntu virtual machine (1022525)

Installing VMware Tools in a Novell virtual machine (1018299)

Installing VMware Tools in a Linux virtual machine using RPM (1018392)

Installing VMware Tools in a Linux virtual machine using Compiler (1018414)

Installing VMware Tools in a Solaris virtual machine (1023956)

8.2 虛擬機(jī)模板管理

虛擬機(jī)模板統(tǒng)一放置在運(yùn)維區(qū)，需要部署到其他區(qū)時(shí)候，進(jìn)行虛擬機(jī)克隆，導(dǎo)出ovf文件形式再導(dǎo)入到相應(yīng)區(qū)域進(jìn)行部署。

8.3 虛擬機(jī)磁盤格式選擇

虛擬磁盤有三種方式供給方式：

• 厚置備延遲置零(Thick Provision Lazy Zeroed)：以默認(rèn)的厚格式創(chuàng)建虛擬磁盤。創(chuàng)建虛擬磁盤時(shí)分配虛擬磁盤所需的空間。創(chuàng)建過(guò)程中不會(huì)清除物理設(shè)備上保留的數(shù)據(jù)，但以后初次從虛擬機(jī)寫入時(shí)則會(huì)按需置零。使用默認(rèn)的平面虛擬磁盤格式，不會(huì)根除或消除恢復(fù)已刪除文件或還原此已分配空間上可能存在的舊數(shù)據(jù)的可能性。無(wú)法將平面磁盤轉(zhuǎn)換為精簡(jiǎn)磁盤。
• 厚置備置零(Thick Provision Eager Zeroed)：一種厚虛擬磁盤類型，可支持群集功能，如 Fault Tolerance。在創(chuàng)建時(shí)為虛擬磁盤分配所需的空間。與平面格式相反，創(chuàng)建虛擬磁盤時(shí)，會(huì)將物理設(shè)備上保留的數(shù)據(jù)置零。創(chuàng)建這種格式的磁盤所需的時(shí)間可能會(huì)比創(chuàng)建其他類型的磁盤長(zhǎng)。
• 精簡(jiǎn)置備(Thin Provision)：使用此格式可節(jié)省存儲(chǔ)空間。對(duì)于精簡(jiǎn)磁盤，可以根據(jù)輸入的磁盤大小值置備磁盤所需的任意數(shù)據(jù)存儲(chǔ)空間。但是，精簡(jiǎn)磁盤開始時(shí)很小，只使用與初始操作所需的大小完全相同的存儲(chǔ)空間。注意 如果虛擬磁盤支持群集解決方案(如 Fault Tolerance)，請(qǐng)勿將磁盤設(shè)置為精簡(jiǎn)格式。如果精簡(jiǎn)磁盤以后需要更多空間，它可以增長(zhǎng)到其容量上限，并占據(jù)為其置備的整個(gè)數(shù)據(jù)存儲(chǔ)空間。而且，您可以將精簡(jiǎn)磁盤手動(dòng)轉(zhuǎn)換為厚磁盤。

建議將I/O負(fù)載較重的虛擬機(jī)分別駐留在不同的VMFS(LUN)上。

8.4 虛擬機(jī)文件系統(tǒng)選擇

VMFS 數(shù)據(jù)存儲(chǔ)是VMkernel處理磁盤的默認(rèn)方式;VMkernel對(duì)磁盤分區(qū)并進(jìn)行格式化，創(chuàng)建了VMFS文件系統(tǒng)的磁盤在vSphere中稱為數(shù)據(jù)存 儲(chǔ)，而且VMkernel能夠讀取磁盤，VMFS的優(yōu)勢(shì)是單個(gè)磁盤(在SAN中術(shù)語(yǔ)為L(zhǎng)UN)能夠承載多個(gè)虛擬機(jī)。

有關(guān)每個(gè)LUN應(yīng)該承載 多少個(gè)虛擬機(jī)，平均數(shù)應(yīng)該是12(生產(chǎn)系統(tǒng)推薦8個(gè)，測(cè)試類系統(tǒng)可用16個(gè))個(gè)虛擬機(jī)共享一個(gè)數(shù)據(jù)存儲(chǔ)。一個(gè)數(shù)據(jù)存儲(chǔ)能夠承載多個(gè)虛擬機(jī)及構(gòu)成虛擬機(jī)的所有文件。這些文件包括VMX文 件(該文件列出了虛擬機(jī)的硬件配置)和VMDK文件(虛擬機(jī)的硬盤以及構(gòu)成虛擬機(jī)的其他零散文件)。

使用RDM，VMkernel不會(huì)對(duì)LUN進(jìn)行格式化，而是由虛擬機(jī)客戶操作系統(tǒng)對(duì)LUN執(zhí)行格式化。每個(gè)RDM是一塊單獨(dú)的虛擬機(jī)硬盤，而且通常只關(guān)聯(lián)到單個(gè)虛擬機(jī)。RDM存儲(chǔ)虛擬機(jī)的磁盤內(nèi)容而非虛擬機(jī)文件，構(gòu)成虛擬機(jī)的文件需要存放在RDM之外的數(shù)據(jù)存儲(chǔ)上。

部署RDM通?；赗DM能夠提供更好的性能這一理念，因?yàn)槠溟_銷要比VMFS上的VMDK文件低。但是在某些情況下，RDM要比VMFS的性能還要差一些。

關(guān)于RDM配置，請(qǐng)參考官方文檔《vSphere 存儲(chǔ)》第18章“裸設(shè)備映射”一節(jié)。

注：除非軟件應(yīng)用有要求使用RDM，VMWare官方推薦客戶使用VMFS文件系統(tǒng)，可用充分利用虛擬化的一切特性。

8.5 虛擬機(jī)集群共享存儲(chǔ)配置

Virtual SCSI 適配器

集群的成員虛擬機(jī)必須選擇專用的SCSI適配器。參考官方文檔KB1037959

For example, if the system disk (drive C:) is attached to SCSI0:0, the first shared disk would be attached to SCSI1:0, and the data disk attached to SCSI1:1.

The shared storage SCSI adapter for Windows Server 2008 and higher must be the LSI Logic SAS type, while earlier Windows versions must use the LSI Logic Parallel type.

Disk configurations

•RDM: Configurations using shared storage for Quorum and/or Data must be on Fibre Channel (FC) based RDMs (physical mode for cluster across boxes "CAB", virtual mode for cluster in a box "CIB") in vSphere 5.1 and earlier. RDMs on storage other than FC (iSCSI and FCoE) are only supported in vSphere 5.5..

•VMFS: Virtual disks used as shared storage for clustered virtual machines must reside on VMFS datastores and must be created using the EagerZeroedThick option. This can be done using the vmkfstools command from the console, the vSphere CLI, or from the user interface. To create EagerZeroedThick storage with the vmkfstools command:

1.Log into the console of the host or launch the VMware vSphere CLI.

2.For example, to create a 10 GB file in datastore1 named myVMData.vmdk, run the command:

▪Using the console:vmkfstools –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdkNote: Replace 10g with the desired size.

▪Using the vSphere CLI:vmkfstools.pl –-server ESXHost –-username username --password passwd –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdk

•To create EagerZeroedThick storage with the user interface:

1.Using the vSphere Client, select the virtual machine for which you want to create the new virtual disk.

2.Right-click the virtual machine and click Edit Settings.

3.From the virtual machine properties dialog box, click Add to add new hardware.

4.In the Add Hardware dialog box, select Hard Disk from the device list.

5.Select Create a new virtual disk and click Next.

6.Select the disk size you want to create.

7.Select the datastore with the virtual machine or select a different datastore by clicking Specify a datastore and browsing to find the desired datastore.

8.To create an EagerZeroedThick disk, select Support clustering features such as Fault Tolerance.Note: Step 8 must be the last configuration step. Changes to datastores after selecting Support clustering features such as Fault Tolerance cause it to become deselected.

Complete the wizard to create the virtual disk.

根據(jù)以往經(jīng)驗(yàn)，如果數(shù)據(jù)庫(kù)的大小<800G，建議使用VMFS格式，如果數(shù)據(jù)庫(kù)大小>800G，可以考慮使用RDM方式。

需要設(shè)置的共享盤：心跳盤，數(shù)據(jù)庫(kù)用到的磁盤(NEC Cluster設(shè)置需要磁盤多宿主)。

在使用NEC Cluster時(shí)候，主應(yīng)用虛擬機(jī)允許遷移，但不設(shè)置回切。在主備虛擬機(jī)之間設(shè)置關(guān)聯(lián)規(guī)則：互斥，避免應(yīng)用雙機(jī)同時(shí)遷移到同一臺(tái)ESXi主機(jī)上。

設(shè)置NEC Cluster共享盤時(shí)， 心跳磁盤大小大于200M以上即可，使用VMFS方式。

設(shè)置集群IP時(shí)：分為Service IP(對(duì)外)，public IP(管理)，private IP(心跳)。Service IP與public IP在同一網(wǎng)段內(nèi)，private IP單獨(dú)規(guī)劃出一個(gè)網(wǎng)段，做到網(wǎng)絡(luò)隔離。

本文作者：趙海，曾在IBM、惠普中國(guó)等企業(yè)任軟件工程師、高級(jí)系統(tǒng)工程師，2013年加入IBM Devops Solution Team，參加云計(jì)算項(xiàng)目建設(shè)及部署，以及后期的咨詢及解決方案提供工作。2014年加入某城商銀行系統(tǒng)規(guī)劃設(shè)計(jì)中心，任系統(tǒng)架構(gòu)師，專注于銀行數(shù)據(jù)中心解決方案規(guī)劃及設(shè)計(jì)工作。