[[415486]]

本文轉(zhuǎn)載自微信公眾號(hào)「匠心獨(dú)運(yùn)維妙維效」，作者張智峰。轉(zhuǎn)載本文請聯(lián)系匠心獨(dú)運(yùn)維妙維效公眾號(hào)。

一、概述

為進(jìn)一步整合基礎(chǔ)設(shè)施資源以達(dá)到統(tǒng)一規(guī)范管理，G行于2016年選用了適用于分行的超融合基礎(chǔ)架構(gòu)方案,并以分布式部署的方式建立了私有云分行資源池。其上運(yùn)行的系統(tǒng)多達(dá)數(shù)千套，支撐了分行本地業(yè)務(wù)系統(tǒng)在內(nèi)的大量生產(chǎn)系統(tǒng)的快速落地和穩(wěn)定運(yùn)行，已經(jīng)成為各分行主要的IT基礎(chǔ)設(shè)施環(huán)境，實(shí)現(xiàn)了資源集中管理、靈活調(diào)配和高效部署的建設(shè)目標(biāo)。

二、G行超融合基礎(chǔ)架構(gòu)

1.為什么采用超融合基礎(chǔ)架構(gòu)

超融合基礎(chǔ)架構(gòu)(HCI)是軟件定義的統(tǒng)一系統(tǒng)，兼具傳統(tǒng)數(shù)據(jù)中心的所有要素：存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)連接和管理。在虛擬化資源池的表現(xiàn)形式為每一個(gè)資源節(jié)點(diǎn)不僅僅具備計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和虛擬化等資源，還可以將多個(gè)節(jié)點(diǎn)通過網(wǎng)絡(luò)聚合起來，有統(tǒng)一的資源調(diào)度平臺(tái)來進(jìn)行管理，并且可以實(shí)現(xiàn)模塊化的無縫橫向擴(kuò)展。

相比較傳統(tǒng)的X86服務(wù)器與集中式存儲(chǔ)構(gòu)成的虛擬化平臺(tái)，以超融合架構(gòu)部署的資源池具有部署速度快，成本小，計(jì)算資源浪費(fèi)少，節(jié)省機(jī)房空間等優(yōu)勢。

虛擬化超融合架構(gòu)恰好可以解決當(dāng)時(shí)G行分行數(shù)據(jù)中心計(jì)算資源調(diào)配不靈活、系統(tǒng)高可用度低的痛點(diǎn)。而其良好的橫向擴(kuò)展能力也能夠很好地應(yīng)對(duì)日新月異的銀行業(yè)務(wù)高速增長，并且在建設(shè)初期無需投入大量的資金。

2、組網(wǎng)

基于可靠性考慮管理、業(yè)務(wù)、存儲(chǔ)平面由2個(gè)網(wǎng)口綁定，雙上行到2個(gè)接入交換機(jī)，不同網(wǎng)絡(luò)平面采用獨(dú)立的虛擬交換機(jī)在虛擬化平臺(tái)內(nèi)部完成配置，并采用vlan隔離。

3.分布式存儲(chǔ)場景下的數(shù)據(jù)保護(hù)

在超融合架構(gòu)中，每一個(gè)超融合節(jié)點(diǎn)既是一個(gè)計(jì)算節(jié)點(diǎn)也是存儲(chǔ)節(jié)點(diǎn)，這種分布式的特性再結(jié)合數(shù)據(jù)保護(hù)機(jī)制，使得分布式存儲(chǔ)可以很好地基于超融合架構(gòu)構(gòu)建一個(gè)易擴(kuò)展、高可靠的存儲(chǔ)資源池。

而對(duì)于存儲(chǔ)用戶而言，存儲(chǔ)系統(tǒng)的可靠性是一個(gè)老生常談的話題了。在傳統(tǒng)的存儲(chǔ)中，大多是采用RAID的方式，來保證數(shù)據(jù)的高可靠性;而在分布式存儲(chǔ)系統(tǒng)中，多副本和EC(ErasureCode)是比較常見的數(shù)據(jù)保護(hù)方法。

那么什么是多副本?又如何理解EC?他們之間的區(qū)別和優(yōu)勢又是什么呢?

簡單說，多副本就是一份數(shù)據(jù)以副本的方式寫到多個(gè)分布式系統(tǒng)中的存儲(chǔ)節(jié)點(diǎn)中。這種多副本的數(shù)據(jù)保護(hù)方式，一來實(shí)現(xiàn)簡單，二來可靠性高。除非所有副本所在的存儲(chǔ)節(jié)點(diǎn)都故障，才會(huì)影響業(yè)務(wù)。但缺點(diǎn)是多副本的空間利用率偏低。

我們以三副本舉例(參見下圖)

對(duì)于服務(wù)器A的物理磁盤A上的數(shù)據(jù)塊P1，系統(tǒng)將它的數(shù)據(jù)備份為服務(wù)器B的物理磁盤B上的P1''和服務(wù)器C的物理磁盤C上的P1'，P1、P1'和P1''共同構(gòu)成了同一個(gè)數(shù)據(jù)塊的三個(gè)副本。若P1所在的物理磁盤發(fā)生故障，則P1'和P1''可以繼續(xù)提供存儲(chǔ)服務(wù)，確保業(yè)務(wù)不受影響。

另外其數(shù)據(jù)重建機(jī)制也保證了，在存儲(chǔ)容量情況良好的條件下，當(dāng)發(fā)生單個(gè)或多個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)，可以快速進(jìn)行重建以保證同一元數(shù)據(jù)存在三個(gè)副本。示意圖如下：

然而三副本機(jī)制雖然在數(shù)據(jù)高可靠強(qiáng)一致方面表現(xiàn)出色，其存儲(chǔ)空間利用率僅為33%，這也增加了企業(yè)級(jí)用戶的存儲(chǔ)成本。

4.EC

EC是一種數(shù)據(jù)保護(hù)技術(shù)，是指將n份原始數(shù)據(jù)，增加m份數(shù)據(jù)，并能通過n+m份中的任意n份數(shù)據(jù)，還原為原始數(shù)據(jù)。如果把n+m份數(shù)據(jù)分布在存儲(chǔ)系統(tǒng)的不同節(jié)點(diǎn)上，那么任意小于等于m個(gè)節(jié)點(diǎn)故障(m份數(shù)據(jù)失效)，都可以通過其他剩余的數(shù)據(jù)還原出原始數(shù)據(jù)，從而達(dá)到不影響業(yè)務(wù)的目的。EC算法可以靈活配置，比如系統(tǒng)要滿足支持2個(gè)節(jié)點(diǎn)同時(shí)故障，則m=2即可。從空間利用率上，EC是優(yōu)于多副本的，以4+2為例，空間利用率為4/(4+2)=67%。這個(gè)利用率相當(dāng)于三副本的2倍。而可靠性上，與三副本一樣可以滿足支持2個(gè)節(jié)點(diǎn)同時(shí)故障。不過以EC4+2為例，此種數(shù)據(jù)保護(hù)機(jī)制限制了超融合節(jié)點(diǎn)的擴(kuò)容方式，每次最少擴(kuò)容數(shù)量4+2=6臺(tái)。喪失了一部分超融合架構(gòu)引以為傲的靈活擴(kuò)展能力。

最終G行從金融行業(yè)數(shù)據(jù)可靠性要求出發(fā)，選擇了數(shù)據(jù)可靠性和強(qiáng)一致性更高的三副本機(jī)制，并保留了超融合架構(gòu)的靈活橫向擴(kuò)容能力。

5.Xen Or KVM

G行超融合架構(gòu)資源池在建立初期選擇了技術(shù)上較為成熟的Xen架構(gòu)虛擬化技術(shù)，而隨著kvm技術(shù)的日趨成熟，最終在2020年選擇了從Xen架構(gòu)升級(jí)到了KVM架構(gòu)，兩者又有什么優(yōu)劣勢呢?

首先我們需要了解什么是虛擬化技術(shù)。Hypervisor是一種運(yùn)行在基礎(chǔ)物理服務(wù)器和操作系統(tǒng)之間的中間軟件層，可允許多個(gè)操作系統(tǒng)和應(yīng)用共享硬件。也可叫做VMM(virtualmachine monitor )，即虛擬機(jī)監(jiān)視器。

Hypervisors是一種在虛擬環(huán)境中的操作系統(tǒng)。他們可以訪問服務(wù)器上包括磁盤和內(nèi)存在內(nèi)的所有物理設(shè)備。Hypervisors不但協(xié)調(diào)著這些硬件資源的訪問，也同時(shí)在各個(gè)虛擬機(jī)之間施加防護(hù)。當(dāng)服務(wù)器啟動(dòng)并執(zhí)行Hypervisor時(shí)，它會(huì)加載所有虛擬機(jī)客戶端的操作系統(tǒng)同時(shí)會(huì)分配給每一臺(tái)虛擬機(jī)適量的內(nèi)存，CPU，網(wǎng)絡(luò)和磁盤。而根據(jù)Hypervisors扮演的角色和功能不同，衍生出了多種虛擬化技術(shù)?？梢哉fXen和KVM分別代表了半虛擬化和全虛擬化兩種虛擬化技術(shù)中。

全虛擬化(左)與半虛擬化(右)

全虛擬化：虛擬機(jī)完整的模擬了底層硬件，Linux系統(tǒng)直接從內(nèi)核級(jí)別為虛擬化提供支持，進(jìn)行Hypervisor適配時(shí)不需要對(duì)操作系統(tǒng)進(jìn)行修改。在全虛擬化的虛擬平臺(tái)中，GuestOS(客戶機(jī)操作系統(tǒng)即虛擬機(jī)操作系統(tǒng))并不知道自己是一臺(tái)虛擬機(jī)，它會(huì)認(rèn)為自己就是運(yùn)行在計(jì)算機(jī)物理硬件設(shè)備上的HostOS(宿主機(jī)操作系統(tǒng))。因?yàn)槿摂M化的Hypervisor會(huì)將一個(gè)OS所能夠操作的CPU、內(nèi)存、外設(shè)等物理設(shè)備邏輯抽象成為虛擬CPU、虛擬內(nèi)存、虛擬外設(shè)等虛擬設(shè)備后，再交由GuestOS來操作使用。這樣的GuestOS會(huì)將底層硬件平臺(tái)視為自己所有的，但是實(shí)際上，這些都是Hypervisor為GuestOS制造了這種假象。

KVM作為硬件輔助全虛擬化技術(shù)，主要由兩個(gè)部分組成：KVM驅(qū)動(dòng)和Qemu。KVM驅(qū)動(dòng)直接被集成到linux系統(tǒng)(Intel-VT或AMD-V)中了，主要負(fù)責(zé)虛擬機(jī)創(chuàng)建、CPU和內(nèi)存的分配等等。

作為硬件輔助全虛擬化技術(shù)，處理器直接提供了虛擬化支持(可以為多個(gè)操作系統(tǒng)虛擬化處理器)。內(nèi)存可以通過kvm進(jìn)行虛擬化(借助linux的能力)。最后，I/O通過一個(gè)稍加修改的QEMU進(jìn)程(執(zhí)行每個(gè)客戶操作系統(tǒng)進(jìn)程的一個(gè)拷貝)進(jìn)行虛擬化。

KVM向Linux中引入了一種除現(xiàn)有的內(nèi)核模式之外的新進(jìn)程模式---客戶模式，它用來執(zhí)行部分客戶操作系統(tǒng)代碼。內(nèi)核模式表示代碼執(zhí)行的特權(quán)模式，而用戶模式則表示非特權(quán)模式(用于運(yùn)行在內(nèi)核之外的程序)。根據(jù)運(yùn)行內(nèi)容和目的，執(zhí)行模式可以針對(duì)不同的目的進(jìn)行定義?？蛻裟Ｊ降拇嬖诰褪菫榱藞?zhí)行客戶操作系統(tǒng)代碼即虛擬機(jī)操作系統(tǒng)的代碼，但是只針對(duì)那些非I/O的代碼。 在客戶模式中有兩種標(biāo)準(zhǔn)模式，因此客戶操作系統(tǒng)在客戶模式中運(yùn)行可以支持標(biāo)準(zhǔn)的內(nèi)核，而在用戶模式下運(yùn)行則支持自己的內(nèi)核和用戶空間應(yīng)用程序?？蛻舨僮飨到y(tǒng)的用戶模式可以用來執(zhí)行I/O操作，這是單獨(dú)進(jìn)行管理的。

在客戶操作系統(tǒng)上執(zhí)行I/O的功能是由QEMU提供的。QEMU是一個(gè)平臺(tái)虛擬化解決方案，允許對(duì)一個(gè)完整的PC環(huán)境進(jìn)行虛擬化(包括磁盤、圖形適配器和網(wǎng)絡(luò)設(shè)備)。客戶操作系統(tǒng)所生成的任何I/O請求都會(huì)被中途截獲，并重新發(fā)送到QEMU進(jìn)程模擬的用戶模式中。

在內(nèi)存虛擬化方面上，由于KVM僅是一個(gè)簡單的虛擬化模塊，所以它的內(nèi)存管理沒有自我實(shí)現(xiàn)，需借助于Linux內(nèi)核實(shí)現(xiàn)內(nèi)存管理。KVM能夠使用Linux所支持的任何存儲(chǔ)，在驅(qū)動(dòng)程序的實(shí)現(xiàn)上，直接借助于Linux內(nèi)核來驅(qū)動(dòng)硬件。

半虛擬化：需要對(duì)GuestOS的內(nèi)核代碼做一定的修改，才能夠?qū)uestOS運(yùn)行在半虛擬化的VMM中。修改內(nèi)核后的GuestOS也知道自己就是一臺(tái)虛擬機(jī)。所以能夠很好的對(duì)核心態(tài)指令和敏感指令進(jìn)行識(shí)別和處理，但缺點(diǎn)在于GuestOS的鏡像文件并不通用。

XEN包含三個(gè)基本組件：Hypervisor、Domain0、DomainU。其中Hypervisor運(yùn)行在硬件之上，承載所有的操作系統(tǒng)，提供CPU和內(nèi)存調(diào)度的作用。Domain0是管理員，，主要負(fù)責(zé)IO設(shè)備虛擬化。DomainU則是真正的XEN中的虛擬客戶機(jī)，而DomainU又分為兩類：一類全虛擬客戶機(jī)，一類半虛擬客戶機(jī)，后者是運(yùn)行在經(jīng)過修改的操作系統(tǒng)之上。

總體來看，Xen是一個(gè)直接運(yùn)行在計(jì)算機(jī)硬件之上的用以替代操作系統(tǒng)的軟件層，以此來實(shí)現(xiàn)在HostOS上并發(fā)運(yùn)行多個(gè)GuestOS。而KVM是已經(jīng)被內(nèi)嵌到HostOS(Linux)內(nèi)核中。鑒于現(xiàn)在主流CPU都對(duì)虛擬化進(jìn)行了適配，具備硬件虛擬化的條件，因此KVM可以適配市場上絕大部分的CPU。而從輕量化角度看，KVM更加精簡，不需要對(duì)客戶機(jī)操作系統(tǒng)進(jìn)行修改，更加靈活易于部署，當(dāng)遇到版本升級(jí)的需求時(shí)，Xen架構(gòu)往往要對(duì)宿主機(jī)底層OS打補(bǔ)丁，重新編譯整個(gè)內(nèi)核，風(fēng)險(xiǎn)可想而知。另外KVM作為虛擬化開源架構(gòu)，其生態(tài)更加完善。因此最終G行選擇從Xen架構(gòu)升級(jí)為KVM虛擬化架構(gòu)。

三、超融合架構(gòu)未來發(fā)展 

G行分行超融合基礎(chǔ)架構(gòu)資源池致力于為分行生產(chǎn)系統(tǒng)提供快速部署、靈活調(diào)配、高可用的基礎(chǔ)設(shè)施服務(wù)能力，為全行業(yè)務(wù)尤其是分行業(yè)務(wù)的快速發(fā)展提供有力支撐。繼續(xù)深耕基礎(chǔ)設(shè)施服務(wù)能力，配置調(diào)優(yōu)，超融合組件升級(jí)迭代，總行管控平臺(tái)全面替換升級(jí)，監(jiān)控細(xì)粒度化建設(shè)，都將是未來G行超融合架構(gòu)資源池發(fā)展的方向。在專注于加強(qiáng)基礎(chǔ)設(shè)施服務(wù)能力的基礎(chǔ)上，緊跟時(shí)代，以超融合為底座培育容器虛擬化部署適配能力也將是未來努力的方向。