前言

G行作為金融行業(yè)數(shù)字化轉(zhuǎn)型的探索者與實(shí)踐者，提出“123+N”的數(shù)字化特色發(fā)展體系，即一個(gè)智慧大腦，兩大技術(shù)平臺(tái)——云計(jì)算平臺(tái)和大數(shù)據(jù)平臺(tái)，三項(xiàng)服務(wù)能力——移動(dòng)化、開(kāi)放化、生態(tài)化服務(wù)能力，N個(gè)數(shù)字化名品——數(shù)據(jù)挖掘模型體系、隨心貸、專屬客服、手機(jī)銀行等。根據(jù)數(shù)字化發(fā)展戰(zhàn)略要求，傳統(tǒng)數(shù)據(jù)中心的應(yīng)用系統(tǒng)要逐步遷移到云平臺(tái)，實(shí)現(xiàn)服務(wù)云化，滿足業(yè)務(wù)需求的快速迭代，同時(shí)云平臺(tái)可提供快速便捷的資源交付和資源擴(kuò)容能力，提升資源利用率，達(dá)到降本增效的目標(biāo)。

針對(duì)應(yīng)用上云，G行制定了相關(guān)的上云策略，強(qiáng)調(diào)優(yōu)先容器化部署，對(duì)于無(wú)法容器化改造的產(chǎn)品組件可通過(guò)虛擬機(jī)或裸金屬方式上云，以多種部署形式滿足應(yīng)用上云要求。針對(duì)傳統(tǒng)環(huán)境和云上應(yīng)用，所使用的業(yè)務(wù)流量負(fù)載方式是不同的，傳統(tǒng)環(huán)境主要使用硬件F5負(fù)載均衡，優(yōu)點(diǎn)是性能好、功能強(qiáng)大，缺點(diǎn)是成本高、擴(kuò)展性差、不符合信創(chuàng)要求。云環(huán)境使用云平臺(tái)提供的服務(wù)組件彈性負(fù)載均衡服務(wù)，優(yōu)點(diǎn)是成本低、擴(kuò)展性好、符合信創(chuàng)要求，缺點(diǎn)是相比硬件負(fù)載均衡性能略有下降。上期文章介紹了負(fù)載均衡服務(wù)的關(guān)鍵技術(shù)，本期重點(diǎn)介紹下負(fù)載均衡服務(wù)在G行的實(shí)踐。

G行彈性負(fù)載均衡實(shí)踐

G行在應(yīng)用上云過(guò)程中，通過(guò)制定上云模型以規(guī)范上云部署架構(gòu)。上云模型主要分為虛擬機(jī)架構(gòu)上云、容器化上云、裸金屬上云以及多種形式的混合上云部署模型。在這些模型中，彈性負(fù)載均衡主要提供流量負(fù)載能力，主要運(yùn)用在虛擬機(jī)應(yīng)用和容器應(yīng)用中。

圖1 G行虛擬機(jī)上云與容器化上云的負(fù)載均衡示意

虛擬機(jī)應(yīng)用彈性負(fù)載均衡服務(wù)能力實(shí)踐

為滿足同城多活要求，應(yīng)用服務(wù)在邏輯上三個(gè)數(shù)據(jù)中心部署（分別為AZ1、AZ2、AZ3）。其中數(shù)據(jù)層部署跨三中心的DB和Redis服務(wù)實(shí)例，對(duì)三中心的應(yīng)用服務(wù)層提供統(tǒng)一的數(shù)據(jù)庫(kù)服務(wù)和緩存服務(wù)。數(shù)據(jù)庫(kù)服務(wù)主要用于結(jié)構(gòu)化數(shù)據(jù)的永久保存，緩存服務(wù)主要用于會(huì)話保持?jǐn)?shù)據(jù)的存儲(chǔ)和其他緩存使用場(chǎng)景，實(shí)現(xiàn)應(yīng)用無(wú)狀態(tài)。

應(yīng)用層在每個(gè)數(shù)據(jù)中心部署對(duì)應(yīng)的前端Web應(yīng)用和后端App服務(wù)。其中Web和App服務(wù)均以負(fù)載均衡架構(gòu)部署，通過(guò)前端的負(fù)載均衡ELB將請(qǐng)求流量轉(zhuǎn)發(fā)到對(duì)應(yīng)的后端服務(wù)節(jié)點(diǎn)，提升負(fù)載能力的同時(shí)保障系統(tǒng)的高可用設(shè)計(jì)，并且可根據(jù)服務(wù)的容量需求進(jìn)行動(dòng)態(tài)擴(kuò)縮容。負(fù)載均衡通過(guò)TCP和HTTP兩種健康檢查方式對(duì)后端負(fù)載的存活狀態(tài)進(jìn)行探查，實(shí)現(xiàn)故障節(jié)點(diǎn)自動(dòng)隔離能力和故障自愈恢復(fù)能力。

在應(yīng)用訪問(wèn)層設(shè)計(jì)方面，全棧云為三層網(wǎng)絡(luò)架構(gòu)，每個(gè)數(shù)據(jù)中心使用一個(gè)ELB地址作為該數(shù)據(jù)中心的應(yīng)用入口，外部請(qǐng)求通過(guò)DNS服務(wù)配置的域名解析策略將流量轉(zhuǎn)發(fā)到三個(gè)數(shù)據(jù)中心Web服務(wù)前端的ELB地址，然后ELB將請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的Web服務(wù)，再經(jīng)App服務(wù)前端的ELB負(fù)載到App服務(wù)，最終到數(shù)據(jù)庫(kù)服務(wù)。

由于上述架構(gòu)在三個(gè)數(shù)據(jù)中心使用了三個(gè)ELB作為應(yīng)用入口地址，無(wú)法像傳統(tǒng)環(huán)境一樣，使用統(tǒng)一一個(gè)負(fù)載均衡實(shí)例作為入口地址，利用負(fù)載均衡的會(huì)話保持功能實(shí)現(xiàn)會(huì)話保持，因此需要通過(guò)應(yīng)用層將會(huì)話信息Session保存在Redis服務(wù)中。外部請(qǐng)求再次進(jìn)入系統(tǒng)后，讀取Session信息獲取會(huì)話信息，而無(wú)需關(guān)注實(shí)際請(qǐng)求是哪一個(gè)服務(wù)節(jié)點(diǎn)，對(duì)應(yīng)用來(lái)說(shuō)是透明的，從而實(shí)現(xiàn)全棧應(yīng)用的會(huì)話保持能力。

圖2 G行虛擬機(jī)應(yīng)用彈性負(fù)載均衡服務(wù)架構(gòu)示意

容器應(yīng)用彈性負(fù)載均衡服務(wù)能力實(shí)踐

容器部署應(yīng)用以前后端分離單體應(yīng)用為例，應(yīng)用請(qǐng)求依舊通過(guò)DNS服務(wù)將請(qǐng)求轉(zhuǎn)發(fā)到Web服務(wù)對(duì)應(yīng)的ELB地址，然后Web服務(wù)通過(guò)訪問(wèn)App服務(wù)的Service將流量轉(zhuǎn)發(fā)到實(shí)際App服務(wù)Pod上，最后訪問(wèn)到數(shù)據(jù)庫(kù)服務(wù)。

在該應(yīng)用架構(gòu)中主要有兩點(diǎn)需要特別說(shuō)明。第一，負(fù)載均衡ELB作為容器應(yīng)用對(duì)外暴露端口的固定地址，三中心架構(gòu)通過(guò)DNS域名將地址解析到三中心的ELB地址，ELB地址通過(guò)在k8s集群創(chuàng)建Loadbalance服務(wù)，將應(yīng)用服務(wù)對(duì)外暴露。第二，在k8s集群內(nèi)部，服務(wù)與服務(wù)之間通過(guò)Service服務(wù)訪問(wèn)，嚴(yán)禁使用ELB的Loadbalance服務(wù)。該應(yīng)用Web服務(wù)訪問(wèn)App服務(wù)，屬于集群內(nèi)部訪問(wèn)，Web服務(wù)應(yīng)該通過(guò)Service服務(wù)訪問(wèn)App，此時(shí)的Service服務(wù)在k8s內(nèi)部類似起到負(fù)載均衡器的作用。

關(guān)于App的Service服務(wù)，此處的負(fù)載均衡器理論上也可以通過(guò)彈性負(fù)載均衡ELB暴露固定地址，訪問(wèn)鏈路由DNS-->ELB-->Web Pod-->Service-->App Pod-->EverDB演變?yōu)镈NS-->ELB-->Web Pod-->ELB-->App Pod-->EverDB。雖然訪問(wèn)沒(méi)有問(wèn)題，但增大了ELB實(shí)例的服務(wù)開(kāi)銷(xiāo)，同時(shí)本身內(nèi)部服務(wù)訪問(wèn)的容器網(wǎng)絡(luò)流量轉(zhuǎn)變?yōu)槿萜骶W(wǎng)絡(luò)和ELB網(wǎng)絡(luò)的交叉流量，降低了服務(wù)之間的訪問(wèn)效率，并且增加網(wǎng)絡(luò)鏈路的復(fù)雜度。

圖3 G行容器應(yīng)用彈性負(fù)載均衡服務(wù)架構(gòu)示意

總結(jié)

全棧云應(yīng)用通過(guò)負(fù)載均衡ELB將負(fù)載流量轉(zhuǎn)發(fā)給后端的多個(gè)虛擬機(jī)或者容器應(yīng)用，通過(guò)TCP和HTTP兩種健康檢查方式對(duì)后端負(fù)載的存活狀態(tài)進(jìn)行探查。TCP健康檢查只探測(cè)對(duì)應(yīng)的應(yīng)用端口是否存在，配置簡(jiǎn)單，響應(yīng)較快。HTTP檢查可以根據(jù)提供的端口和URL路徑準(zhǔn)確判斷應(yīng)用的健康狀態(tài)，檢查準(zhǔn)確性高，覆蓋面更全，具體使用方式根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行配置。針對(duì)流量轉(zhuǎn)發(fā)算法，一般負(fù)載均衡設(shè)備后端的負(fù)載節(jié)點(diǎn)配置相同，可采用輪詢算法進(jìn)行負(fù)載流量轉(zhuǎn)發(fā)。

針對(duì)不同的上云部署方式，虛擬機(jī)類應(yīng)用，彈性負(fù)載均衡無(wú)特殊要求；而容器類應(yīng)用，彈性負(fù)載均衡ELB只能用于需要對(duì)外暴露服務(wù)端口的服務(wù)，通過(guò)創(chuàng)建Loadbalance服務(wù)將ELB和容器Pod關(guān)聯(lián)，而內(nèi)部服務(wù)訪問(wèn)統(tǒng)一使用Service服務(wù)。?