愛之深，責(zé)之切。從近期的一些公司線上故障，在災(zāi)備能力上引發(fā)不小的爭(zhēng)議，“異地多活”、“集群管理”、“自動(dòng)化運(yùn)維”等話題也異常的活躍，基本都在討論目前互聯(lián)網(wǎng)企業(yè)的應(yīng)急反應(yīng)以及IT運(yùn)維處理能力。自己也看了一些個(gè)人的觀點(diǎn)和總結(jié)，周末抽了點(diǎn)時(shí)間，把我們?cè)谶@方面的一些實(shí)踐經(jīng)驗(yàn)分享出來，供大家討論，希望寫出的東西能展現(xiàn)我的誠(chéng)意。

本文內(nèi)容主要是基于360私有云-HULK云平臺(tái)的技術(shù)積累和挑戰(zhàn)，這也是我們將運(yùn)維這個(gè)服務(wù)產(chǎn)品化的結(jié)果。在過去幾年中我們從百十臺(tái)服務(wù)器，幾個(gè)機(jī)房，發(fā)展到數(shù)萬臺(tái)服務(wù)器，幾十個(gè)機(jī)房這種大規(guī)模的體系里面，以最基本、最通用的LNMP架構(gòu)闡述前端WEB服務(wù)和后端數(shù)據(jù)庫服務(wù)，分享這“一前一后”在異地多活、集群管理等方面的實(shí)踐經(jīng)驗(yàn)。

前端Web服務(wù)

在偌大的技術(shù)體系里面，前端Web服務(wù)隨著硬件條件的升級(jí)，給大家?guī)淼捏w驗(yàn)我們并無法用多少嬌艷的措施來形容?？梢赃@么理解，為了更好的用戶體驗(yàn)，以及高可用的要求，我們的Web服務(wù)器都采用多機(jī)房、多網(wǎng)絡(luò)運(yùn)營(yíng)商部署，各WEB集群以項(xiàng)目劃分，基于項(xiàng)目的復(fù)雜關(guān)聯(lián)關(guān)系在HULK平臺(tái)中記錄。

1.獨(dú)享的Web服務(wù)器

通過獨(dú)享，其隔離性和安全性相對(duì)更好，不過獨(dú)享就會(huì)帶來資源利用率的問題。解決這個(gè)問題得益于良好的虛擬化、容器化支持。Web服務(wù)器都是虛擬機(jī)，資源按需分配、動(dòng)態(tài)伸縮SLA較低的業(yè)務(wù)，我們可能在超配率50%-100%的虛擬化集群分配2+2，電信2臺(tái)、網(wǎng)通2臺(tái)，輔以多運(yùn)營(yíng)商代理方案。

2.“無狀態(tài)”的Web服務(wù)器

主要是指將Web服務(wù)器與業(yè)務(wù)邏輯解耦，讓W(xué)eb服務(wù)器池作為實(shí)現(xiàn)具體功能的集群，通過Hulk存儲(chǔ)業(yè)務(wù)邏輯的相關(guān)子系統(tǒng)（zookeeper、puppet等）告知Web服務(wù)器具體的執(zhí)行方案。這樣大量的無狀態(tài)，無差別的Web服務(wù)器就可以通過負(fù)載均衡設(shè)備動(dòng)態(tài)、快速的進(jìn)行切換，真正實(shí)現(xiàn)了資源的“云端共享”。

3.Web項(xiàng)目的域名解析

按運(yùn)營(yíng)商線路、區(qū)域劃分，例如北京聯(lián)通用戶的請(qǐng)求是到某個(gè)北京聯(lián)通機(jī)房的集群，華東各省的電信用戶的請(qǐng)求到某個(gè)上海電信的機(jī)房集群，這樣我們可以做到機(jī)房及地域上的容災(zāi)，假設(shè)某個(gè)機(jī)房或者某個(gè)地域的故障，我們將用戶請(qǐng)求以就近、***體驗(yàn)策略進(jìn)行調(diào)整，保證是活著的。

看到這里大家可能會(huì)問，那么多機(jī)房，每個(gè)機(jī)房又那么多小的業(yè)務(wù)集群，每個(gè)業(yè)務(wù)集群上不同的域名，怎么管理？為了把這些復(fù)雜繁瑣的工作簡(jiǎn)單化，我們將各個(gè)環(huán)節(jié)串接、管理起來，通過大家常見運(yùn)維的工具化、平臺(tái)化、可視化去讓整個(gè)管理方式更加簡(jiǎn)單明了。HULK云平臺(tái)，我更喜歡稱之為產(chǎn)品化，他是我們的管家，更需要強(qiáng)大、精確。達(dá)到可以通過鼠標(biāo)的滑動(dòng)完成集群管理、負(fù)載均衡上下線、新建域名解析、生成故障預(yù)案、按預(yù)案切換，等復(fù)雜易出錯(cuò)任務(wù)，這些功能不僅運(yùn)維工程師需要，還要把業(yè)務(wù)開發(fā)同事加入進(jìn)來，自助完成。極大的簡(jiǎn)化了相關(guān)的配置管理工作。

集群配置管理

在HULK中集群配置管理部分，如上文所述，Web服務(wù)器集群是項(xiàng)目獨(dú)享的，各個(gè)集群的環(huán)境也不一樣，簡(jiǎn)單的舉個(gè)例子，像PHP環(huán)境就能夠支持PHP5.3、PHP5.4、PHP5.5版本等。

服務(wù)器集群為項(xiàng)目提供運(yùn)行環(huán)境（軟件、配置文件、進(jìn)程），而這些都可以統(tǒng)稱為“配置”（Configuration）。因此，集群的“配置”管理，關(guān)系到項(xiàng)目的快速部署、擴(kuò)容、升級(jí)、回滾等問題。

下面是我們的工具棧，實(shí)現(xiàn)一種統(tǒng)一、可控、快速的配置管理。

首先要解決的是軟件的問題，外面的軟件包直接拿過來安裝是不可能的，我們有自己的版本要求、安全要求、編譯參數(shù)要求、安裝路徑要求等。所以我們有自己的軟件倉庫，涵蓋所有核心應(yīng)用軟件，給軟件倉庫供血的是一套自動(dòng)化的RPM構(gòu)建系統(tǒng)。

其次是Hulk平臺(tái)與軟件倉庫的對(duì)接，Hulk可以通過API查詢軟件倉庫的信息，比如軟件包名字、版本，Hulk對(duì)倉庫里的這些軟件包又做了二次管理，例如同一名字但是版本不同的軟件包，還有某幾個(gè)軟件包劃分為一個(gè)組，整體安裝等等。由于Hulk同時(shí)記錄著服務(wù)器集群的信息，因此，將這二者整合，就實(shí)現(xiàn)了對(duì)任意服務(wù)器集群，選裝任意的軟件包。

“對(duì)任意服務(wù)器集群，選裝任意的軟件包”，是如何實(shí)現(xiàn)的呢？

我們通過Hulk作為控制中心，把這些“配置”信息發(fā)送給另外一個(gè)基于Puppet構(gòu)建的系統(tǒng)。而我們的Puppet系統(tǒng)是采用Master-Agent架構(gòu)，Master集群多機(jī)房部署，可以水平擴(kuò)展，自己開發(fā)的眾多Puppet Module部署于Master集群，不同的Module實(shí)現(xiàn)不同的配置邏輯，受控服務(wù)器（Agent）就近與Master集群通信，獲取配置、完成配置、匯報(bào)結(jié)果。

除了Hulk主動(dòng)觸發(fā)的配置任務(wù)，Agent上還有定期的配置同步機(jī)制。簡(jiǎn)單說，就算誤刪除了一個(gè)核心軟件，不用任何人為干預(yù)，也會(huì)把該軟件補(bǔ)回成刪除之前的狀態(tài)。

另外，配置的同步都是批量進(jìn)行的（上百臺(tái)機(jī)器的集群很常見），為此，我們實(shí)現(xiàn)了灰度上線，“新配置”會(huì)先同步到一臺(tái)服務(wù)器上，在成功且測(cè)試之后，就可以選擇批量同步了，如果不成功，還可以回滾至舊配置。

（本文未完，待續(xù)。請(qǐng)繼續(xù)關(guān)注51CTO，后面將呈現(xiàn)更精彩的內(nèi)容?。?/strong>