本文是WOT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者大會(huì)的現(xiàn)場(chǎng)干貨，  新一屆主題為WOT2016企業(yè)安全技術(shù)峰會(huì)將在2016年6月24日-25日于北京珠三角JW萬豪酒店隆重召開！

趙建春表示，04年加入騰訊至今已是十年的運(yùn)維老兵，和團(tuán)隊(duì)隨著時(shí)間的推移共同成長(zhǎng)?；仡欉@十年，如有一次重來的機(jī)會(huì)，什么才是真正最重要的？什么是團(tuán)隊(duì)優(yōu)先做好的一件事情？進(jìn)行思考，再去深思，這樣做只為支撐我們更好的前行。

關(guān)于趙建春及所處的團(tuán)隊(duì)

趙建春，目前負(fù)責(zé)社交網(wǎng)絡(luò)負(fù)責(zé)大數(shù)據(jù)和運(yùn)維工作。04年加入騰訊，加入之后做賀卡開發(fā)，05年加入QQ空間開發(fā)團(tuán)隊(duì)，負(fù)責(zé)留言版模塊。06年底開始隨著公司組織架構(gòu)變化，開始接觸運(yùn)維工作，到現(xiàn)在有10年時(shí)間。

運(yùn)維團(tuán)隊(duì)，主要是負(fù)責(zé)以QQ延伸出來的各種社群的運(yùn)維和維護(hù)，包括QQ空間、QQ音樂、QQ會(huì)員、QQ秀等一系列的QQ產(chǎn)品。真實(shí)員工89個(gè)人，加起來外包同事，維護(hù)了10萬家服務(wù)器，維護(hù)的能力和谷歌比起來還是有差距，但是對(duì)很多傳統(tǒng)企業(yè)來講，可算佼佼者。

團(tuán)隊(duì)經(jīng)歷，如紅米空間首發(fā)，紅米QQ空間90秒賣出10萬臺(tái)設(shè)備，獲得1億點(diǎn)贊。天津大爆炸事件，把天津2億多活躍用戶，從天津快速調(diào)到深圳以及上海，在中國(guó)互聯(lián)網(wǎng)史算得上是一次非常大規(guī)模的調(diào)動(dòng)。春節(jié)紅包準(zhǔn)備工作，今年比去年的紅包訪問量增加了10倍以上，快速的擴(kuò)充了5000臺(tái)設(shè)備，前段統(tǒng)一機(jī)構(gòu)部署，***訪問量達(dá)到477萬次每秒。

趙建春表示，作為運(yùn)維團(tuán)隊(duì)來講，最最重要的事是先保證自己做的系統(tǒng)可靠、不會(huì)輕易出錯(cuò)，不要讓自己變成一個(gè)救火隊(duì)員。可靠之后，就要用更多時(shí)間去解決效率問題，讓工作變得更加高效，***是追求更高的目標(biāo)。 

對(duì)我們高效、可靠幫助***的是什么

對(duì)團(tuán)隊(duì)工作幫助***的是什么？如上圖，資源管理是要把寫出來的程序和代碼，進(jìn)行一個(gè)清晰劃分和分類，對(duì)每個(gè)資源有不同形狀，進(jìn)行搭建。容錯(cuò)方案是在維護(hù)海量服務(wù)時(shí)，運(yùn)維過程中出現(xiàn)故障是確保不能影響項(xiàng)目服務(wù)，服務(wù)器要做到及時(shí)處理。 統(tǒng)一架構(gòu)CMDBA是把一個(gè)業(yè)務(wù)模塊上所有依賴資源全部登記進(jìn)去。同時(shí)如果做快速?zèng)Q策和調(diào)度，還需要有效的監(jiān)控。DLP是內(nèi)部定義的一個(gè)非常關(guān)鍵的監(jiān)控，這個(gè)點(diǎn)發(fā)生后，可以知道哪里出現(xiàn)故障。入口監(jiān)控是告知出現(xiàn)故障的根源在哪。容錯(cuò)方案的L5是用來解決容錯(cuò)、灰度，路由等。

世界上管理服務(wù)器最多的系統(tǒng)

L5系統(tǒng)

趙建春表示，運(yùn)營(yíng)管理系統(tǒng)管理了上億服務(wù)器，脈絡(luò)非常清晰，根本不會(huì)出現(xiàn)混亂。L5系統(tǒng)（上圖）也類似于DNS系統(tǒng)，有一排能提供的服務(wù)模塊，從而解決的單點(diǎn)問題。

L5－主機(jī)／接口級(jí)的容錯(cuò)原理

L5如何做容錯(cuò)？如上圖，L5有由L5、DNS和L5、agent兩部分構(gòu)成。CGI通過給模塊提ID，根據(jù)模塊下設(shè)備的成功率和延遲情況，通過IP+PROT給CGI一個(gè)反饋，訪問之后，通過成功率和延遲情況，把數(shù)據(jù)上報(bào)給了L5agent，然后做統(tǒng)計(jì)數(shù)據(jù)。當(dāng)發(fā)現(xiàn)失敗率特別低的時(shí)踢掉。當(dāng)發(fā)現(xiàn)成功率和失敗率有一定下降，會(huì)把訪問權(quán)重降低，從而達(dá)到容錯(cuò)和負(fù)載均衡的作用?？梢宰?cè)一個(gè)模塊，加多臺(tái)設(shè)備，形成容錯(cuò)效果。如發(fā)現(xiàn)一臺(tái)機(jī)器失敗率很高，就把它踢掉。它成功率恢復(fù)過來，還可以再加回來。

L5的灰度、容錯(cuò)、路由、負(fù)載均衡能力

新加一臺(tái)服務(wù)器設(shè)計(jì)它的權(quán)重為1，假如之前的是100，可以逐漸上線。還可以給它一個(gè)得分，得分下降的時(shí)候，快速把它踢掉。L5具有灰度、容錯(cuò)、路由、負(fù)載均衡的能力。

L5對(duì)運(yùn)維團(tuán)隊(duì)有哪些幫助？ 減少了80~90%的日常故障、不再需要頻繁的變更ip+port（也是故障源）、同過名字便利的服務(wù)上下線、通過權(quán)重灰度上線、模塊訪問關(guān)系可幫助定位根源故障、接口的延遲和失敗率可用來監(jiān)控、集容錯(cuò)、負(fù)載均衡、路由、灰度、監(jiān)控能力于一身

統(tǒng)一框架和架構(gòu)

趙建春表示，團(tuán)隊(duì)里有上千號(hào)開發(fā)同事，每年會(huì)有大量畢業(yè)生加入，也會(huì)有社交同事。進(jìn)來以后，都希望為平臺(tái)做更更多的代碼貢獻(xiàn)或展現(xiàn)自己特有的技術(shù)實(shí)力也或提高自己。 

統(tǒng)一框架

那問題來了，在開發(fā)過程中，如上圖，有管道、消息隊(duì)列、信息文件鎖、記錄鎖、文件影射內(nèi)存、還有迭代服務(wù)器Select poll Io等，這些是用各種各樣技術(shù)組合生產(chǎn)出來的代碼，交給團(tuán)隊(duì)維護(hù)，數(shù)以萬計(jì)不同性格的服務(wù)器，要掌握得非常好，能了解它的工作機(jī)制和原理，更好的維護(hù)它基本上是不可能的事情。

統(tǒng)一框架

那就如上圖，把網(wǎng)絡(luò)通訊部分列成一個(gè)標(biāo)準(zhǔn)框架，提高它的通訊效率，統(tǒng)一維護(hù)。

統(tǒng)一框架:接入和邏輯

業(yè)務(wù)邏輯部分用SO動(dòng)態(tài)庫(kù)方式編寫與框架分離部署，類似WEB服務(wù)器上的CGI。接入層用QZHTTP，邏輯層是SPP和SF的框架。

統(tǒng)一框架：存儲(chǔ)

作為社區(qū)類服務(wù)，雖然用戶的熱點(diǎn)并不是很集中，但數(shù)據(jù)量、訪問量還是很大。大量用CKV存儲(chǔ)，同時(shí)針對(duì)訪問量非常大的問題，如說用戶沒有開通空間，游戲用戶，會(huì)員等標(biāo)記，之后均做一個(gè)定位，形成一個(gè)高訪問量的模塊即可。

統(tǒng)一框架：標(biāo)準(zhǔn)架構(gòu)視圖，管理管理節(jié)點(diǎn)

如上圖，是一個(gè)架構(gòu)體系，接入層是TGW，流量從它進(jìn)、從它出。對(duì)于中間層，利用L5進(jìn)行調(diào)度。在存儲(chǔ)層，因?yàn)槊恳粋€(gè)存儲(chǔ)模塊要分耗段，故加入Access，從上到下把技術(shù)架構(gòu)進(jìn)行了統(tǒng)一規(guī)范，同時(shí)在組織上也通過接入邏輯運(yùn)維層，進(jìn)行標(biāo)準(zhǔn)化的維護(hù)。

統(tǒng)一框架對(duì)運(yùn)維有什么幫助？ 網(wǎng)絡(luò)框架和業(yè)務(wù)邏輯SO分離管理、運(yùn)維人員學(xué)習(xí)成本大大降低、框架穩(wěn)定性極大提高、可跨業(yè)務(wù)統(tǒng)一維護(hù)、運(yùn)維效率提升***可達(dá)10倍。

資源打包管理

所有程序統(tǒng)一打包

如上圖，資源打包管理是對(duì)開發(fā)出的程序包進(jìn)行標(biāo)準(zhǔn)打包操作，一個(gè)程序開發(fā)出來有不同特征，有需要加銀行參數(shù)，有需要依賴目錄，還有需要前面準(zhǔn)備工作和后續(xù)善后工作，把它全部放在一個(gè)類似于包里面，裝進(jìn)一個(gè)盒子里。之后提供標(biāo)準(zhǔn)的操作接口，如安裝、卸載、啟動(dòng)、停止操作等這些操作讓它們變成有關(guān)聯(lián)的。

資源打包管理對(duì)運(yùn)維有什么幫助？部署規(guī)范統(tǒng)一，再也不擔(dān)心找不到、標(biāo)準(zhǔn)化了操作界面，極易學(xué)習(xí)掌握、支持前后置腳本做準(zhǔn)備和善、進(jìn)程級(jí)運(yùn)轉(zhuǎn)的所有資源的完整鏡像。

資源登記——CMDB虛擬鏡像

資源登記到二級(jí)CMDB形成服務(wù)的虛擬鏡像，除了傳統(tǒng)基礎(chǔ)配置信息，把一個(gè)模塊依賴的資源，全部記錄進(jìn)2級(jí)CMDB，形成一個(gè)模塊的虛擬鏡像。

CMDB＋資源＝虛擬鏡像

CMDB虛擬鏡像對(duì)運(yùn)維有什么幫助？一個(gè)模塊運(yùn)轉(zhuǎn)的所有資源的“完整鏡像”、記錄了模塊運(yùn)轉(zhuǎn)所依賴的所有資源、不再需要文檔說明。

決策調(diào)度——織云自動(dòng)化部署平臺(tái)

織云自動(dòng)部署流程23步

趙建春表示，如上圖，在團(tuán)隊(duì)內(nèi)部有織云自動(dòng)化部署平臺(tái)，從申請(qǐng)?jiān)O(shè)備獲取資源、發(fā)布部署、檢測(cè)，進(jìn)行測(cè)試，上線。在每個(gè)環(huán)節(jié)還有些細(xì)節(jié)步驟，如申請(qǐng)?jiān)O(shè)備的時(shí)屏蔽告警事件，如發(fā)布時(shí)同步傳輸文件、如發(fā)布后檢測(cè)程序的包進(jìn)程是否啟動(dòng)，啟動(dòng)之后進(jìn)行業(yè)務(wù)測(cè)試。

騰訊織云自動(dòng)化運(yùn)維體系

如上圖，是織云內(nèi)部自動(dòng)化部署的平臺(tái)。相當(dāng)于把這個(gè)進(jìn)程開發(fā)出來以后，依賴的資源全部打包放在盒子里，把盒子里的東西放資源倉(cāng)庫(kù)中，有一些模塊全部登記在CMDB。

織云全自動(dòng)擴(kuò)縮容

如果要部署一個(gè)模塊A或進(jìn)行擴(kuò)容，可是人工觸發(fā)或自動(dòng)系統(tǒng)觸發(fā)，控制人工系統(tǒng)進(jìn)行操作，把模塊邊上三個(gè)資源，由資源倉(cāng)儲(chǔ)部署在模塊1上，通過L5系統(tǒng)進(jìn)行一個(gè)注冊(cè)，這個(gè)模塊就可自動(dòng)上線。之后會(huì)把一個(gè)模塊登記回來，對(duì)它進(jìn)行自動(dòng)化操作，每一個(gè)方塊是一個(gè)步驟，這個(gè)步驟執(zhí)行過去之后是綠色的，執(zhí)行失敗是紅色，沒有執(zhí)行是灰色。執(zhí)行成功就可以看到，可以做自動(dòng)化的擴(kuò)容，可以做日常演習(xí)，還可以回收等工作。

運(yùn)維規(guī)范的推進(jìn)歷程

趙建春表示，上圖是運(yùn)維規(guī)范的推進(jìn)歷程，看起來還是比較自然而然的過來。但是實(shí)際上這個(gè)事并沒有這么容易做。

運(yùn)維最難解決的問題是什么？

趙建春表示，運(yùn)維***的困難是歷史問題。每個(gè)團(tuán)隊(duì)都會(huì)遇到自己的歷史問題，解決一個(gè)，就又會(huì)出現(xiàn)一個(gè)。 雖然運(yùn)維團(tuán)隊(duì)不能重來一次，但現(xiàn)在有很多創(chuàng)業(yè)團(tuán)隊(duì)，有很多新項(xiàng)目，能不能在最初的時(shí)候，就有運(yùn)維和開發(fā)共同參與制訂未來運(yùn)維工作有預(yù)見性的規(guī)范規(guī)則，之后由開發(fā)把它根基打好。如果開發(fā)對(duì)用戶的幫助非常大，那一定需要運(yùn)維和開發(fā)深度配合合作，才能打造高效運(yùn)維基礎(chǔ)，達(dá)到一個(gè)高效的效果。回顧運(yùn)維這十年的路程，深思熟慮的思考，只為了在未來可以更好前行。

本文整理自，由51CTO傳媒主辦的WOT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者大會(huì)上來自騰訊社交網(wǎng)絡(luò)運(yùn)營(yíng)部助理總經(jīng)理、技術(shù)運(yùn)營(yíng)通道會(huì)長(zhǎng)趙建春主題為如果運(yùn)維可以重來一次的精彩演講。

演講視頻：http://edu.51cto.com/lesson/id-100765.html

講師簡(jiǎn)介：

[[166212]]

趙春生，騰訊社交網(wǎng)絡(luò)運(yùn)營(yíng)部助理總經(jīng)理、技術(shù)運(yùn)營(yíng)通道會(huì)長(zhǎng)、專家工程師。04年加入騰訊，先后從事過研發(fā)、運(yùn)維、數(shù)據(jù)方面的建設(shè)和管理工作，在海量技術(shù)運(yùn)營(yíng)方面積累了豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。