2016年4月14-15日，由51CTO傳媒主辦的WOT2016互聯(lián)網(wǎng)運(yùn)維與開(kāi)發(fā)者大會(huì)在北京珠三角JW萬(wàn)豪酒店召開(kāi)。秉承專注技術(shù)、服務(wù)技術(shù) 人員的理念，自2012年以來(lái)，WOT品牌大會(huì)已經(jīng)成功舉辦了八屆，積累了大量的技術(shù)專家資源，獲得了廣大IT從業(yè)者和技術(shù)愛(ài)好者的一致認(rèn)可，成為了業(yè)界重要的技術(shù)分享交流平臺(tái)以及人脈拓展平臺(tái)。

本次會(huì)議分為11個(gè)技術(shù)主題，分別是：數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用，大數(shù)據(jù)與運(yùn)維，云計(jì)算與運(yùn)維，運(yùn)維安全，移動(dòng)運(yùn)維，容器體系構(gòu)建與實(shí)踐，運(yùn)維自動(dòng)化，行業(yè)運(yùn)維、監(jiān)控與性能優(yōu)化、高可用架構(gòu)和分布式存儲(chǔ)技術(shù)。51CTO作為本次大會(huì)的主辦方，將以快速報(bào)道、現(xiàn)場(chǎng)專訪與后期視頻等形式展示這場(chǎng)盛宴。

下面是來(lái)自騰訊社交網(wǎng)絡(luò)運(yùn)營(yíng)部助理總經(jīng)理、技術(shù)運(yùn)營(yíng)通道會(huì)長(zhǎng)趙建春先生給大家?guī)?lái)的是主題為《如果運(yùn)維可以重來(lái)一次》的精彩演講。

趙建春，騰訊社交網(wǎng)絡(luò)運(yùn)營(yíng)部助理總經(jīng)理、技術(shù)運(yùn)營(yíng)通道會(huì)長(zhǎng)、專家工程師。04年加入騰訊，先后從事過(guò)研發(fā)、運(yùn)維、數(shù)據(jù)方面的建設(shè)和管理工作，在海量技術(shù)運(yùn)營(yíng)方面積累了豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。

【以下為現(xiàn)場(chǎng)演講實(shí)錄】

大家上午好！非常榮幸今天有這個(gè)機(jī)會(huì)在這里給大家做分享。我分享的題目是如果運(yùn)維可以重來(lái)一次。我04年加入騰訊，加入之后做過(guò)賀卡的開(kāi)發(fā)，05年的時(shí)候，非常榮幸加入QQ空間的開(kāi)發(fā)團(tuán)隊(duì)，負(fù)責(zé)留言版模塊的開(kāi)發(fā)。06年底開(kāi)始隨著公司組織架構(gòu)變化，開(kāi)始接觸運(yùn)維這塊的工作，到現(xiàn)在有10年時(shí)間，是一個(gè)10年的運(yùn)維老兵，現(xiàn)在在社交網(wǎng)絡(luò)負(fù)責(zé)大數(shù)據(jù)和運(yùn)維工作。

介紹一下我們的運(yùn)維團(tuán)隊(duì)，主要是負(fù)責(zé)以QQ延伸出來(lái)的各種社群的運(yùn)維和維護(hù)，包括QQ空間、QQ音樂(lè)、QQ會(huì)員、QQ秀等一系列的QQ產(chǎn)品。我看了一下，真實(shí)員工89個(gè)人，加起來(lái)外包同事，我們維護(hù)了10萬(wàn)家服務(wù)器，維護(hù)的能力和谷歌比起來(lái)還是有差距，但是對(duì)很多傳統(tǒng)企業(yè)來(lái)講，已經(jīng)是非常不錯(cuò)了。

團(tuán)隊(duì)也經(jīng)歷了非常多事件和活動(dòng)的洗禮，比如說(shuō)對(duì)空間的紅米首發(fā)，讓紅米在我們的QQ空間上90秒賣出10萬(wàn)臺(tái)設(shè)備，獲得1億點(diǎn)贊。去年8月份天津大爆炸事件，我們也是把我們天津2億多活躍用戶，從天津快速調(diào)到深圳以及上海，可能在中國(guó)互聯(lián)網(wǎng)史上，可能是一個(gè)從來(lái)沒(méi)有發(fā)生過(guò)的這么大規(guī)模的調(diào)動(dòng)。

第三是支持了兩次春節(jié)紅包準(zhǔn)備工作，尤其是今年比去年的紅包訪問(wèn)量增加了10倍以上，快速的擴(kuò)充了5000臺(tái)設(shè)備，前段統(tǒng)一機(jī)構(gòu)部署，最高訪問(wèn)量達(dá)到477萬(wàn)次每秒。還是一個(gè)比較值得信賴和可靠的團(tuán)隊(duì)。

今天為什么是這個(gè)題目？我自己和我的團(tuán)隊(duì)在運(yùn)維這一塊的工作已經(jīng)經(jīng)歷了10年時(shí)間，在這10年之內(nèi)，我們?cè)谙牖仡櫼幌?，如果回顧過(guò)去10年工作，如果我們有一次重來(lái)的機(jī)會(huì)，什么才是對(duì)我們最重要的？什么是我們團(tuán)隊(duì)優(yōu)先做好的一件事情？然后思考，然后再去深思，支撐我們更好的前行。

作為運(yùn)維團(tuán)隊(duì)來(lái)講，最最重要的事，首先讓自己做的系統(tǒng)可靠、要不容易出錯(cuò)，不要讓自己變成一個(gè)救火隊(duì)員。可靠之后，才會(huì)有更多時(shí)間解決我們的效率，讓自己的工作變得更加高效，再追求喝咖啡這樣的事情。

什么對(duì)我們的工作幫助最大？從這個(gè)圖上來(lái)講。我們寫出來(lái)的程序和代碼，包括現(xiàn)在運(yùn)行的實(shí)例都是我們管理的資源，這個(gè)資源能不能進(jìn)行一個(gè)清晰的劃分和分類，對(duì)每個(gè)資源能不能有一個(gè)形狀，然后進(jìn)行搭建。我們維護(hù)海量服務(wù)，在運(yùn)維過(guò)程中出現(xiàn)故障能不能影響項(xiàng)目服務(wù)，讓我們服務(wù)器及時(shí)處理，所以容錯(cuò)方案是非常重要的，我甚至覺(jué)得是第一步的。   

我們管理的資源清晰的分分類，同時(shí)有不同的形狀，我們要進(jìn)行各種各樣的擺放，搬遷或者是調(diào)度的時(shí)候，有一個(gè)比較流暢的系統(tǒng)去做這個(gè)事情。

我們通過(guò)什么東西來(lái)做的？用統(tǒng)一框架，CMDBA，把一個(gè)業(yè)務(wù)模塊上所有依賴資源全部登記進(jìn)去。同時(shí)如果做快速?zèng)Q策和調(diào)度，還需要有效的監(jiān)控，今天時(shí)間關(guān)系，監(jiān)控這塊不展開(kāi)講了。DLP就是我們內(nèi)部定義的一個(gè)非常關(guān)鍵的監(jiān)控，這個(gè)點(diǎn)發(fā)生了以后，就知道哪里出故障了。第二個(gè)是入口監(jiān)控，到底是什么根源導(dǎo)致了這次故障。再就是容量管理的幫助，后期如果有同事分享，大家可以再關(guān)注。我們的容錯(cuò)方案的L5是幫我們解決了容錯(cuò)、灰度，名字路由的功能。

世界管理服務(wù)器最多的系統(tǒng)是什么？是運(yùn)營(yíng)管理系統(tǒng)，大家可能不會(huì)有太多意見(jiàn)，因?yàn)樗芾砹松蟽|服務(wù)器，脈絡(luò)非常清晰，根本不會(huì)出現(xiàn)混亂。我們L5系統(tǒng)也類似于DNS系統(tǒng)，底下有一排能提供的服務(wù)模塊，從而解決的單點(diǎn)問(wèn)題。

它怎么做容錯(cuò)？L5有兩部分，一個(gè)是L5和DNS，另外一個(gè)是L5和agent。CGI通過(guò)給這個(gè)模塊提供一個(gè)ID，然后根據(jù)模塊以下設(shè)備的成功率和延遲情況，給我們一個(gè)回饋，訪問(wèn)完之后，通過(guò)成功率和延遲情況，把數(shù)據(jù)上報(bào)給了L5 agent，然后有一個(gè)統(tǒng)計(jì)數(shù)據(jù)。當(dāng)發(fā)現(xiàn)失敗率特別低的時(shí)候，就踢掉。如果發(fā)現(xiàn)成功率和失敗率有一定下降，會(huì)把訪問(wèn)權(quán)重降低，從而達(dá)到容錯(cuò)和負(fù)載均衡的作用。

我們可以注冊(cè)一個(gè)模塊，加多臺(tái)設(shè)備，形成容錯(cuò)效果。如果發(fā)現(xiàn)一臺(tái)機(jī)器失敗率很高，就把它踢掉。它的成功率恢復(fù)過(guò)來(lái)，我們還可以再加回來(lái)。

我們新加一臺(tái)服務(wù)器設(shè)計(jì)它的權(quán)重為1，假如之前的是100，我們可以逐漸上線。我們還可以給它一個(gè)得分，得分下降的時(shí)候，快速把它踢掉。

L5對(duì)運(yùn)維團(tuán)隊(duì)的幫助是最大的事情，幫我們解決了日常工作中大量單點(diǎn)故障，早期做開(kāi)發(fā)的同事都知道，非常習(xí)慣用一個(gè)ip+Port處理故障，它也解決了這個(gè)問(wèn)題。

同過(guò)名字便利的服務(wù)上下線，可通過(guò)權(quán)重灰度上線。模塊訪問(wèn)關(guān)系可幫助定位根源故障，接口的延遲和失敗率可用來(lái)監(jiān)控，它是集容錯(cuò)、負(fù)債均衡、路由、灰度監(jiān)控能力于一身的，所以對(duì)運(yùn)維的幫助非常大。

統(tǒng)一框架和架構(gòu)。我們團(tuán)隊(duì)里面有上千號(hào)開(kāi)發(fā)同事，每年有大量畢業(yè)生加入，也會(huì)有社交同事。他們進(jìn)來(lái)以后，都希望在我們平臺(tái)上做很多代碼的貢獻(xiàn)，或者展現(xiàn)一些技術(shù)實(shí)力，或者提高自己。問(wèn)題是我們的開(kāi)發(fā)里面，我們有管道、消息隊(duì)列、信息文件鎖、記錄鎖、文件影射內(nèi)存，還有迭代服務(wù)器Select poll Io等，我們用各種各樣技術(shù)組合生產(chǎn)出來(lái)的代碼，交給團(tuán)隊(duì)維護(hù)，數(shù)以萬(wàn)計(jì)不同性格的服務(wù)器，要掌握得非常好，能了解它的工作機(jī)制和原理，更好的維護(hù)它基本上是不可能的事情，所以我要求把這個(gè)框架的部分，也就是網(wǎng)絡(luò)通訊的部分，列成一個(gè)標(biāo)準(zhǔn)框架，提高它的通訊效率，統(tǒng)一維護(hù)。業(yè)務(wù)邏輯部分以SO動(dòng)態(tài)庫(kù)方式編寫，與框架分離部署，類似WEB服務(wù)器上的CGI。接入層用QZHTTP，邏輯層是SPP和SF的框架。

我們社區(qū)類服務(wù)，用戶的熱點(diǎn)并不是很集中，數(shù)據(jù)量、訪問(wèn)量還是很大的，我們大量的是用CKV存儲(chǔ)，同時(shí)還有一個(gè)訪問(wèn)量非常大的，比如說(shuō)一個(gè)用戶沒(méi)有開(kāi)通空間，甚至是一個(gè)游戲用戶，他甚至是會(huì)員等等的標(biāo)記，有一個(gè)定位就可以了，形成一個(gè)高訪問(wèn)量的模塊。

這樣一個(gè)架構(gòu)體系，接入層是TGW，流量從它進(jìn)、從它出。對(duì)于中間層，我們L5進(jìn)行一個(gè)這樣的調(diào)度，在存儲(chǔ)層，因?yàn)槊恳粋€(gè)存儲(chǔ)模塊要分耗段，我們加了Access，從上到下把技術(shù)架構(gòu)進(jìn)行了統(tǒng)一規(guī)范，同時(shí)在組織上也通過(guò)接入邏輯運(yùn)維層，進(jìn)行標(biāo)準(zhǔn)化的維護(hù)?？蚣艿慕y(tǒng)一大大減少了運(yùn)維成員學(xué)習(xí)的成本?？蚣懿粩嗟奶岣撸粫?huì)說(shuō)大量的服務(wù)器交給我們出現(xiàn)各種不同故障的可能性，可以極大的提高我們的工作效率。

對(duì)我們開(kāi)發(fā)出的程序包進(jìn)行了一個(gè)標(biāo)準(zhǔn)打包操作，一個(gè)程序開(kāi)發(fā)出來(lái)有不同特征，有的需要加銀行參數(shù)，有的需要依賴目錄，有的需要前面的準(zhǔn)備工作和后續(xù)的善后工作，我們把它全部放在一個(gè)類似于包里面，裝進(jìn)一個(gè)盒子里，我們提供標(biāo)準(zhǔn)的操作接口，比如說(shuō)安裝、卸載、啟動(dòng)、停止這樣的操作，讓它變成一個(gè)關(guān)聯(lián)的操作。

再也不會(huì)擔(dān)心說(shuō)，你不會(huì)操作這個(gè)接口。早期的時(shí)候程序開(kāi)發(fā)出來(lái)，目錄都不知道放在哪里，故障的時(shí)候都找不見(jiàn)，類似這樣的問(wèn)題再不會(huì)發(fā)生。還可以幫我們做很多善后和準(zhǔn)備工作。進(jìn)程級(jí)運(yùn)轉(zhuǎn)的所有資源都在盒子里面了，不用擔(dān)心跑不起來(lái)。因?yàn)橐粋€(gè)進(jìn)程要運(yùn)行起來(lái)，還不足以提供整體服務(wù)，我們要提供整體服務(wù)應(yīng)該是同一個(gè)模塊提供，這個(gè)模塊需要幾個(gè)整體服務(wù)來(lái)進(jìn)行組合，還要依賴其他的資源，我們會(huì)把這些資源形成一個(gè)虛擬的鏡像。

比如說(shuō)這個(gè)業(yè)務(wù)包，有可能有一些基礎(chǔ)包，有一些配置，還有一些目錄文件，還有權(quán)限。權(quán)限是騰訊獨(dú)有的，有些公司有，有些公司不會(huì)有。騰訊的業(yè)務(wù)，比如QQ關(guān)系鏈?zhǔn)欠浅Ｃ舾械模晕覀儍?nèi)部采用互不信任的機(jī)制。機(jī)器不能隨便標(biāo)記這個(gè)用戶是會(huì)員用戶，或者說(shuō)是一個(gè)特權(quán)用戶，一般都是采用互不信任的機(jī)制，所以在發(fā)展過(guò)程中，逐漸出現(xiàn)了要授權(quán)的模塊，而這個(gè)模塊需要我們?nèi)ゾ€下發(fā)郵件走流程申請(qǐng)，或者在線上走一個(gè)電子流審批，這時(shí)候就有人介入了。我就不展開(kāi)講了，因?yàn)樗鼘?duì)我們很重要，但是可能在小公司或者一些傳統(tǒng)企業(yè)并不會(huì)存在。完成這樣一件事情以后，我們就相當(dāng)于把這個(gè)模塊運(yùn)行的完整資源依賴全部裝箱操作，進(jìn)行整體完整的部署，這樣會(huì)導(dǎo)致我們不再需要類似以前老是要提供什么模塊的使用文檔、說(shuō)明書這樣的事情，就非常容易操作了。

之后做變更就會(huì)非常容易。我們有一個(gè)內(nèi)部的織云自動(dòng)化部署平臺(tái)，第一步申請(qǐng)?jiān)O(shè)備獲取資源，發(fā)布部署，然后檢測(cè)，檢測(cè)完之后進(jìn)行測(cè)試，測(cè)試之后就可以上線。每一步里面，還有一些細(xì)節(jié)的步驟，比如說(shuō)這么多步。比如說(shuō)申請(qǐng)?jiān)O(shè)備的時(shí)候要屏蔽告警事件，發(fā)布的時(shí)候要同步傳輸文件，發(fā)布之后要檢測(cè)程序的包進(jìn)程是不是啟動(dòng)了，啟動(dòng)之后進(jìn)行業(yè)務(wù)測(cè)試，然后進(jìn)行慢慢上線。

這就是我們織云內(nèi)部自動(dòng)化部署的平臺(tái)，我們相當(dāng)于把這個(gè)進(jìn)程開(kāi)發(fā)出來(lái)以后，依賴的資源全部打包放在盒子里，把盒子里的東西放在我們的資源倉(cāng)庫(kù)中，有一些模塊全部登記在CMDB。如果我們要部署一個(gè)模塊A，或者說(shuō)進(jìn)行擴(kuò)容，可能是人工觸發(fā)，或者自動(dòng)系統(tǒng)觸發(fā)，控制人工系統(tǒng)進(jìn)行操作，把模塊邊上三個(gè)資源，由資源倉(cāng)儲(chǔ)部署在模塊1上，通過(guò)L5系統(tǒng)進(jìn)行一個(gè)注冊(cè)，這個(gè)模塊就自動(dòng)上線了。我們還有一個(gè)容量監(jiān)控的監(jiān)控體系的介入，今天就不展開(kāi)了。

我們會(huì)把一個(gè)模塊登記回來(lái)，可以對(duì)它進(jìn)行自動(dòng)化的操作，每一個(gè)方塊是一個(gè)步驟，這個(gè)步驟執(zhí)行過(guò)去之后就是綠色的，執(zhí)行失敗就是紅色，或者沒(méi)有執(zhí)行的就是灰色的。執(zhí)行成功之后，可以看到，我們可以做自動(dòng)化的擴(kuò)容，可以做一些日常的演習(xí)，還有一些回收等等這樣的工作。

走在這一步的時(shí)候，我們看到整體的過(guò)程，看起來(lái)還是比較自然而然的過(guò)來(lái)。但是實(shí)際上這個(gè)事并沒(méi)有這么容易做，它是這樣的發(fā)展歷程，我們的打包規(guī)范在06到08年進(jìn)行推廣，那時(shí)候開(kāi)發(fā)代碼必須要打包，我們會(huì)做專職打包。08年到2010年組件標(biāo)準(zhǔn)化，只能選擇一種服務(wù)，當(dāng)然也有其他，你選擇其他就會(huì)非常麻煩，你需要寫為什么，還需要一些審核，當(dāng)然一定會(huì)有特例，所以這個(gè)特例就會(huì)盡量避免和減少。我們現(xiàn)在有一個(gè)業(yè)務(wù)團(tuán)隊(duì)就是維護(hù)特例的服務(wù)性，維護(hù)能力非常低，一個(gè)人可能只能維護(hù)幾百臺(tái)設(shè)備，但是標(biāo)準(zhǔn)模塊可以維護(hù)上萬(wàn)臺(tái)設(shè)備。2010到2013我們一直在進(jìn)行L5容錯(cuò)和名字服務(wù)。2013年到現(xiàn)在在做資源登記權(quán)限中心和智能化自動(dòng)化。我們能不能把08年到2010年，2010年到2013年，2013年到現(xiàn)在的事情，全部放在05到08年的時(shí)間？08年到現(xiàn)在就有8年時(shí)間做智能化、自動(dòng)化的工作，處在什么樣的自動(dòng)化的水平，這是非常讓人振奮的，所以才會(huì)有這樣的感觸。

運(yùn)維最難解決的問(wèn)題是什么？就是歷史問(wèn)題。每個(gè)團(tuán)隊(duì)都會(huì)遇到自己的歷史問(wèn)題，我挖了一個(gè)坑，又出來(lái)一個(gè)坑。講一個(gè)案例，這個(gè)事情，看起來(lái)和我們講的內(nèi)容沒(méi)有什么關(guān)系。美國(guó)有一個(gè)西南航空公司，1971年成立，現(xiàn)在是美國(guó)第二大航空公司，大概有600架飛機(jī)，國(guó)航是590多架，它的市值是280多億美金。最大成績(jī)是連續(xù)33年持續(xù)盈利，包括911恐怖襲擊之后，美國(guó)大批航空公司倒閉，它還可以盈利，非常的平穩(wěn)。它在創(chuàng)始之初就做了一個(gè)決策，只購(gòu)買播音737-700型飛機(jī)，用網(wǎng)狀去樞紐化的營(yíng)運(yùn)策略，目的就是高效運(yùn)營(yíng)起來(lái)，不去中心樞紐型的地方排隊(duì)，飛機(jī)也是中小型飛機(jī)，這樣就可以看出來(lái)，它最初的頂層設(shè)計(jì)，就是比較高效的運(yùn)作方式，也是未來(lái)過(guò)程中產(chǎn)生立于不敗之地的情況。

雖然我們的團(tuán)隊(duì)不能重來(lái)一次，現(xiàn)在有很多創(chuàng)業(yè)團(tuán)隊(duì)，有很多新項(xiàng)目，我們能不能在最初的時(shí)候，就有運(yùn)維和開(kāi)發(fā)共同參與制訂這樣一些，對(duì)未來(lái)運(yùn)維工作有預(yù)見(jiàn)性的規(guī)范規(guī)則，最后再由開(kāi)發(fā)把它根基打好，開(kāi)發(fā)對(duì)用戶的幫助非常大，一定是運(yùn)維和開(kāi)發(fā)深度配合合作，才能打造高效運(yùn)維基礎(chǔ)，達(dá)到一個(gè)高效的效果。

云計(jì)算是這幾年發(fā)展最快的一個(gè)產(chǎn)品，而且我們相信它也一定會(huì)是我們?cè)贗T領(lǐng)域未來(lái)的一個(gè)大趨勢(shì)，同時(shí)再一個(gè)標(biāo)準(zhǔn)這樣的東西，一定程度上和高效、可靠一定是同義詞。我相信云計(jì)算未來(lái)一定會(huì)成為超級(jí)標(biāo)準(zhǔn)，它是把IT領(lǐng)域里面的各種問(wèn)題的解決方案逐漸的通過(guò)整個(gè)行業(yè)的智慧，把它最終形成一個(gè)統(tǒng)一的解決方案。

騰訊也有騰訊云的服務(wù)，我們騰訊云現(xiàn)在也是業(yè)界領(lǐng)先的公有云的服務(wù)商，經(jīng)過(guò)過(guò)去幾年發(fā)展，尤其是去年翻倍式增長(zhǎng)，目前全球有50家數(shù)據(jù)中心，有500家數(shù)據(jù)加速節(jié)點(diǎn)，超過(guò)10T整體帶寬，4T防DDOS攻擊能力，700萬(wàn)+域名提供解析。我們也希望各位同事可以關(guān)注騰訊云，支持騰訊云，謝謝大家！ 

以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道，敬請(qǐng)關(guān)注。