騰訊游戲運(yùn)營(yíng)管理總監(jiān)劉棲銅

騰訊互動(dòng)娛樂事業(yè)群的主營(yíng)業(yè)務(wù)是游戲，所有騰訊游戲都是由這個(gè)事業(yè)群做的，估計(jì)很多人都玩過，像《英雄聯(lián)盟》、《全民突擊》等。我所在的部門叫運(yùn)營(yíng)部，負(fù)責(zé)所有騰訊游戲的技術(shù)運(yùn)營(yíng)工作。

比如說在騰訊游戲上一年花八萬，就是我們的VIP，我們有專屬的服務(wù)經(jīng)理對(duì)接，就像銀行的VIP用戶一樣。這里就不展開了，重點(diǎn)說說我所負(fù)責(zé)的運(yùn)維管理工作吧：

如上所說，我們所負(fù)責(zé)的運(yùn)維工作，是運(yùn)營(yíng)部的一部分工作。我們現(xiàn)在運(yùn)維了幾百款游戲，而且數(shù)字還在快速增長(zhǎng)，特別手游加入以來，每年都有一兩百款。

簡(jiǎn)單介紹一下騰訊游戲運(yùn)維團(tuán)隊(duì)的發(fā)展歷程：我們團(tuán)隊(duì)是2003年隨著騰訊代理《凱旋》游戲而成立的，發(fā)展到2005年的時(shí)候，我們做了一件事情，就是DO分離，DO分離的概念前些年提得比較多，現(xiàn)在大家好像不再提了?；仡^來看，我們覺得DO分離是很有必要的，因?yàn)殚_發(fā)跟運(yùn)維需要具備的核心能力是不同的。

接下來，在2006年的時(shí)候我們做了QO分離，意思就是我們把質(zhì)量管理團(tuán)隊(duì)（QA）和運(yùn)維分離開了，這個(gè)后面我會(huì)再講一下。隨著團(tuán)隊(duì)進(jìn)一步擴(kuò)張，業(yè)務(wù)進(jìn)一步增加，2007年的時(shí)候我們把DBA專業(yè)團(tuán)隊(duì)分離出來了。

到2009年的時(shí)候發(fā)現(xiàn)業(yè)務(wù)發(fā)展很快，老板不給我們這么多人，怎么辦？光靠人去填的模式已經(jīng)運(yùn)行不下去了，所以當(dāng)時(shí)成立了運(yùn)維開發(fā)團(tuán)隊(duì)，專門建設(shè)運(yùn)維工具。同時(shí)在2009年我們還成立了一個(gè)內(nèi)部安全團(tuán)隊(duì)，這個(gè)團(tuán)隊(duì)可能很多公司都沒有，比較特殊。

因?yàn)榇蠹抑烙螒蛐袠I(yè)，有些游戲類道具非常值錢，說不準(zhǔn)哪個(gè)同學(xué)手一抖給自己加個(gè)幾十萬，所以我們成立了內(nèi)部安全團(tuán)隊(duì)，做安全監(jiān)控，其中也包括權(quán)限控制，大家都知道，自動(dòng)化系統(tǒng)權(quán)限控制非常重要，如果這個(gè)沒控制好就會(huì)出現(xiàn)災(zāi)難性后果。

時(shí)間到了2012年，我們開始提倡運(yùn)維轉(zhuǎn)型，鼓勵(lì)運(yùn)維向運(yùn)維開發(fā)轉(zhuǎn)型，讓運(yùn)維自己開發(fā)所需的工具來實(shí)現(xiàn)自動(dòng)化?，F(xiàn)在，我們提倡運(yùn)維服務(wù)化和平臺(tái)產(chǎn)品化，這個(gè)后文會(huì)提到。

接下來，我從文化、組織、人、流程、工具這幾個(gè)維度分享一下運(yùn)維管理的點(diǎn)滴經(jīng)驗(yàn)。

我們團(tuán)隊(duì)的運(yùn)維文化

運(yùn)維文化：當(dāng)一個(gè)團(tuán)隊(duì)規(guī)模較大時(shí)，例如我們團(tuán)隊(duì)，有兩三百人的規(guī)模，這個(gè)時(shí)候我們可能需要一些文化層面的東西來統(tǒng)一大家的思想，讓大家在行為上按照我們的文化來思考和執(zhí)行。

我們目前提倡的文化，叫“運(yùn)維四化”：服務(wù)化、標(biāo)準(zhǔn)化、自動(dòng)化、產(chǎn)品化。標(biāo)準(zhǔn)化和自動(dòng)化大家都比較好理解，我就不講了。重點(diǎn)強(qiáng)調(diào)一下我們?yōu)槭裁刺岢鲞\(yùn)維的服務(wù)化。

#p#

為什么要“服務(wù)化”？

運(yùn)維的本質(zhì)到底是什么？

我從2002年開始做運(yùn)維，一直到現(xiàn)在，都算是在運(yùn)維行業(yè)里摸爬滾打，以前，我覺得做好發(fā)布變更、故障處理，讓業(yè)務(wù)保持運(yùn)行穩(wěn)定就是運(yùn)維的價(jià)值，但通過這幾年的思考和實(shí)踐，我覺得那是不夠的。

那么運(yùn)維的本質(zhì)到底是什么呢？我覺得是服務(wù)，是服務(wù)于業(yè)務(wù)，因?yàn)檫\(yùn)維是用技術(shù)解決業(yè)務(wù)問題，運(yùn)維的價(jià)值要依托于業(yè)務(wù)才能體現(xiàn)。

運(yùn)維不是因?yàn)榧夹g(shù)高深，或者管理了幾萬臺(tái)服務(wù)器而很牛逼，也不是能玩轉(zhuǎn)很多開源工具而很牛逼，這都不是運(yùn)維的關(guān)鍵。

我提一個(gè)觀點(diǎn)：對(duì)于運(yùn)維來說，服務(wù)第一，技術(shù)第二。運(yùn)維技術(shù)再牛，如果不能服務(wù)于業(yè)務(wù)，幫助業(yè)務(wù)取得成功，那價(jià)值也是有限的。那么怎樣服務(wù)業(yè)務(wù)呢？我們總結(jié)了四點(diǎn)：

1.貼近業(yè)務(wù)：就是我們一定要與業(yè)務(wù)走得比較近，保持信息的暢通。

2.理解業(yè)務(wù)： 要知道業(yè)務(wù)目標(biāo)是什么，用戶群是什么，商業(yè)模式是什么樣的。之前我見過很多運(yùn)維，甚至在公司做了半年、一年，還不知道所運(yùn)維的業(yè)務(wù)的商業(yè)模式是什么，這樣的話，我們?cè)趺茨苡嗅槍?duì)性地提供服務(wù)，去幫助業(yè)務(wù)成功呢？ 理解業(yè)務(wù)還意味著要站在業(yè)務(wù)運(yùn)營(yíng)的角度思考問題，而不僅僅站在運(yùn)維的角度思考。

3.挖掘需求背后的價(jià)值：我們經(jīng)常會(huì)收到運(yùn)營(yíng)人員提出的需求，在理解業(yè)務(wù)的基礎(chǔ)上，我們要挖掘這些業(yè)務(wù)需求背后的價(jià)值，比如說運(yùn)營(yíng)人員讓發(fā)一個(gè)版本，做為運(yùn)維，我們是不是把這個(gè)版本發(fā)布完就OK了呢？

肯定是不夠的，我們還要去看業(yè)務(wù)發(fā)這個(gè)版本的目的是什么？可能是為了拉新用戶，也有可能是做個(gè)活動(dòng)去拉收入，或者是修復(fù)bug。

每一個(gè)版本的目的不一樣，運(yùn)維所做的事情是可以不同的。比如這個(gè)版本是拉新用戶，我們把版本發(fā)布完以后，還可以采集更多的數(shù)據(jù)，去幫助運(yùn)營(yíng)人員分析，看是不是達(dá)到了拉新用戶的目的?；蛘邊f(xié)助運(yùn)營(yíng)人員分析，這個(gè)版本的用戶體驗(yàn)對(duì)于拉新用戶是不是有瓶頸。這都是運(yùn)維可做的事情，也是業(yè)務(wù)運(yùn)營(yíng)很需要的事情。

4.擴(kuò)展服務(wù)價(jià)值：著眼于業(yè)務(wù)和服務(wù)，我們可以不斷挖掘到新的價(jià)值點(diǎn)，擴(kuò)展運(yùn)維服務(wù)的價(jià)值。

當(dāng)然了，這里絕不是說技術(shù)不重要，優(yōu)秀的運(yùn)維服務(wù)需要強(qiáng)大的技術(shù)來支持。舉個(gè)例子，你想?yún)f(xié)助運(yùn)營(yíng)人員做用戶體驗(yàn)的分析，這需要較強(qiáng)的技術(shù)能力來支撐。因?yàn)橄裆鲜龅陌姹緮?shù)據(jù)分析對(duì)實(shí)時(shí)性的要求很高，如果你沒有及時(shí)分析出來，錯(cuò)過了運(yùn)營(yíng)時(shí)機(jī)可能就來不及調(diào)整了。

可以說，業(yè)務(wù)視角和服務(wù)意識(shí)決定了運(yùn)維服務(wù)可以拓展到哪里，而技術(shù)能力則決定了這些服務(wù)最終可以實(shí)現(xiàn)多少。

前文講了我們的歷程，在2009年，我們做了一些組織分工，我們DBA團(tuán)隊(duì)，開發(fā)團(tuán)隊(duì)，安全團(tuán)隊(duì)都從這里分離出來了。

關(guān)于組織

這里想分享的經(jīng)驗(yàn)是：當(dāng)團(tuán)隊(duì)和業(yè)務(wù)發(fā)展到一定規(guī)模的時(shí)候一定要考慮到專業(yè)化分工，業(yè)務(wù)和團(tuán)隊(duì)規(guī)模小的時(shí)候沒必要分的太細(xì)，因?yàn)闃I(yè)務(wù)場(chǎng)景對(duì)專業(yè)性的要求可能不高，隨著業(yè)務(wù)發(fā)展和團(tuán)隊(duì)變大，專業(yè)性的要求就高了。

所以我們現(xiàn)在的內(nèi)部劃分成5個(gè)角色，第一個(gè)角色是運(yùn)維規(guī)劃。大家可以認(rèn)為它是運(yùn)維的PM，他起到的作用是充分理解業(yè)務(wù)需求，挖掘需求背后的價(jià)值，同時(shí)他也熟悉運(yùn)維內(nèi)部的各種資源，可以協(xié)調(diào)各種資源來滿足業(yè)務(wù)的需求。這些運(yùn)維規(guī)劃都是從運(yùn)維成長(zhǎng)起來的，懂運(yùn)維。

第二個(gè)角色業(yè)務(wù)運(yùn)維，這個(gè)就不講了，大家都清楚。

第三個(gè)角色DBA，大家都知道DBA的重要性，他們最重要的職責(zé)之一就是要保證數(shù)據(jù)的安全。一個(gè)業(yè)務(wù)，就算是遇到像攜程這次的情況，就算全部線上環(huán)境都沒有了，但是只要數(shù)據(jù)還在，業(yè)務(wù)都還是可以恢復(fù)的，但如果連數(shù)據(jù)都找不到了，那就真完蛋了，所以DBA一定是獨(dú)立的，一定要保證數(shù)據(jù)是萬無一失的。

系統(tǒng)運(yùn)維這個(gè)角色也不說了，大家也比較清楚。

還有就是運(yùn)維開發(fā)的角色，我們覺得運(yùn)維開發(fā)不是傳統(tǒng)的開發(fā)，運(yùn)維開發(fā)首先是運(yùn)維，其次才是開發(fā)，他們需要站在運(yùn)維視角看問題的，站在運(yùn)維視角開發(fā)工具給運(yùn)維用。

關(guān)于人員管理和培養(yǎng)體系

組織里最重要的是人。在一個(gè)一定規(guī)模的團(tuán)隊(duì)里，建立人員的成長(zhǎng)和培養(yǎng)體系是很重要的，尤其像規(guī)模到幾百人的時(shí)候，我們?cè)趺礃颖ＷC團(tuán)隊(duì)里的同學(xué)們具備相應(yīng)的能力和成長(zhǎng)空間。

在我們團(tuán)隊(duì)里，有一套運(yùn)維的成長(zhǎng)體系，運(yùn)維同學(xué)希望從事管理或者協(xié)調(diào)方面的工作，可以往運(yùn)維規(guī)劃方向發(fā)展；如果希望從事開發(fā)方面的工作，可以向運(yùn)維開發(fā)方向發(fā)展。

配合成長(zhǎng)體系，有一套培養(yǎng)體系。新人加入以后，首先有新人培訓(xùn)。這里所培訓(xùn)的內(nèi)容都是與運(yùn)維相關(guān)的，比如運(yùn)維系統(tǒng)的培訓(xùn)，在新人培訓(xùn)里有專門的篇幅是安全意識(shí)相關(guān)的，從剛?cè)肼氶_始就灌輸安全意識(shí)。此外，新人培訓(xùn)中還包括騰訊游戲運(yùn)維血淚史，通過分享之前的教訓(xùn)提高新同學(xué)的運(yùn)維操作意識(shí)。

新人在入職以后到轉(zhuǎn)正有三個(gè)月，在這三個(gè)月中，一般情況下新同學(xué)不能獨(dú)立操作正式的運(yùn)營(yíng)環(huán)境。只能在導(dǎo)師的帶領(lǐng)下操作。

那怎么才能具備獨(dú)立操作能力呢？需要考運(yùn)維上崗認(rèn)證，這個(gè)認(rèn)證包括考試和評(píng)估兩個(gè)環(huán)節(jié)，考試的內(nèi)容大部分是新人培訓(xùn)的內(nèi)容，例如安全意識(shí)、運(yùn)維操作規(guī)范等。

評(píng)估的形式是幾位資深的運(yùn)維現(xiàn)場(chǎng)對(duì)被評(píng)估者進(jìn)行評(píng)測(cè)，考察他們?cè)诟鞣N場(chǎng)景的理解和反應(yīng)，這些是不能通過背書本知識(shí)來回答的，所以還是比較考驗(yàn)新同學(xué)的能力和意識(shí)的。

通過上崗認(rèn)證后會(huì)拿到一個(gè)上崗證，以前是會(huì)發(fā)一個(gè)紅色的證書，現(xiàn)在不發(fā)實(shí)體證書了，變成電子的了。這個(gè)上崗證后面還有一個(gè)作用，后面我會(huì)講到。

新同學(xué)轉(zhuǎn)正后，日常工作中會(huì)接觸到很多技術(shù)培訓(xùn)和分享，這些大部分是由內(nèi)部同學(xué)貢獻(xiàn)的，當(dāng)然也有公司內(nèi)外部的各種培訓(xùn)資源。

當(dāng)某位同學(xué)在團(tuán)隊(duì)內(nèi)工作了一段時(shí)間之后可能會(huì)面臨成長(zhǎng)的問題，我們會(huì)挑選出有潛力的同學(xué)上運(yùn)營(yíng)規(guī)劃培養(yǎng)班或運(yùn)維開發(fā)培訓(xùn)班。這兩個(gè)培養(yǎng)班分別培養(yǎng)運(yùn)營(yíng)規(guī)劃和運(yùn)維開發(fā)。拿運(yùn)營(yíng)規(guī)劃培養(yǎng)班做例子，選定的同學(xué)經(jīng)過半年的培養(yǎng)后通過考核才能成為的運(yùn)營(yíng)規(guī)劃，通過率大概在40~60%。

#p#

運(yùn)維人員的考核體系

運(yùn)維人員的考核分為幾個(gè)部分：

第一，業(yè)務(wù)指標(biāo)。

業(yè)務(wù)指標(biāo)就是業(yè)務(wù)的一些關(guān)鍵性指標(biāo)，比如可用性、發(fā)布效率等等，還有很多其他指標(biāo)。這些指標(biāo)的作用是評(píng)估運(yùn)維人員的基礎(chǔ)工作完成質(zhì)量，這是由QA，就是前面所述的質(zhì)量管理團(tuán)隊(duì)統(tǒng)計(jì)的，不是運(yùn)維自己上報(bào)的，這樣可以保證其客觀性。

第二，關(guān)鍵事件。

關(guān)鍵事件是運(yùn)維自己制定的，用于引導(dǎo)運(yùn)維不斷優(yōu)化工作。這個(gè)關(guān)鍵事件每個(gè)月定一次，由運(yùn)維和他的leader和運(yùn)維規(guī)劃三方一起制定。

舉個(gè)例子，我們發(fā)現(xiàn)某個(gè)游戲它的發(fā)布時(shí)長(zhǎng)過長(zhǎng)，就可以把發(fā)布時(shí)長(zhǎng)優(yōu)化做為這個(gè)游戲的運(yùn)維人員這個(gè)月的關(guān)鍵事件，目標(biāo)是把這個(gè)業(yè)務(wù)的發(fā)布時(shí)長(zhǎng)從多少降到多少。制定關(guān)鍵事件的目標(biāo)時(shí)比較細(xì)，要求是量化的，月底時(shí)運(yùn)維根據(jù)完成情況獲得關(guān)鍵事件的得分。

第三，加分項(xiàng)目。

例如做分享和培訓(xùn)都可以加分，積極參加團(tuán)隊(duì)建設(shè)也可以獲得加分。

第四，扣分項(xiàng)目

我們的考核思路是盡量用正向加分的方式引導(dǎo)，一般不扣分。除非是人為失誤造成業(yè)務(wù)故障。所謂人為失誤指運(yùn)維操作不當(dāng)造成的問題，我們對(duì)人為失誤持“低容忍” 的態(tài)度，因?yàn)槲覀冇X得做為運(yùn)維，意識(shí)是非常重要的，操作時(shí)要時(shí)時(shí)刻刻秉持小心謹(jǐn)慎的態(tài)度，抱著敬畏的心情對(duì)待運(yùn)營(yíng)環(huán)境。

如果出現(xiàn)人為失誤造成業(yè)務(wù)故障的情況，對(duì)于個(gè)人會(huì)有什么影響呢？

前面提到的運(yùn)維上崗證的另一個(gè)作用就在這里了，大家都知道違章后駕照扣分這項(xiàng)處罰措施挺有威懾力的，我們吸取了經(jīng)驗(yàn)，對(duì)運(yùn)維上崗證也實(shí)行積分扣分制度：運(yùn)維上崗證每半年都有10分的積分，如果出現(xiàn)人為失誤的故障就從中扣除一定的分?jǐn)?shù)，如果分?jǐn)?shù)扣完，上崗證就會(huì)被注銷，那么這位運(yùn)維就需要被評(píng)估是否適合在運(yùn)維崗位上繼續(xù)工作了。

當(dāng)然，這個(gè)扣分制度的目的肯定不是為了處罰，主要還是希望通過這種方式提高大家的操作意識(shí)，避免人為失誤。有的同學(xué)可能會(huì)問，為什么不靠自動(dòng)化來降低人為失誤，而要用這種考核手段？

這里我想說，根據(jù)我們的經(jīng)驗(yàn)，游戲運(yùn)維是很復(fù)雜的體系，特別是團(tuán)隊(duì)大了以后，自動(dòng)化程度再高還是有很多人為失誤的空間，最終的決定性因素還是人，所以，意識(shí)強(qiáng)化和考核手段還是不可或缺的。

關(guān)于流程的幾點(diǎn)思考

流程的本質(zhì)就是管理和控制，其實(shí)大家做的每一件事情都有流程，隨便做一個(gè)發(fā)布，做的這些步驟就是流程，所以流程其實(shí)是無處不在的。

很多運(yùn)維同學(xué)都覺得流程好麻煩，覺得流程就是給運(yùn)維的桎梏，其實(shí)用好流程是可以保護(hù)運(yùn)維的。我們很多時(shí)候需要跟運(yùn)營(yíng)和研發(fā)配合，如果用好了流程這個(gè)工具是可以保護(hù)運(yùn)維利益的。

但是，流程執(zhí)行起來的確有成本，那怎么降低流程的成本呢？

我們覺得流程應(yīng)該“隱形化”，就是讓流程融入到運(yùn)維系統(tǒng)中，讓運(yùn)維同學(xué)不用花額外的精力去執(zhí)行流程，感覺不到流程的存在，讓流程起到控制作用的同時(shí)，盡量不降低我們的效率。

關(guān)于工具建設(shè)的幾點(diǎn)思考

首先，我們認(rèn)為工具的建設(shè)者必須是工具的使用者， 要懂得應(yīng)用場(chǎng)景，否則的話，造出來的工具是不好用的。因?yàn)樵谶@里我們是吃過一些虧的，剛才提到2009年我們就建立了運(yùn)維開發(fā)團(tuán)隊(duì)，但是到2011年發(fā)現(xiàn)我們工具覆蓋的情況還是不夠好，運(yùn)維不愿意用，我們建立的是專業(yè)的開發(fā)團(tuán)隊(duì)，有產(chǎn)品經(jīng)理、開發(fā)、測(cè)試，但是為什么做出來的工具就不對(duì)運(yùn)維的胃口呢？

我們后來發(fā)現(xiàn)，開發(fā)團(tuán)隊(duì)并不懂運(yùn)維場(chǎng)景，雖然他們也會(huì)做很多運(yùn)維需求的訪談，但總是發(fā)現(xiàn)做出來的東西不是運(yùn)維想要的。

所以后來我們改變了工具開發(fā)的模式，改成在運(yùn)維中培養(yǎng)運(yùn)維開發(fā)，讓運(yùn)維開發(fā)自己開發(fā)工具給自己用。這樣的話，為了降低開發(fā)成本，我們做了藍(lán)鯨平臺(tái)，運(yùn)維只要經(jīng)過兩周左右的培訓(xùn)就可以在藍(lán)鯨上面開發(fā)工具。

標(biāo)準(zhǔn)化是自動(dòng)化最重要的一個(gè)基礎(chǔ)，如果沒有標(biāo)準(zhǔn)化的話自動(dòng)化是不會(huì)長(zhǎng)久的。如果業(yè)務(wù)之間架構(gòu)差異過大怎么辦呢？可以降低標(biāo)準(zhǔn)化的維度，比如我們?nèi)?shí)現(xiàn)原子操作的標(biāo)準(zhǔn)化。

了解的同學(xué)應(yīng)該知道，游戲架構(gòu)是很不標(biāo)準(zhǔn)化的，游戲不像Web應(yīng)用，有很多框架模型，它沒有，各家廠商各做各的，因此我們只能做原子操作的標(biāo)準(zhǔn)化，然后再在其上去組裝各種場(chǎng)景作業(yè)。

我們做自動(dòng)化一定要打通企業(yè)內(nèi)的各個(gè)信息孤島，全流程的自動(dòng)化才是真正的自動(dòng)化。只有都打通了，在作業(yè)執(zhí)行過程中才不會(huì)中斷，可以實(shí)現(xiàn)無人值守的自動(dòng)化，藍(lán)鯨平臺(tái)就是這樣的，它有一條ESB，打通了很多外部的系統(tǒng)接口。運(yùn)維在藍(lán)鯨上開發(fā)工具需要打通其他系統(tǒng)的直接調(diào)用就行了，大大提高了開發(fā)效率。

產(chǎn)品化：運(yùn)維平臺(tái)要以產(chǎn)品理念建設(shè)

最后，我想說的是，前面提到運(yùn)維文化中有一個(gè)產(chǎn)品化，為什么提產(chǎn)品化？因?yàn)槲矣X得運(yùn)維平臺(tái)是要以產(chǎn)品的理念來建設(shè)的，這里包括很多的層面，這里就簡(jiǎn)單提其中一點(diǎn)：重視平臺(tái)的用戶交互。以前，大家覺得運(yùn)維平臺(tái)是內(nèi)部系統(tǒng)，能用就行，交互好不好無所謂。

但是我們發(fā)現(xiàn)，內(nèi)部平臺(tái)也需要交互優(yōu)良，如果交互不好的話，可能有以下負(fù)面作用：一是交互不好容易造成誤操作的情況引發(fā)故障；二是交互不好，很難用的話可能會(huì)被內(nèi)部用戶拋棄，被新的系統(tǒng)或平臺(tái)替代。

所以，運(yùn)維平臺(tái)做為內(nèi)部平臺(tái)，也需要重視用戶的交互，一定要有良好的界面，要讓用戶操作起來比較方便而且不容易發(fā)生誤操作。