[[157725]]

從運(yùn)維服務(wù)的“四化建設(shè)”談起

2014年，騰訊游戲運(yùn)維負(fù)責(zé)人劉棲銅在《騰訊游戲云的理想與實(shí)踐》分享中講到對下一代游戲運(yùn)維的定義，通過運(yùn)維服務(wù)的“四化建設(shè)”，即標(biāo)準(zhǔn)化、自動化、服務(wù)化、產(chǎn)品化，幫助游戲走向成功，具體包括運(yùn)維服務(wù)體系的規(guī)劃，運(yùn)維工具體系的建設(shè)，用戶游戲體驗(yàn)優(yōu)化觸達(dá)，產(chǎn)品運(yùn)營決策輔助支持等等。

　　今天，我跟大家分享一些騰訊游戲運(yùn)維在過去幾年里是如何落地去做的。我們經(jīng)歷了運(yùn)維建設(shè)的三個階段：

　　◆第一個階段：聚焦標(biāo)準(zhǔn)化

　　◆第二個階段：圍繞服務(wù)化

　　◆第三個階段：面向智能化

　　運(yùn)維轉(zhuǎn)型前的狀況

　　騰訊有一個QQ游戲平臺的業(yè)務(wù)里面有幾百款的小游戲，日活躍百萬，變更需求日益頻繁，每天QQ游戲運(yùn)維5名同事要面對數(shù)以百計的開發(fā)人員不計其數(shù)的日常各類需求。面對這些需求，一開始整個QQ團(tuán)隊(duì)處在非常被動的情況下，因?yàn)楸旧磉\(yùn)維能力也比較單一，沒有辦法并發(fā)處理大量的需求。

　　運(yùn)維轉(zhuǎn)型的多崗分工

　　基于這種十分被動的情況，QQ游戲運(yùn)維團(tuán)隊(duì)做了一件事情，運(yùn)維轉(zhuǎn)型。

　　設(shè)置不同的運(yùn)維崗位：

　　◆第一類：操作運(yùn)維，專注反復(fù)度高的工作。

　　◆第二類：業(yè)務(wù)運(yùn)維，專注基礎(chǔ)運(yùn)維工作。

　　◆第三類：規(guī)劃運(yùn)維，專注在運(yùn)維工作項(xiàng)目管理及需求規(guī)劃設(shè)計。

　　◆第四類：開發(fā)運(yùn)維，專注運(yùn)維工具的開發(fā)。

　　多崗運(yùn)維的互相配合

　　1.業(yè)務(wù)運(yùn)維：熟悉業(yè)務(wù)，并把常規(guī)的發(fā)布變更任務(wù)定義成原子。

　　2.開發(fā)運(yùn)維：通過平臺的頁面進(jìn)行原子操作的流程作業(yè)開發(fā)，日常操作頁面化。

　　3.規(guī)劃運(yùn)維：把這些場景按操作流程，自由組合封裝起來。

　　4.操作運(yùn)維：固化流程，并進(jìn)行工具的操作。

　　QQ游戲運(yùn)維通過不斷的工具建設(shè)，操作運(yùn)維執(zhí)行需求的比例不斷上升，目前超過90%以上(也就是自動化程度)。業(yè)務(wù)運(yùn)維基本上可以不用再做這些日常重復(fù)度很高的工作了。

　　QQgame運(yùn)維團(tuán)隊(duì)是騰訊游戲的一個縮影，通過這樣的創(chuàng)新模式，我們看到運(yùn)維完全可以通過標(biāo)準(zhǔn)化的工具建設(shè)來解決業(yè)務(wù)爆發(fā)式增長與運(yùn)維人員人力支撐間的矛盾，這種模式可以給更多的業(yè)務(wù)進(jìn)行復(fù)用，也是運(yùn)維團(tuán)隊(duì)作為平臺技術(shù)所體現(xiàn)的核心價值之一。

　　標(biāo)準(zhǔn)化之路并不平坦

　　實(shí)踐路上，我們在標(biāo)準(zhǔn)化建設(shè)中也碰到一些問題，比如：

　　◆在我們標(biāo)準(zhǔn)化建設(shè)的第一個半年里面，整個藍(lán)鯨平臺也是在發(fā)展過程當(dāng)中，它周邊的接口也不夠豐富。

　　◆我們認(rèn)為標(biāo)準(zhǔn)化就是把之前做過三、四十款游戲經(jīng)驗(yàn)總結(jié)出來，結(jié)果導(dǎo)致了對原有的業(yè)務(wù)再改造起來成本很高。

　　◆另外，藍(lán)鯨平臺并發(fā)的性能，最早期的時候，它是串型處理的。

　　通過半年的調(diào)整之后，隨著藍(lán)鯨整個工具平臺逐步的成熟之后，我們接口比原來豐富了。我們的步驟比原來更靈活了，并且允許不同的業(yè)務(wù)進(jìn)行自定義。在工具上線過程當(dāng)中有開發(fā)的標(biāo)準(zhǔn)界定，有工具審核。現(xiàn)在騰訊游戲的基礎(chǔ)操作都要求并很容易進(jìn)行標(biāo)準(zhǔn)接入了。

　　過去一年里，通過標(biāo)準(zhǔn)化工具，在發(fā)布、開區(qū)、擴(kuò)容，縮容、自定義等場景中共執(zhí)行2W+次任務(wù)，剔除了等待、中途未完成的任務(wù)，相當(dāng)于700天+工作量，這使得我們的運(yùn)維有更多時間邊喝咖啡邊創(chuàng)造更多有意義的工作。

　　看服務(wù)化運(yùn)維是如何煉成的

　　如果說標(biāo)準(zhǔn)化運(yùn)維解決了運(yùn)維本身的痛點(diǎn)，那么在服務(wù)化運(yùn)維里面，其實(shí)更多的要去解決產(chǎn)品的痛點(diǎn)。

　　基礎(chǔ)的運(yùn)維工作是被動的。服務(wù)化的運(yùn)維是主動的運(yùn)維，我們自己發(fā)現(xiàn)問題，并且通過我們的能力解決問題。我們通過數(shù)據(jù)驅(qū)動我們的服務(wù)。我們在整個的服務(wù)化當(dāng)中，非常強(qiáng)調(diào)運(yùn)維閉環(huán)服務(wù)。

　　讓我們一起看一下騰訊游戲“4大名著”之DNF(地下城與勇士)的運(yùn)維怎么進(jìn)行服務(wù)化運(yùn)維的突破。

　　我們就從DNF的玩家在線恢復(fù)時長優(yōu)化來說。13年DNF在1月份大版本發(fā)布后，我們花了將近12個小時才恢復(fù)正常的玩家在線。經(jīng)過3年不斷的建設(shè)，我們在今年6月份的時候，僅用了0.9個小時就做到了。

那是怎么樣做到的呢?

　　首先來看一下進(jìn)入游戲時長優(yōu)化，在線恢復(fù)過程中，有一個重要的因子，就是玩家更新好最新的補(bǔ)丁后進(jìn)入到游戲所用的時長，補(bǔ)丁包越大更新進(jìn)入游戲的時間越長，比如在DNF，300M補(bǔ)丁包會使在線恢復(fù)的曲線很慢才能正常。

　　所以我們就在補(bǔ)丁包的下載優(yōu)化上進(jìn)行嘗試，13年時主要還是通過HTTP完成自動更新，玩家在開服的一瞬間涌進(jìn)來更新，雖然CDN的峰值帶寬很高，但實(shí)際上單用戶平均下載速度只有157k，更新非常慢，所以第一步我們在特定時間范圍內(nèi)提升單用戶下載速度到485k，這樣先解決了燃眉之急。

　　但這樣的方案只是臨時解決。

　　緊接著，14年6月份我們對預(yù)下載方案進(jìn)行第一個版本的測試，通過游戲登陸器，我們用預(yù)下載的方式推送補(bǔ)丁包，下載速度提升到650k，在今年的5月份整個預(yù)下載做進(jìn)一步的優(yōu)化，以及進(jìn)行多渠道推送，下載速度又提升到1.2M，帶寬峰值進(jìn)一步下降。

　　DNF的在線時長優(yōu)化，第二個重點(diǎn)是策略下發(fā)。初期，我們采用了用戶平均在線時長來控制策略下發(fā)以及下載速率，但發(fā)現(xiàn)一個問題，因?yàn)橛脩羝骄鶗r長不能精確到某個時段，所以策略下發(fā)成功率可能只有50%。

　　通過進(jìn)一步的研究，我們發(fā)現(xiàn)可以通過用戶活躍時長分布指標(biāo)來進(jìn)行更精準(zhǔn)的策略下發(fā)。比如晚高峰的時候，策略對某一些大區(qū)或者某一類活躍用戶進(jìn)行預(yù)下載推送效果很好。

　　用戶活躍時長其實(shí)在很早以前的產(chǎn)品運(yùn)營數(shù)據(jù)里就有。但如果沒有長期深入的研究，誰會想到會跟下載數(shù)據(jù)、在線恢復(fù)時長數(shù)據(jù)等有如此緊密的關(guān)聯(lián)?這在傳統(tǒng)的運(yùn)維工作中很難想象。

　　除了這兩點(diǎn)，在線恢復(fù)時長優(yōu)化中，我們還時刻關(guān)注游戲內(nèi)玩家的掉線率，依托藍(lán)鯨平臺提供的各類工具，我們可以實(shí)時監(jiān)控，與開發(fā)人員定位問題，如遇程序Bug，爭取晚高峰來臨前修復(fù)問題，從而保證整體在線穩(wěn)定。

　　我們從12年開始進(jìn)行建設(shè)，包括去歸納整個騰訊游戲用戶生命周期的線路，從而形成了整個騰訊游戲運(yùn)維服務(wù)體系。我們就是依托于這樣的體系去進(jìn)行運(yùn)維服務(wù)建設(shè)的。

　　我們會把游戲的服務(wù)場景分為登陸服務(wù)、下載服務(wù)、版本服務(wù)、用戶體驗(yàn)服務(wù)、運(yùn)營成本服務(wù)等等，每一種服務(wù)都有明確的定義以及數(shù)據(jù)衡量標(biāo)準(zhǔn)。

　　這個體系還在不斷完善當(dāng)中，將來可以作為游戲運(yùn)維服務(wù)標(biāo)準(zhǔn)的框架，希望能幫助到更多游戲行業(yè)的運(yùn)維同學(xué)更好服務(wù)于業(yè)務(wù)，也希望除了游戲之外，未來還會有更多的互聯(lián)網(wǎng)行業(yè)公司，可以從游戲的標(biāo)準(zhǔn)場景里獲得大家本行業(yè)的一些思考與實(shí)踐。

　　智能化運(yùn)維的探索

　　騰訊游戲技術(shù)運(yùn)營的愿景是：“游戲智能化運(yùn)營的領(lǐng)航者”。

　　對于智能運(yùn)維，我們認(rèn)為通過了之前的標(biāo)準(zhǔn)建設(shè)，通過了服務(wù)化建設(shè)之后我們有足夠的平臺，我們有這么多的業(yè)務(wù)數(shù)據(jù)，我們可以通過更好的閉環(huán)，通過更好的智能策略下發(fā)讓整個游戲的運(yùn)維服務(wù)更加智能。

　　在智能化的運(yùn)維服務(wù)里面，我們需要考慮這幾點(diǎn)：

　　1.業(yè)務(wù)數(shù)據(jù)的收集和清洗，經(jīng)過大量的收集以后，去進(jìn)行智能清洗以后才能找到每個不同業(yè)務(wù)的邏輯所需要的最核心的數(shù)據(jù)。

　　2.希望通過復(fù)雜的業(yè)務(wù)場景進(jìn)行智能分析，并且決策下發(fā)以及精準(zhǔn)推送，目前還是一些人工做的，這一部分我們相信在未來智能運(yùn)維服務(wù)里面不需要人工干預(yù)。

　　3.所有的運(yùn)維服務(wù)需要閉環(huán)自動執(zhí)行，閉環(huán)對于我們運(yùn)維服務(wù)將成為基本要求。

　　4.運(yùn)維大數(shù)據(jù)影響產(chǎn)品運(yùn)營決策，在去年分享里面講到運(yùn)維服務(wù)未來應(yīng)該影響到產(chǎn)品的決策，我們希望通過更多的運(yùn)維大數(shù)據(jù)分析，能幫助到產(chǎn)品的運(yùn)營決策。在智能運(yùn)維里，成本和服務(wù)是互相兼顧的。

　　總結(jié)

　　騰訊游戲運(yùn)維通過標(biāo)準(zhǔn)化走向了服務(wù)化，目前正在智能化運(yùn)維方向不斷向前探索，我們相信只有智能化運(yùn)維實(shí)現(xiàn)后，運(yùn)維的自我能力與業(yè)務(wù)價值才能更好體現(xiàn)。

如何一起愉快地發(fā)展

“高效運(yùn)維”公眾號（如下二維碼）值得您的關(guān)注，作為高效運(yùn)維系列微信群的唯一官方公眾號，每周發(fā)表多篇干貨滿滿的原創(chuàng)好文：來自于系列群的討論精華、運(yùn)維講壇線上精彩分享及群友原創(chuàng)。“高效運(yùn)維”也是互聯(lián)網(wǎng)專欄《高效運(yùn)維最佳實(shí)踐》及運(yùn)維2.0官方公眾號。

提示：目前高效運(yùn)維新群已經(jīng)建立，歡迎加入。您可添加蕭田國個人微信號xiaotianguo8 為好友，進(jìn)行申請，請備注“申請入群”。

重要提示：除非事先獲得授權(quán)，請?jiān)诒竟娞柊l(fā)布2天后，才能轉(zhuǎn)載本文。尊重知識，請必須全文轉(zhuǎn)載，并包括本行。