途游鄒軼:中小公司的運(yùn)維怎么做?
原創(chuàng)通過(guò)采訪和約稿的方式,請(qǐng)運(yùn)維領(lǐng)域老炮輸出深刻洞見(jiàn),共同碰撞,以期形成一些先進(jìn)的共識(shí),推動(dòng)行業(yè)更好得前進(jìn)。
這一期我們邀請(qǐng)到的是鄒軼,途游游戲運(yùn)維總監(jiān),鄒總經(jīng)常戲稱自己是世界500萬(wàn)強(qiáng)企業(yè)的運(yùn)維代表,可見(jiàn)內(nèi)心中是覺(jué)得中小公司的運(yùn)維建設(shè)思路和大型企業(yè)是有差別的,今天我們帶著幾個(gè)問(wèn)題,來(lái)請(qǐng)鄒總分享一下他的中小公司研運(yùn)一體化之路。
這里是接地氣、有高度的《???運(yùn)維百家講壇??》第 6 期,開(kāi)講!
問(wèn)題預(yù)覽
- 途游是游戲公司,您覺(jué)得游戲運(yùn)維有哪些獨(dú)特性?面臨的最大運(yùn)維挑戰(zhàn)是什么?您又是如何解決這些挑戰(zhàn)的?
- 游戲運(yùn)維的人才技能是什么樣子的,如果想在游戲運(yùn)維方向發(fā)展,您對(duì)職業(yè)路徑規(guī)劃上有沒(méi)有什么建議?
- 中型公司的運(yùn)維團(tuán)隊(duì)通常不會(huì)很大,您是如何對(duì)這有限的人力排兵布陣的,有沒(méi)有什么心得可以分享給大家?
- 您是否會(huì)遇到因?yàn)閳F(tuán)隊(duì)人才水平不行,導(dǎo)致自己的想法落地慢,落地難的問(wèn)題,您是如何解決的?
- 您說(shuō)您特別認(rèn)同《運(yùn)維的未來(lái)是平臺(tái)工程》文章中的觀點(diǎn),您的團(tuán)隊(duì)也是一個(gè)產(chǎn)研式的全功能組織,想請(qǐng)您介紹一下:對(duì)于業(yè)務(wù)研發(fā),相比直接使用云廠商提供的平臺(tái)產(chǎn)品,您這個(gè)團(tuán)隊(duì)帶來(lái)的Delta增益是什么?
- 您經(jīng)常說(shuō)成本節(jié)省要硬橋硬馬,節(jié)省了大量成本,公司給發(fā)個(gè)獎(jiǎng)狀,說(shuō)明這個(gè)FinOps的項(xiàng)目大概率是在自嗨,在云上、云下Infra建設(shè)上,您的團(tuán)隊(duì)為公司帶來(lái)了巨額成本節(jié)省,而且得到了公司的物質(zhì)獎(jiǎng)勵(lì),能否分享一下相關(guān)的心得?
- 運(yùn)維團(tuán)隊(duì)一直是站在公司業(yè)務(wù)的后面,離業(yè)務(wù)的距離相對(duì)遠(yuǎn),對(duì)如何更好的支持業(yè)務(wù),或如何說(shuō)明運(yùn)維對(duì)業(yè)務(wù)的價(jià)值這個(gè)點(diǎn),您有什么建議?
采訪實(shí)錄
問(wèn):途游是游戲公司,您覺(jué)得游戲運(yùn)維有哪些獨(dú)特性?面臨的最大運(yùn)維挑戰(zhàn)是什么?您又是如何解決這些挑戰(zhàn)的?
整體游戲運(yùn)維架構(gòu)相對(duì)傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)來(lái)比較,相對(duì)簡(jiǎn)單,但是單機(jī)可靠性要求比較高,運(yùn)維日常工作,相對(duì)事務(wù)性的工作較多,比如開(kāi)服合服等等。 面臨最大的運(yùn)維挑戰(zhàn),其實(shí)不是技術(shù)層面的,更多的是價(jià)值認(rèn)可度層面的,怎么讓我們業(yè)務(wù)部門認(rèn)可我們的價(jià)值,這個(gè)挑戰(zhàn)我相信也是整個(gè)運(yùn)維賽道同仁們一致的挑戰(zhàn)。要去贏得業(yè)務(wù)部門的認(rèn)可,提升運(yùn)維團(tuán)隊(duì)的價(jià)值,從我以及我團(tuán)隊(duì)的實(shí)踐來(lái)總結(jié),其實(shí)就是一句話:扎扎實(shí)實(shí)的做好服務(wù),以業(yè)務(wù)部門/用戶為中心。
問(wèn):游戲運(yùn)維的人才技能是什么樣子的,如果想在游戲運(yùn)維方向發(fā)展,您對(duì)職業(yè)路徑規(guī)劃上有沒(méi)有什么建議?
游戲運(yùn)維的人才技能和傳統(tǒng)互聯(lián)網(wǎng)行業(yè)沒(méi)有太大的區(qū)別,對(duì)于運(yùn)維這個(gè)賽道來(lái)說(shuō),認(rèn)知比較低和缺乏體系的成長(zhǎng)環(huán)境,是我們中小廠運(yùn)維面臨的比較現(xiàn)實(shí)的問(wèn)題,我們常年和機(jī)器底層打交道,很少去認(rèn)真思考過(guò),未來(lái)10年,15年后的發(fā)展,更多的是追逐熱點(diǎn),追逐變化,很少去思考沉淀那些不變的內(nèi)容,以及怎么去利用這些內(nèi)容來(lái)做時(shí)間的朋友形成自己的競(jìng)爭(zhēng)力。我個(gè)人建議中小廠的運(yùn)維同學(xué),還是要在理論方法論學(xué)習(xí)和技能提升兩手抓,用理論指導(dǎo)實(shí)踐,通過(guò)實(shí)踐完善自己對(duì)理論的理解。學(xué)習(xí)理論和方法這塊,我也提幾點(diǎn)建議:
- 持有開(kāi)放的心態(tài)去學(xué)習(xí),ITIL,SRE,lean,scrum,平臺(tái)工程,可觀測(cè)等等,不要糾結(jié)于門派之見(jiàn),只要對(duì)自己有價(jià)值的內(nèi)容,都可以去學(xué)習(xí)去吸收融合,比如ITIL抓住變更管理、故障管理、問(wèn)題管理、持續(xù)服務(wù)改進(jìn),這幾個(gè)流程去學(xué)習(xí)并應(yīng)用于實(shí)踐,其實(shí)就能解決好大部分運(yùn)維問(wèn)題。又比如對(duì)SRE的理念的學(xué)習(xí),抓住SLO的理念,開(kāi)展可靠性建設(shè),引導(dǎo)業(yè)務(wù)部門與運(yùn)維團(tuán)隊(duì)建立一個(gè)可靠性目標(biāo)共擔(dān)的協(xié)作模式。而在實(shí)踐的SLO落地的過(guò)程中,又可以引入可觀測(cè)性理念和方法,來(lái)加強(qiáng)自己對(duì)可觀測(cè)性能力的建設(shè)。
- 面向國(guó)外科技公司學(xué)習(xí)為主,面向國(guó)內(nèi)大廠學(xué)習(xí)為輔,國(guó)外科技公司的理論和工程方法相對(duì)嚴(yán)謹(jǐn)和體系,不太受場(chǎng)景限制,可以學(xué)以致用,國(guó)內(nèi)的大廠更多偏向于特殊場(chǎng)景的實(shí)踐,理論和工程方法抽象不夠,基本上都是萬(wàn)億并發(fā),千億流量的場(chǎng)景,其實(shí)和中小廠的運(yùn)維沒(méi)啥關(guān)系,中小廠去深度對(duì)標(biāo)學(xué)習(xí),價(jià)值杠桿率不高。
問(wèn):中型公司的運(yùn)維團(tuán)隊(duì)通常不會(huì)很大,您是如何對(duì)這有限的人力排兵布陣的,有沒(méi)有什么心得可以分享給大家?
有限的資源,往往容易激發(fā)創(chuàng)新,團(tuán)隊(duì)規(guī)模可以不大,但是要保持精干、敏捷,換句話說(shuō)就是你團(tuán)隊(duì)要足夠能打,而且應(yīng)對(duì)不確定性能力要強(qiáng),要想達(dá)到這個(gè)效果,我個(gè)人總結(jié)了我們這5年的組織能力建設(shè)實(shí)踐:
- 人才結(jié)構(gòu)要做深度優(yōu)化,要引入專業(yè)產(chǎn)研人才,用產(chǎn)研驅(qū)動(dòng)團(tuán)隊(duì)價(jià)值輸出。目前途游的運(yùn)維安全團(tuán)隊(duì),產(chǎn)研和傳統(tǒng)運(yùn)維比例接近1:1。
- 研運(yùn)一體化的組織模式去構(gòu)建,要形成一支全職能,端到端的混合型團(tuán)隊(duì)。目前的途游的運(yùn)維安全團(tuán)隊(duì),有產(chǎn)品經(jīng)理、研發(fā)負(fù)責(zé)人,前,后端工程師,服務(wù)運(yùn)營(yíng)工程師,運(yùn)維工程師,IT工程師。
- 圍繞互信、目標(biāo)一致、信息共享、去中心化去構(gòu)建敏捷的文化氛圍。通過(guò)敏捷的文化氛圍,來(lái)形成一支能應(yīng)對(duì)不確定性的敏捷組織。
關(guān)于敏捷組織的實(shí)踐,可以看我的分享:https://tuyoo.feishu.cn/docs/doccnFlAD2m7WnSpcLYxFJRImZb
問(wèn):您是否會(huì)遇到因?yàn)閳F(tuán)隊(duì)人才水平不行,導(dǎo)致自己的想法落地慢,落地難的問(wèn)題,您是如何解決的?
這個(gè)肯定會(huì)遇到,我們解決思路:
- 保持耐心,對(duì)團(tuán)隊(duì)持續(xù)迭代,這個(gè)就和打牌一樣,你不能期望上手一手好牌,這個(gè)都得不斷的進(jìn)出的換牌,最后把牌理順去贏得比賽。
- 對(duì)新人的標(biāo)準(zhǔn)是潛力要高于團(tuán)隊(duì)現(xiàn)有70%的人員,不符合標(biāo)準(zhǔn)寧可不招聘,招人謹(jǐn)慎,對(duì)人的培養(yǎng)才會(huì)用心。
- 團(tuán)隊(duì)負(fù)責(zé)人自己一定是團(tuán)隊(duì)首席HR,要主動(dòng)出擊去找人才,我最近4年在BOSS直聘上大概聊過(guò)接近兩萬(wàn)人吧,看過(guò)的簡(jiǎn)歷應(yīng)該超過(guò)2萬(wàn)多份,這個(gè)可能很難有中小公司的運(yùn)維負(fù)責(zé)人會(huì)做到這點(diǎn)。
- 利用敏捷組織作為基礎(chǔ)支持,發(fā)揮集體智慧。
關(guān)于我團(tuán)隊(duì)轉(zhuǎn)型實(shí)踐分享:https://tuyoo.feishu.cn/docx/doxcnGMuijglK6NdENYC2vD7KKh
問(wèn):您說(shuō)您特別認(rèn)同《運(yùn)維的未來(lái)是平臺(tái)工程》文章中的觀點(diǎn),您的團(tuán)隊(duì)也是一個(gè)產(chǎn)研式的全功能組織,想請(qǐng)您介紹一下:對(duì)于業(yè)務(wù)研發(fā),相比直接使用云廠商提供的平臺(tái)產(chǎn)品,您這個(gè)團(tuán)隊(duì)帶來(lái)的Delta增益是什么?
在回答這個(gè)問(wèn)題之前,我還是想闡述下我們對(duì)造輪子和外采服務(wù)的認(rèn)知:
我們其實(shí)對(duì)外采還是自研,蠻開(kāi)放的心態(tài),也是蠻簡(jiǎn)單的判斷,就是看ROI的投入產(chǎn)出比,標(biāo)準(zhǔn)化的,投入巨大的,自己搞不定的肯定是盡量用外部三方的服務(wù)或者產(chǎn)品來(lái)幫助我們解決問(wèn)題,我們更關(guān)注的是如何服務(wù)好我們的業(yè)務(wù)部門,關(guān)注我們提供的服務(wù)結(jié)果和質(zhì)量,不太關(guān)注這個(gè)能力是我們自己具備的還是三方的服務(wù)能力,只要能幫助我們提升服務(wù)質(zhì)量和效率的,我們都非常開(kāi)放的心態(tài)去吸收和融合。
再來(lái)回答這個(gè)產(chǎn)研團(tuán)隊(duì)對(duì)我們的增益問(wèn)題,每個(gè)公司都有它本身一些特性或者定制化場(chǎng)景需求,這些東西外來(lái)產(chǎn)品肯定不能完全覆蓋到位,所以這樣的一支端到端的團(tuán)隊(duì),其實(shí)是讓整個(gè)團(tuán)隊(duì)有了解決一些非標(biāo)問(wèn)題的能力。這種能力其實(shí)非常關(guān)鍵,很大程度決定了團(tuán)隊(duì)的價(jià)值實(shí)現(xiàn)。
另外再來(lái)說(shuō)說(shuō)我們對(duì)運(yùn)維的未來(lái)是平臺(tái)工程的理解,我對(duì)平臺(tái)工程的理解有兩點(diǎn)關(guān)鍵要素:
- 平臺(tái)工程面向的對(duì)象是以業(yè)務(wù)部門為主,而不是運(yùn)維為主
- 平臺(tái)工程提供的是自服務(wù),平臺(tái)工程輸出的產(chǎn)品和工具一定是業(yè)務(wù)部門自服務(wù)為主
我們團(tuán)隊(duì)轉(zhuǎn)型探索,就是主要按照這兩個(gè)要素來(lái)做的實(shí)踐,但是理論水平不夠,沒(méi)有清晰的去提出平臺(tái)工程的理念。我們游戲運(yùn)維有一個(gè)蠻大的痛點(diǎn)就是瑣事很多,比如CDN的上傳發(fā)布,游戲的配置更新,例行起停服,都是游戲運(yùn)維日常的事務(wù),不可或缺,但是都是事務(wù)性的,價(jià)值很低,可能在我們游戲運(yùn)維的常識(shí)里面,我們會(huì)想到做一些自動(dòng)化的工具,去提升運(yùn)維的人效,把運(yùn)維從人肉或者寫(xiě)腳本的狀態(tài),變成WEBOPS狀態(tài),這個(gè)感覺(jué)杠桿率還是太低,并沒(méi)有把運(yùn)維釋放出來(lái),所以在解決這些問(wèn)題過(guò)程中,誕生了我對(duì)平臺(tái)工程理念的原始理解,目前我們游戲運(yùn)維的日常事務(wù)性工作有50%都是項(xiàng)目組自服務(wù),通過(guò)我們提供的工具,這在我們接觸平臺(tái)工程的理念后,發(fā)現(xiàn)是高度認(rèn)知一致的。所以對(duì)運(yùn)維的未來(lái)是平臺(tái)工程,我相信只要嘗過(guò)自服務(wù)的甜頭,吃過(guò)人肉運(yùn)維的苦的同學(xué),應(yīng)該都會(huì)有很深的認(rèn)同感。
問(wèn):您經(jīng)常說(shuō)成本節(jié)省要硬橋硬馬,節(jié)省了大量成本,公司給發(fā)個(gè)獎(jiǎng)狀,說(shuō)明這個(gè)FinOps的項(xiàng)目大概率是在自嗨,在云上、云下Infra建設(shè)上,您的團(tuán)隊(duì)為公司帶來(lái)了巨額成本節(jié)省,而且得到了公司的物質(zhì)獎(jiǎng)勵(lì),能否分享一下相關(guān)的心得?
對(duì)于FINOPS這件事,平時(shí)也和行業(yè)一些專家老師做過(guò)一些交流碰撞,結(jié)合我們團(tuán)隊(duì)自己的實(shí)踐,我個(gè)人感覺(jué)FINOPS實(shí)踐落地難,難在改變老板的認(rèn)知,目前行業(yè)還是偏技術(shù)實(shí)現(xiàn)或者理念碰撞階段,還停留在比誰(shuí)更專業(yè),更規(guī)范的階段,個(gè)人感覺(jué)不能影響到老板認(rèn)知的FINOPS,基本都是無(wú)價(jià)值,或者價(jià)值極低,做和不做沒(méi)啥區(qū)別。對(duì)于FINOPS這個(gè)領(lǐng)域不過(guò)多評(píng)價(jià),我們縮小到成本優(yōu)化這件事來(lái)講,在我們團(tuán)隊(duì)我沒(méi)有設(shè)定過(guò)成本優(yōu)化的OKR,我們一直用精益的理念在指導(dǎo)開(kāi)展工作,精益有一個(gè)核心的理念,一切不產(chǎn)生價(jià)值的都是浪費(fèi),持續(xù)消除浪費(fèi), 這樣在工作開(kāi)展過(guò)程中,其實(shí)就不用搞運(yùn)動(dòng)式的成本優(yōu)化。很多省了幾個(gè)億的成本優(yōu)化,可能在老板眼里就是應(yīng)該的,以前浪費(fèi)太大了,現(xiàn)在只是消除浪費(fèi),這自然就不會(huì)得到價(jià)值認(rèn)可。
成本優(yōu)化實(shí)踐過(guò)程中我個(gè)人總結(jié)了幾點(diǎn):
- 要用精益的理念去持續(xù)指導(dǎo)成本優(yōu)化,而不是簡(jiǎn)單的運(yùn)動(dòng)式降本增效。
- 要拉齊價(jià)值共識(shí),要和相關(guān)部門比如總辦,財(cái)務(wù)等監(jiān)管部門達(dá)成共識(shí)。
- 成本優(yōu)化的計(jì)算模型不能太復(fù)雜,模型計(jì)算太復(fù)雜,很難去達(dá)成共識(shí)。
- 數(shù)據(jù)要統(tǒng)一按照財(cái)務(wù)口徑進(jìn)行核對(duì),不能我們從技術(shù)角度想當(dāng)然。
編者按:鄒總做成本優(yōu)化,具體節(jié)省多少錢是經(jīng)過(guò)財(cái)務(wù)最終測(cè)算的,個(gè)人覺(jué)得很值得借鑒,很多公司的成本優(yōu)化,都是自己測(cè)算的,缺乏公信力,老板較難有體感。
問(wèn):這是老問(wèn)題了,運(yùn)維團(tuán)隊(duì)一直是站在公司業(yè)務(wù)的后面,離業(yè)務(wù)的距離相對(duì)遠(yuǎn),對(duì)如何更好的支持業(yè)務(wù),或如何說(shuō)明運(yùn)維對(duì)業(yè)務(wù)的價(jià)值這個(gè)點(diǎn),您有什么建議?
具體怎么去體現(xiàn)價(jià)值,我建議運(yùn)維團(tuán)隊(duì)要想體現(xiàn)價(jià)值,首先是要有服務(wù)意識(shí),然后是要對(duì)服務(wù)體系進(jìn)行建設(shè),再就是保持耐心和持續(xù)改善,通過(guò)這個(gè)去形成一個(gè)正循環(huán),從而把時(shí)間做朋友。
在這塊我簡(jiǎn)單分享下我們團(tuán)隊(duì)的服務(wù)體系建設(shè)指導(dǎo)綱要。我們以客戶為中心,構(gòu)建安全、可靠、高效、低成本、可持續(xù)的服務(wù)。通過(guò)服務(wù)運(yùn)營(yíng)輸出價(jià)值,通過(guò)產(chǎn)品和工具落地服務(wù)運(yùn)營(yíng),并持續(xù)改善。在這個(gè)指導(dǎo)綱要中,我們將團(tuán)隊(duì)里的運(yùn)維、產(chǎn)研和運(yùn)營(yíng)三個(gè)職能角色進(jìn)行了深度融合。通過(guò)服務(wù)運(yùn)營(yíng)的輸出來(lái)把價(jià)值進(jìn)行體現(xiàn)。很多時(shí)候,做技術(shù)的人往往不太容易意識(shí)到服務(wù)運(yùn)營(yíng)的重要性,我們常常聽(tīng)到人們談?wù)摷夹g(shù)運(yùn)營(yíng)和產(chǎn)品運(yùn)營(yíng),但很少有人談?wù)摲?wù)運(yùn)營(yíng)。這與我們做技術(shù)出身的慣性認(rèn)知有很大關(guān)系,更多的是站在自己專業(yè)領(lǐng)域去表達(dá),很少去站在我們服務(wù)對(duì)象的角度去看我們的價(jià)值。很多人提到服務(wù)可能就會(huì)簡(jiǎn)單聯(lián)想到端茶倒水、跑腿這種角色,比較排斥提服務(wù)。但實(shí)際上,每個(gè)團(tuán)隊(duì)都是服務(wù)型團(tuán)隊(duì)。比如我們服務(wù)項(xiàng)目組,項(xiàng)目組服務(wù)我們最終的用戶,我們的最終用戶可能是在他的工作領(lǐng)域服務(wù)其他客戶。因此,提供服務(wù)是一件非常重要的事情。只有服務(wù)好了客戶,幫助他們獲得結(jié)果,才能真正體現(xiàn)自己的價(jià)值。