談?wù)勛兏^程中的運維意識
運維,或許是一個在 IT 技術(shù)崗中很尷尬的職位。其一,許多應(yīng)屆生都未曾接觸過,對工作的職能界定非常模糊;其二,很多其他技術(shù)崗的往屆生會覺得,『臥槽,這么 low 逼,只會重啟推配置做發(fā)布』;其三,正在從事運維崗的往屆生會覺得自己在公司的 KPI 很難體現(xiàn)。我在從事運維工作的前 2 年,也總是問自己:WTF,到底我的存在有啥意義?
WTF
運維并不是一個可以從校園里可以培養(yǎng)出來的職業(yè),它完全需要從實踐中去體會。當(dāng)然,今天寫這篇不是為了想告訴大家這兩年我體會到的所謂運維存在的意義,而是就一件最近工作上的一件小事和大家談?wù)勆a(chǎn)線應(yīng)該具備的運維意識。
一件小事以及引發(fā)的思考
事情呢是醬紫的,看到工作群有一個小伙A說需要重啟服務(wù)器重做 raid,原話大概是:『127.0.0.1 重做raid,告警忽略@同事B @同事C』
本來這個事情貌似沒啥問題,鑒于近期公司出現(xiàn)了多次因生產(chǎn)故障產(chǎn)生的資損事件,我就單獨找他聊了下,看似風(fēng)平浪靜的事情其實是波濤洶涌啊!
運維需要清楚【變更的需求背景】
這一點上,A同學(xué)是可以回答的上來的,但是對于接到任務(wù)之后,就不假思索的去做,是很可怕的,因為你并不知道做這件事情的意義。每一次變更就和開車并道一樣,并一次就多一分產(chǎn)生車禍的風(fēng)險,需要清楚衡量變更的意義和價值,權(quán)衡風(fēng)險和價值的輕重,才可以對此次變更進(jìn)行有效的精力投入評估。BTW,我們必須要問自己一句:這個變更一定要做嗎,是否值得對需求方提出挑戰(zhàn)?
車禍猛如虎變更也一樣
運維需要清楚【變更的合適時間】
假設(shè)每次變更都有產(chǎn)生故障的可能性,那么就必須要確認(rèn)清楚最佳變更時間。有幾個原則:a. 避開本產(chǎn)品線業(yè)務(wù)高峰期、關(guān)鍵期;b. 和同產(chǎn)品線的其他變更互斥;c. 和相關(guān)產(chǎn)品線的其他變更互斥。這一點上,同學(xué)A由于信息渠道窄,并沒有接到業(yè)務(wù)部門對產(chǎn)品演示的通告,違反了原則a。怎么規(guī)避掉這個風(fēng)險呢?就是把變更看成一個項目進(jìn)行推進(jìn),每個環(huán)節(jié)的進(jìn)展需要同步告知干系人,干系人負(fù)責(zé)進(jìn)行風(fēng)險評估。
運維需要成為【變更的項目經(jīng)理】
打個比方,消防員在沖進(jìn)火場的時候,需要確認(rèn)是否仍有可能的爆炸源,否則被炸因公殉職也是自己的責(zé)任。運維在職能上和消防員類似,出現(xiàn)故障(火災(zāi))的時候去殲滅故障源(火源),在執(zhí)行變更的時候也需要多留一個心眼,反復(fù)確認(rèn)上下游干系業(yè)務(wù),才能進(jìn)行變更規(guī)劃(其實故障處理也是一次緊急變更)。任何一次變更都要當(dāng)做一個項目進(jìn)行運作,清楚干系人,把控風(fēng)險,制定合理的步驟和時間節(jié)點,我們要把他看成一個持續(xù)若干天的項目推進(jìn),也就是說變更其實在接到需求的那一刻就開始了。
運維就如消防員
運維需要【遵循變更流程】
變更的大致流程是:需求確認(rèn) -> 干系業(yè)務(wù)/人確定 -> 方案探討 -> 方案確立&時間確立 -> 變更單撰寫 -> 變更單 review -> 審批報備 -> 變更通告 -> 方案實施 -> 方案效果反饋 (-> 回滾方案),可酌情進(jìn)行步驟刪減。遵循變更流程的主要好處是,首先,你可以在整理變更步驟的時候仔細(xì)思考每一處風(fēng)險點,多次變更之后可以固化下來風(fēng)險相對較小的標(biāo)準(zhǔn)化文檔,后續(xù)可以把重復(fù)操作自動化。其次,風(fēng)險均攤及最小化,方案是大家探討后確定的,時間是大家商量后認(rèn)可的,流程是經(jīng)過審批報備的。真的,如果把類似的流程貫徹下去,因為變更產(chǎn)生故障的概率會大大降低?,F(xiàn)在成熟的公司運維團(tuán)隊,都已經(jīng)把類似的流程固化到運維平臺里了,但是又有多少團(tuán)隊的負(fù)責(zé)人真正在遵循,而不是隨便審批了事呢?不要和我談業(yè)務(wù)壓力有多大,不要和我談缺人手,原則是不能卻步的,否則撿了芝麻丟了西瓜。
一句真理
這么小的一個變更事件,我們可從中總結(jié)出那么多的經(jīng)驗,可見運維是一個全局操盤手,心不細(xì)真的不行。有一句話是之前我在阿里一直銘記在心的,雙手奉上給各位同行:對生產(chǎn)環(huán)境要有敬畏之心。