運(yùn)維自動(dòng)化與標(biāo)準(zhǔn)規(guī)范化 解析、設(shè)計(jì)、實(shí)現(xiàn)
本文主要介紹我們的運(yùn)維自動(dòng)化系統(tǒng)如何設(shè)計(jì)與實(shí)現(xiàn)的，在介紹運(yùn)維自動(dòng)化時(shí)，首先需要先探討一下運(yùn)維標(biāo)準(zhǔn)規(guī)范化與自動(dòng)化關(guān)系，因?yàn)檫@是大多數(shù)運(yùn)維自動(dòng)化的必經(jīng)之路，也是很多運(yùn)維體系成長的必經(jīng)之路。
一、運(yùn)維標(biāo)準(zhǔn)化、規(guī)范化、流程化
要做運(yùn)維自動(dòng)化，首先要落實(shí)運(yùn)維體系的標(biāo)準(zhǔn)化、規(guī)范化、流程化。否則如果不規(guī)范標(biāo)準(zhǔn)化，很難具體實(shí)施運(yùn)維自動(dòng)化。在開發(fā)運(yùn)維自動(dòng)化系統(tǒng)過程與執(zhí)行中，會(huì)很多事情就沒法開展，很難很好地執(zhí)行下去。
1.1 對(duì)于運(yùn)維自動(dòng)化與標(biāo)準(zhǔn)規(guī)范化的認(rèn)識(shí)
對(duì)于運(yùn)維自動(dòng)化、標(biāo)準(zhǔn)規(guī)范化的認(rèn)識(shí)與理解。不同企業(yè)圈子，每個(gè)人的理解總會(huì)有差異性，但總體方向應(yīng)該是一致的：我們需要運(yùn)維自動(dòng)化、標(biāo)準(zhǔn)化，因?yàn)樗艽偈刮覀兊墓ぷ鞲痈咝А⒅悄?、有?guī)則，有預(yù)見性……對(duì)于運(yùn)維自動(dòng)化，標(biāo)準(zhǔn)規(guī)范化的認(rèn)識(shí)，這里舉例說明兩種極端類型。
極端一類型：極端排斥流程標(biāo)準(zhǔn)及自動(dòng)化，認(rèn)為這是噱頭，不干實(shí)事，不出成果。極端一類型做事貌似風(fēng)風(fēng)火火，思考規(guī)劃10分鐘，邊想邊干1整天，結(jié)果到了明天再重來----典型地邊計(jì)劃邊實(shí)施邊填坑，結(jié)果是又忙又亂又出錯(cuò)。其實(shí)極端一類型的問題就出在：事前沒有規(guī)劃好，事中沒有實(shí)施好，事后沒有總結(jié)好，無規(guī)矩不成方圓。
針對(duì)極端一類型，我們的觀點(diǎn)是：標(biāo)準(zhǔn)規(guī)范與自動(dòng)化是當(dāng)前主流運(yùn)維成熟進(jìn)階的必經(jīng)之路。
流程標(biāo)準(zhǔn)很重要，必須要執(zhí)行與持續(xù)完善，這是運(yùn)維自動(dòng)化以及公司運(yùn)營一切的基礎(chǔ)?？催^復(fù)雜的航空線路圖，航海線路圖，鐵路交通圖吧，是不是會(huì)感嘆標(biāo)準(zhǔn)化與自動(dòng)化的重要性。運(yùn)維工作也是一樣的道理，例如在實(shí)際項(xiàng)目過程中，你要上新業(yè)務(wù)買設(shè)備，則需要提出技術(shù)需求，找財(cái)務(wù)、上級(jí)會(huì)簽審批，然后還得招投標(biāo)(內(nèi)部邀標(biāo))，簽合同，收到貨得付款，設(shè)備入庫備案，初始化設(shè)備，自動(dòng)化部署系統(tǒng)，自動(dòng)化部署應(yīng)用，自動(dòng)采集信息與告警…..等等，正是這些規(guī)范流程，運(yùn)維自動(dòng)化才使我們的運(yùn)維工作高效能、高質(zhì)量、低風(fēng)險(xiǎn)。
極端二類型：極端追求標(biāo)準(zhǔn)流程。例如還是上述購新業(yè)務(wù)及采購設(shè)備流程。極端二類型做事非常規(guī)范細(xì)致：
while (true): {
調(diào)研;
開會(huì);
統(tǒng)計(jì)需求;
提交審批;}
如此一遍又一遍的死循環(huán)，必須做到***。如此結(jié)果是今年的需求，明年服務(wù)器才到貨，后年業(yè)務(wù)才上線，為了部署一次性就全面全部OK，就費(fèi)盡窮舉一切可能，但凡有例外，就認(rèn)為不是自動(dòng)化，標(biāo)準(zhǔn)化。這樣做貌似流程規(guī)范做到了天衣無縫，其結(jié)果人算不如天算，時(shí)間事情隨時(shí)在變，***在實(shí)際生產(chǎn)中還是會(huì)有意外尷尬事情…..
針對(duì)極端二類型，我們的觀點(diǎn)是：流程規(guī)范是***實(shí)踐方法論，但不是目的。
從哲學(xué)角度，這個(gè)世界不***，因此2/8原則與持續(xù)性改進(jìn)應(yīng)該是思考與解決事情的一種***實(shí)踐。流程標(biāo)準(zhǔn)固然很重要，但是流程標(biāo)準(zhǔn)目的是為了很好地執(zhí)行并解決事情，而不是要卡死、堵死一系列事情。我們沒必要糾結(jié)于高大全的標(biāo)準(zhǔn)與自動(dòng)化，我們需要從我們運(yùn)維需求出發(fā)，痛點(diǎn)出發(fā)，持續(xù)改進(jìn)與解決運(yùn)維實(shí)際問題。
例如，在做自動(dòng)化部署過程，總會(huì)有一些例外的情況。例如批量部署salt minion，由于系統(tǒng)版本，安裝批次不一樣。導(dǎo)致有些salt安裝依賴包沒有而部署失敗。這就要考慮，自動(dòng)部署環(huán)節(jié)是要考慮增加更多狀態(tài)部署細(xì)節(jié)，還是保留一個(gè)精簡的狀態(tài)部署方案?；蛟S對(duì)于一個(gè)例外問題，例外分析與解決，而不是為了這一個(gè)例外而變動(dòng)所有的全體。記住，不要認(rèn)為搞個(gè)運(yùn)維自動(dòng)化系統(tǒng)，部署一個(gè)saltstack，puppet工具就能解決所有運(yùn)維問題。
1.2 運(yùn)維自動(dòng)化與標(biāo)準(zhǔn)規(guī)范化的關(guān)系
任何一個(gè)企業(yè)運(yùn)行都有很多配套的公司流程標(biāo)準(zhǔn)，否則很多事情將一團(tuán)亂麻，根本無法推行，運(yùn)維自動(dòng)化也不例外，實(shí)施自動(dòng)化前提需要標(biāo)準(zhǔn)規(guī)范與流程化。比如如果系統(tǒng)版本，主機(jī)名，IP不統(tǒng)一規(guī)范，則可能會(huì)導(dǎo)致saltstack部署執(zhí)行，zabbix自動(dòng)化發(fā)現(xiàn)，日志監(jiān)控部署，應(yīng)用部署等一系列問題。
沒有良好的標(biāo)準(zhǔn)與自動(dòng)化解決方案，運(yùn)維人員常會(huì)背黑鍋
運(yùn)維自動(dòng)化需要規(guī)范標(biāo)準(zhǔn)化，當(dāng)然運(yùn)維自動(dòng)化又促進(jìn)規(guī)范標(biāo)準(zhǔn)化。運(yùn)維自動(dòng)化，標(biāo)準(zhǔn)化需要落實(shí)，不能空談，不能只說不練，有“法“不依。標(biāo)準(zhǔn)要深入人心，融入日常行為思想中，達(dá)到個(gè)人與集體的潛移默化間的一致性，共通性。例如，我們總會(huì)碰到一些不規(guī)范的程序員，隨意往線上部署了一段代碼，搞得系統(tǒng)緩慢，***由運(yùn)維人員背黑鍋。
標(biāo)準(zhǔn)與自動(dòng)化往往是由業(yè)務(wù)、IT環(huán)境需求驅(qū)動(dòng)的
諸如上述，運(yùn)維自動(dòng)化與標(biāo)準(zhǔn)化往往是由業(yè)務(wù)，IT環(huán)境驅(qū)動(dòng)的，逐步優(yōu)化完善出來的，或者是被動(dòng)逼出來的。比如由于業(yè)務(wù)增長迅速，系統(tǒng)(應(yīng)用)環(huán)境需求天天都有都很多。那你還是手工一臺(tái)臺(tái)系統(tǒng)(應(yīng)用)部署么，或許就算鍵盤敲到手抽筋仍然沒完成業(yè)務(wù)需求，這時(shí)突然你又發(fā)現(xiàn)部署的代碼不一致…..此時(shí)估計(jì)整個(gè)人都快要”瘋掉了”，或許此時(shí)你對(duì)運(yùn)維自動(dòng)化，標(biāo)準(zhǔn)規(guī)范化的理解與需求會(huì)透徹骨子里。
標(biāo)準(zhǔn)與自動(dòng)化需要持續(xù)性改進(jìn)優(yōu)化
運(yùn)維自動(dòng)化不是一籌而就，而是逐漸持續(xù)性優(yōu)化改進(jìn)(ITIL理念)的，實(shí)施。沒有任何一個(gè)企業(yè)創(chuàng)立之初，其IT架構(gòu)就非常高大上，上來就構(gòu)建全球機(jī)房，初始就設(shè)計(jì)一個(gè)超級(jí)高性能，高安全的系統(tǒng)，立刻滿足上億的UV請(qǐng)求……這些或許沒必要，也幾乎不可能。
二、運(yùn)維自動(dòng)化系統(tǒng)設(shè)計(jì)
如下以一個(gè)實(shí)際的運(yùn)維自動(dòng)化系統(tǒng)為例，介紹一些該系統(tǒng)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)的內(nèi)容。
2.1 運(yùn)維自動(dòng)化需求
隨著業(yè)務(wù)規(guī)模逐漸增大，IT運(yùn)維環(huán)境會(huì)越來越龐大復(fù)雜，這些將驅(qū)使運(yùn)維工作需要科學(xué)規(guī)范化的管理。這要求我們用較少的人力、物力資源做更多的工作，必須高效、準(zhǔn)確執(zhí)行任務(wù)。
當(dāng)前市場(chǎng)上已經(jīng)有很多成熟的(商業(yè)、開源)運(yùn)維產(chǎn)品工具，各有特色也各有利弊，這也同時(shí)造成一個(gè)尷尬局面：運(yùn)維人員要不斷學(xué)習(xí)和管理很多運(yùn)維產(chǎn)品工具，但卻很難有找出一個(gè)很好適應(yīng)本企業(yè)(持續(xù)不斷)定制化需要的產(chǎn)品工具。因此很多有實(shí)力的企業(yè)都會(huì)選擇自主運(yùn)維及開發(fā)。
從運(yùn)維大環(huán)境來看，IT運(yùn)維綜合管理已成為主流運(yùn)維管理發(fā)展方向，運(yùn)維+開發(fā)成為運(yùn)維發(fā)展的大趨勢(shì)。我們不再單純、局限地依靠某個(gè)網(wǎng)管監(jiān)控產(chǎn)品，而是需要運(yùn)維自動(dòng)化，提供體系化運(yùn)維解決方案，包括系統(tǒng)網(wǎng)絡(luò)管理、CMDB資產(chǎn)信息管理、知識(shí)庫管理、乃至ITSM信息服務(wù)流程管理等。
2.2 系統(tǒng)概要設(shè)計(jì)介紹
如圖2-1所示，本運(yùn)維自動(dòng)化綜合管理平臺(tái)的設(shè)計(jì)理念是：盡量融合、統(tǒng)一管理現(xiàn)有的各個(gè)運(yùn)維工具平臺(tái)，統(tǒng)一監(jiān)控管理系統(tǒng)資源，有效關(guān)聯(lián)整合數(shù)據(jù)信息。自主開發(fā)(同時(shí)基于現(xiàn)有運(yùn)維管理工具二次開發(fā))出適合自身需要的綜合運(yùn)維管理平臺(tái)。
本解決方案立足從三大維度構(gòu)建，分別是IT運(yùn)維流程、IT監(jiān)控平臺(tái)整合、IT運(yùn)維自動(dòng)化。這三大維度主要具有如下幾大功能模塊。
- IT運(yùn)維流程：資產(chǎn)管理、知識(shí)庫管理、安全管理、事件管理、日常事項(xiàng)管理。
- IT監(jiān)控平臺(tái)整合：監(jiān)控報(bào)警管理、日志管理、性能管理、報(bào)表管理。
- IT運(yùn)維自動(dòng)化：應(yīng)用管理、配置管理、程序運(yùn)行管理。
2-1 系統(tǒng)邏輯架構(gòu)設(shè)計(jì)
本解決方案使用的開發(fā)語言及工具：
- 后端及系統(tǒng)客戶端開發(fā)主要通過Python、Shell等程序語言實(shí)現(xiàn)。
- 信息采集寫入MySQL數(shù)據(jù)庫。
- 前端WEB展示以及與后臺(tái)數(shù)據(jù)層、應(yīng)用層的邏輯交互通過Django框架實(shí)現(xiàn)。
- 界面修飾美化使用Bootstrap等框架工具。
2.3 程序功能框圖設(shè)計(jì)
根據(jù)我們的需求，程序功能框圖設(shè)計(jì)如下圖所示。
2-2 程序功能框圖
2.3 數(shù)據(jù)庫模型設(shè)計(jì)
數(shù)據(jù)庫模型(部分)設(shè)計(jì)如圖2-3所示。
圖2-3
2.4 工單流程設(shè)計(jì)
基于ITIL理念的事件工單流程如圖2-4所示。
圖2-4
2.5 系統(tǒng)架構(gòu)示意圖
基于我們的運(yùn)維現(xiàn)狀及需求等內(nèi)容，我們的系統(tǒng)架構(gòu)設(shè)計(jì)如下圖2-5所示。
圖2-5
三、運(yùn)維自動(dòng)化系統(tǒng)平臺(tái)實(shí)例介紹
如圖3-1所示是系統(tǒng)一級(jí)菜單與二級(jí)菜單，對(duì)應(yīng)了上述設(shè)計(jì)的各主要模塊。
圖3-1
如圖3-2所示在全局查詢里，可以輸入任意要查詢的關(guān)鍵字。該模塊主要是基于數(shù)據(jù)庫表的查詢，而不是對(duì)于日志的查詢。該模塊會(huì)基于關(guān)鍵字，模糊遍歷所有的關(guān)鍵庫表，然后將查詢結(jié)果自動(dòng)組織后再反饋到Web展示。
圖3-2
如下圖3-3所示是系統(tǒng)性能信息圖表。該模塊主要使用echarts前端繪圖工具，后端邏輯處理使用了django restframework框架模塊進(jìn)行信息序列化。性能數(shù)據(jù)來自系統(tǒng)客戶端采集入庫信息。
圖3-3
如圖3-4所示是資產(chǎn)管理模塊中的硬件配置模塊。主要是資產(chǎn)的增刪改查功能。對(duì)于大量資產(chǎn)信息的錄入是通過后臺(tái)管理中的信息導(dǎo)入模塊(將固定格式的Excel資產(chǎn)信息表)批量錄入到系統(tǒng)中。該模塊主要通過Django CBV方式快速實(shí)現(xiàn)。
圖3-4
如圖3-5所示是基于Wordpress定制的系統(tǒng)以作為知識(shí)庫系統(tǒng)。用于日常信息、知識(shí)資料的發(fā)布與共享。
圖3-5
如圖3-6所示是事件信息模塊。本模塊基于ITIL流程理念。系統(tǒng)平臺(tái)一些重要的事件信息會(huì)自動(dòng)觸發(fā)事件流程，并需要人為交互去響應(yīng)處理不同類型級(jí)別的事件。對(duì)于不同類型的事件，在處理時(shí)，所觸發(fā)的流程也有所不同。
圖3-6
如圖3-7所示是集成融合了現(xiàn)有基調(diào)網(wǎng)絡(luò)監(jiān)控產(chǎn)品。通過該運(yùn)維自動(dòng)化管理平臺(tái)，實(shí)現(xiàn)了對(duì)現(xiàn)有各種分散的工具軟件的統(tǒng)一整合集成。
圖3-7
如圖3-8所示是基于ELK深度定制的日志監(jiān)控模塊?；诟黝惾罩拘畔⑦M(jìn)行監(jiān)控與統(tǒng)計(jì)。
圖3-8
如圖3-9所示是日志安全與審計(jì)。主要是針對(duì)服務(wù)器系統(tǒng)、網(wǎng)絡(luò)設(shè)備等安全日志進(jìn)行監(jiān)控與審計(jì)。系統(tǒng)日志的采集使用了rsyslog和logstash shipper客戶端兩種方式采集發(fā)送信息。對(duì)于audit審計(jì)日志，則首先在被管節(jié)點(diǎn)上配置審計(jì)策略，然后由logstash shipper進(jìn)行日志采集與發(fā)送。
圖3-9
如圖3-10所示是基于Cacti深度定制的網(wǎng)絡(luò)流量監(jiān)控。主要是動(dòng)態(tài)實(shí)時(shí)地監(jiān)控各個(gè)主要節(jié)點(diǎn)的網(wǎng)絡(luò)流量。
圖3-10
如圖3-11所示是網(wǎng)址鏈接狀態(tài)監(jiān)測(cè)模塊。可自動(dòng)或手動(dòng)監(jiān)控一些(自定義的)重要網(wǎng)址連接狀態(tài)。
圖3-11
如3-11所示是系統(tǒng)服務(wù)狀態(tài)監(jiān)控信息。由client客戶端抓取系統(tǒng)服務(wù)狀態(tài)信息，然后反饋給服務(wù)器端進(jìn)行統(tǒng)計(jì)與展示。在各種監(jiān)控配置方面，一方面采取服務(wù)器端主動(dòng)抓取監(jiān)控信息(如上述的網(wǎng)址監(jiān)控)，另一方面，由客戶端程序主動(dòng)抓取當(dāng)前系統(tǒng)的監(jiān)控信息(如系統(tǒng)賬號(hào)、文件系統(tǒng)、配置、服務(wù)等)，并通過C/S架構(gòu)發(fā)(數(shù)據(jù)以json格式為主)給服務(wù)器端接收。
圖3-12
如圖3-13所示是自動(dòng)化管理中的系統(tǒng)自動(dòng)部署模塊，具有批量查詢IP使用情況、派發(fā)客戶端、部署與配置系統(tǒng)等功能。自動(dòng)化部署主要基于kvm、Saltstack等開發(fā)而實(shí)現(xiàn)。
圖3-13
【本文為51CTO專欄作者“韓曉光”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過51CTO聯(lián)系作者獲取授權(quán)】
