【編者按】 51CTO 2014 WOT全球軟件技術(shù)峰會(huì)將在2014年7月25-26日在北京富力萬麗酒店召開。從本周開始，我們將陸續(xù)公布會(huì)議內(nèi)容，并針對(duì)即將參會(huì)的架構(gòu)師訪談，以便大家進(jìn)一步了解會(huì)議內(nèi)容。會(huì)議詳細(xì)議程見： http://wot.51cto.com/2014/。

本次訪談的對(duì)象是孔德亮。他是奇虎 360 WEB平臺(tái)部高級(jí)技術(shù)經(jīng)理，HULK私有云架構(gòu)師，主要負(fù)責(zé)360私有云建設(shè)。在本次的WOT軟件技術(shù)峰會(huì)中，孔德亮將在自動(dòng)化運(yùn)維專場分享《奇虎360的自動(dòng)化運(yùn)維升級(jí)之路》，著重介紹軟件管理、配置管理、集群管理在360的演變過程。敬請(qǐng)期待！

【講師簡歷】

孔德亮，2009年加入360，在一個(gè)不到20人的部門，作為唯一的運(yùn)維工程師維護(hù)60多臺(tái)服務(wù)器，隨著360的發(fā)展，開始了內(nèi)部創(chuàng)業(yè)之旅，通過逐步積累形成私有云平臺(tái)，吸引更多部門使用，目前平臺(tái)已經(jīng)服務(wù)于90%的業(yè)務(wù)線。

孔德亮（@Randy素年錦時(shí)）

以下是訪談實(shí)錄：

記者：您認(rèn)為自動(dòng)化運(yùn)維是什么，奇虎360在實(shí)施自動(dòng)化運(yùn)維的過程中遇到了哪些困難？最終是如何克服的？

孔德亮：我認(rèn)為實(shí)現(xiàn)運(yùn)維自動(dòng)化是每個(gè)運(yùn)維人員的基本素養(yǎng)，即使是管理十臺(tái)服務(wù)器也應(yīng)該實(shí)施自動(dòng)化。把復(fù)雜的、重復(fù)的工作變簡單，節(jié)省出時(shí)間投入到更有意義的技術(shù)研究中去。

我經(jīng)歷了360從十幾個(gè)項(xiàng)目到幾百個(gè)項(xiàng)目；幾十臺(tái)服務(wù)器到上萬臺(tái)服務(wù)器的發(fā)展過程，360創(chuàng)業(yè)初期都是開發(fā)工程師兼職運(yùn)維工作，各自為戰(zhàn)，不規(guī)范、不統(tǒng)一，使自運(yùn)維自動(dòng)化遇到很大麻煩。我們從以下幾點(diǎn)進(jìn)行改進(jìn)：

1. 基于Puppet，將軟件包、配置文件作為管理對(duì)象，形成集群配置管理系統(tǒng)。
2. 采用開源的salt-stack作為命令系統(tǒng)的底層，上層封裝業(yè)務(wù)邏輯層和命令調(diào)度層，形成命令執(zhí)行系統(tǒng)。
3. 以項(xiàng)目為中心，將域名、負(fù)載均衡、主機(jī)、配置文件、軟件環(huán)境、數(shù)據(jù)庫實(shí)例、通用基礎(chǔ)服務(wù)等相關(guān)聯(lián)，使得關(guān)聯(lián)關(guān)系清晰可見，形成基礎(chǔ)信息庫。

記者：實(shí)施自動(dòng)化運(yùn)維后，在日志分析和性能監(jiān)測等方面是不是也有了相對(duì)應(yīng)的改進(jìn)？主要用了哪些技術(shù)來實(shí)現(xiàn)？

孔德亮：在日志分析和性能監(jiān)測方面確實(shí)做了很多改進(jìn)。

1、日志分析方面，我們規(guī)約了用戶日志的存儲(chǔ)路徑，日志收集采用Puppet+Scribe模式，通過Puppet確保Scribe的配置的強(qiáng)一致性以及確保服務(wù)的可用性，Scribe作為客戶端的日志發(fā)送代理，將日志寫入到Storm中，Storm分析后寫入Hbase，這樣不管是計(jì)算層還是存儲(chǔ)層的擴(kuò)張，都能夠?qū)崿F(xiàn)平滑擴(kuò)容。

2、性能檢測方面，我們不是單純以服務(wù)器、核心軟件緯度進(jìn)行檢測，而是結(jié)合基礎(chǔ)信息庫的關(guān)聯(lián)關(guān)系，將項(xiàng)目中各模塊檢測數(shù)據(jù)進(jìn)行匯總，進(jìn)行綜合評(píng)定，很像360安全衛(wèi)士的體檢功能。

記者：對(duì)于奇虎360當(dāng)前的自動(dòng)化運(yùn)維架構(gòu)而言，您認(rèn)為還有哪些方面可以優(yōu)化的？

孔德亮：在剛?cè)胄械臅r(shí)候看到一個(gè)前輩提到運(yùn)維閉環(huán)體系，通過不斷摸索，結(jié)合360環(huán)境希望在如下方面不斷優(yōu)化：

• 容量評(píng)估，輔助決策
• 硬件選型，機(jī)房建設(shè)
• 制定項(xiàng)目的運(yùn)維架構(gòu)方案
• 配置管理、包管理、集群管理
• 日常運(yùn)維事務(wù)、故障處理
• 監(jiān)控與分析

記者：作為HULK私有云平臺(tái)架構(gòu)師而言，談?wù)勊鼘?duì)于360以及你個(gè)人的意義。

孔德亮：初期因?yàn)檫\(yùn)維自動(dòng)化才有了HULK的雛形，時(shí)至今日運(yùn)維自動(dòng)化已僅僅是HULK的一部分。在我從事運(yùn)維工作7年之癢的臨界點(diǎn)，我做了件讓自己感覺很酷的事情，每當(dāng)想到自己的平臺(tái)，能讓運(yùn)維、開發(fā)、產(chǎn)品、運(yùn)營的同事通過友好的交互，點(diǎn)點(diǎn)鼠標(biāo)完成以前復(fù)雜的事情，我就會(huì)變得異常興奮，有了好的想法，我就馬上用Axure畫成原型圖和團(tuán)隊(duì)的兄弟論證試錯(cuò)，不斷改進(jìn)。

HULK私有云目前主要意義總結(jié)為如下幾點(diǎn)：

• 解決運(yùn)維自動(dòng)化的問題
• 提供通用基礎(chǔ)服務(wù)，避免項(xiàng)目開發(fā)過程中重復(fù)造輪子
• 將各團(tuán)隊(duì)技術(shù)沉淀通過平臺(tái)傳播，維護(hù)技術(shù)共享的氛圍

相信通過我和團(tuán)隊(duì)兄弟的持續(xù)努力，專注鉆研，時(shí)間會(huì)給予我們豐厚的回報(bào)。（全文完）

阿里、百度、京東、淘寶、谷歌、Facebook、Tesla都到2014 WOT全球軟件技術(shù)峰會(huì)了，你還等什么？這些頂級(jí)的公司將首次對(duì)外公開技術(shù)，涵蓋八大主題，共有40+課程，部署實(shí)施、運(yùn)維開發(fā)、大數(shù)據(jù)、Spark、敏捷開發(fā)一個(gè)都不少。除了第一手的經(jīng)驗(yàn)之外，還有未來兩三年的技術(shù)趨勢，你會(huì)讓自己錯(cuò)過這樣的技術(shù)大會(huì)嗎？