近年來運(yùn)維技術(shù)飛速發(fā)展，運(yùn)維團(tuán)隊(duì)建設(shè)了各種系統(tǒng)，虛擬化、容器化、持續(xù)集成等等。但如何有效地利用這些系統(tǒng)最終實(shí)現(xiàn)站點(diǎn)的高可用、高性能、高可擴(kuò)展?在大數(shù)據(jù)時(shí)代，智能運(yùn)維是基于大數(shù)據(jù)之上的。大數(shù)據(jù)里90%都是非結(jié)構(gòu)化數(shù)據(jù)，日志是重要的非結(jié)構(gòu)化數(shù)據(jù)，日志無處不在，因此，從日志里面挖掘的價(jià)值非常高。

2017年9月27日，由中國新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟主辦，CIO時(shí)代APP承辦的"第62期CIO時(shí)代信息化大講堂"活動(dòng)在北京CIO時(shí)代學(xué)院報(bào)告廳成功舉行。日志易項(xiàng)目總監(jiān)趙亮作為本次活動(dòng)的特邀講師，發(fā)表了題為《智能運(yùn)維與海量日志分析》的主題演講。本次活動(dòng)吸引了企業(yè)技術(shù)人員、高校學(xué)生、業(yè)界CIO等40多人參會(huì)，活動(dòng)現(xiàn)場(chǎng)提問不斷，氣氛活躍。本次講座活動(dòng)由CIO時(shí)代APP市場(chǎng)運(yùn)營張林穎主持。

日志易項(xiàng)目總監(jiān) 趙亮

他主要從智能運(yùn)維、小功能介紹、場(chǎng)景分析及價(jià)值以及機(jī)器學(xué)習(xí)四個(gè)方面進(jìn)行了詳細(xì)闡述。

日志是鮮活的，是可以發(fā)聲的。他表示，要把機(jī)器學(xué)習(xí)、人工智能應(yīng)用在運(yùn)維領(lǐng)域，來實(shí)現(xiàn)智能運(yùn)維，然后兩者結(jié)合服務(wù)于三大模塊：服務(wù)臺(tái)、自動(dòng)化、監(jiān)控。機(jī)器學(xué)習(xí)、大數(shù)據(jù)在不同企業(yè)的落地技術(shù)是不一樣的，機(jī)器學(xué)習(xí)在整個(gè)行業(yè)里還處于一個(gè)發(fā)展的階段，跟實(shí)際要求的預(yù)期還存在一定的差距。

智能運(yùn)維架構(gòu)

1、數(shù)據(jù)采集，采集是基礎(chǔ)，包括日志、事件、性能指標(biāo)。

2、數(shù)據(jù)存儲(chǔ)，主要是非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，日志這種數(shù)據(jù)是非常典型的。

3、數(shù)據(jù)分析，把整個(gè)數(shù)據(jù)源進(jìn)行整體的分析，主要把握深度分析、實(shí)時(shí)分析兩大模塊，也是智能運(yùn)維中最為關(guān)鍵的環(huán)節(jié)，要很精準(zhǔn)的做到非結(jié)構(gòu)化數(shù)據(jù)分析，來達(dá)到想要的指標(biāo)。

4、數(shù)據(jù)展現(xiàn)?？梢酝ㄟ^可視化、自然語言來實(shí)現(xiàn)。

大數(shù)據(jù)技術(shù)應(yīng)用于IT運(yùn)維，通過數(shù)據(jù)分析提升IT運(yùn)維。Gartner估計(jì)，到2017年15%的大企業(yè)會(huì)積極使用ITOA，而在2014年這一數(shù)字只有5%。

ITOA 四種數(shù)據(jù)源的比較

1、機(jī)器數(shù)據(jù)(日志)。日志無所不在，但不同應(yīng)用輸出的日志內(nèi)容的完整性、可用性不同。

2、通信數(shù)據(jù)(網(wǎng)絡(luò)抓包)。網(wǎng)絡(luò)流量信息全面，但一些事件未必觸發(fā)網(wǎng)絡(luò)流量。

3、代理數(shù)據(jù)(嵌入代碼)。代碼級(jí)精細(xì)監(jiān)控，但侵入性，會(huì)帶來安全、穩(wěn)定、性能問題。

4、探針數(shù)據(jù)(模擬用戶請(qǐng)求)。端到端監(jiān)控，但不是真實(shí)用戶度量(Real User Measurement)。

日志管理系統(tǒng)演進(jìn)

1、日志1.0 數(shù)據(jù)庫。固定的schema無法適任意日志格式，無法處理大數(shù)據(jù)量。

2、日志2.0 Hadoop/NoSQL。需要開發(fā)成本，批處理、實(shí)時(shí)性差，不支持全文檢索。

3、日志3.0 實(shí)時(shí)搜索分析。實(shí)時(shí)、靈活、全文檢索。

4、日志4.0。主要是應(yīng)用機(jī)器學(xué)習(xí)、人工智能技術(shù)。

日志易的“小功能”主要表現(xiàn)在豐富的數(shù)據(jù)采集手段、多種數(shù)據(jù)整理方式、內(nèi)置多種解析規(guī)則、細(xì)粒度權(quán)限設(shè)置、數(shù)據(jù)脫敏、日志生命周期管理、簡單多樣的告警手段幾個(gè)方面，使日志易的“小功能”專業(yè)而全面。

場(chǎng)景分析及價(jià)值

一、安全審計(jì)及合規(guī)

2017年6月1日，《中華人民共和國網(wǎng)絡(luò)安全法》正式實(shí)施，其對(duì)業(yè)務(wù)系統(tǒng)安全審計(jì)提出了新的要求。日志易既對(duì)外做SOC(安全運(yùn)營中心)的支撐平臺(tái)，又對(duì)內(nèi)做UBA(用戶行為分析)。很多企業(yè)在使用之后，滿足了合規(guī)要求。

二、統(tǒng)一日志管理

目前接入600多個(gè)子系統(tǒng)應(yīng)用日志，202臺(tái)網(wǎng)絡(luò)設(shè)備日志，45臺(tái)F5設(shè)備日志，47臺(tái)存儲(chǔ)設(shè)備日志，每秒產(chǎn)生的200萬條日志，由于日志量龐大，為了降低防火墻策略的復(fù)雜度以及防火墻流量壓力，將網(wǎng)絡(luò)設(shè)備、服務(wù)器、業(yè)務(wù)應(yīng)用日志通過專門網(wǎng)口接入到內(nèi)網(wǎng)萬兆交換機(jī)，直接轉(zhuǎn)發(fā)到日志易集群。各業(yè)務(wù)系統(tǒng)服務(wù)器中部署日志易采集agent，用于增量讀取業(yè)務(wù)日志，目前已部署1300多個(gè)。

活動(dòng)現(xiàn)場(chǎng)

在此次講座中，趙亮先生深度講解了日志易的內(nèi)部技術(shù)原理，深入淺出。嘉賓們認(rèn)真聽講，紛紛表示不虛此行。

“CIO時(shí)代信息化大講堂”活動(dòng)每隔周三下午19:00-20:30定期舉辦公開講座，更多干貨分享以及活動(dòng)動(dòng)態(tài)，請(qǐng)關(guān)注CIO時(shí)代APP。掃描下方二維碼即可下載。