接下來的幾年里，DevOps(開發(fā)軟件工程、技術(shù)運營和質(zhì)量保障三者的交集)團隊和IT運維部門將面臨新的挑戰(zhàn)，不過這樣的說法聽起來不免有些多余，因為他們本身最主要的責任就是要解決困難以及克服挑戰(zhàn)。

隨著進程、技術(shù)和工具的顯著變化，應對這些問題已經(jīng)變的越來越困難了。此外，企業(yè)用戶一直在向DevOps和IT運維團隊施加壓力，要求所有的東西都能通過點擊應用程序來得以解決。然而，在后臺，處理這些問題完全是另一番景象，用戶無法體會發(fā)現(xiàn)一個問題是多么的困難，更何況要解決它。

當前IT運維和DevOps團隊面臨的最大的挑戰(zhàn)之一是能夠準確指出在他們工作環(huán)境中的大數(shù)據(jù)流中記錄的雖然微小但潛在的有害問題。換言之，這就像在草叢里尋找一根針。

如果你在一家7天24小時都在線的公司的IT部門工作，下面的場景聽起來或許很熟悉：你在半夜突然接到了一個電話，或許是某個怒氣沖沖的消費者，也或許是由于應用程序崩潰信用卡交易失敗而打過來的你的老板，這時候你會立即去打開你的筆記本電腦、打開日志管理系統(tǒng)，然后你會看到在設定的時間范圍內(nèi)，有10萬條消息已經(jīng)被記錄下來了——一個人是不可能將這些數(shù)據(jù)逐條檢查完的。

因此，遇到這樣的情形你會怎樣做呢?

它是一個每一位IT運維專家都會面臨的故事，他們度過了許多個不眠之夜，他們在日志條目的海洋中航行，尋找著觸發(fā)突發(fā)事件的關(guān)鍵點。這就是實時、集中的日志分析發(fā)揮用武之地的地方。它能幫助這些人弄清楚日志數(shù)據(jù)的基本面，并準確識別主要問題。通過它，故障診斷的過程變的就像在公園里散步一樣簡單、有效，同時專家還能夠據(jù)此預測未來的問題。

人工智能及其對IT運維和DevOps的影響

十幾年前，人工智能還只是個炒作的概念，但現(xiàn)在已經(jīng)被出于各種各樣的目的的人廣泛應用于各行各業(yè)了。結(jié)合大數(shù)據(jù)、人工智能和垂直領域知識，技術(shù)專家和科學家已經(jīng)能夠創(chuàng)造出驚人的突破和機會，這些以前可只能在科幻小說和電影中看到。

隨著IT運維變得靈活、動態(tài)和復雜，人類的大腦已經(jīng)不再能夠跟上大數(shù)據(jù)流的速度、體積和多樣性，這就使得人工智能成為優(yōu)化分析和決策過程中強大而重要的工具。人工智能有助于填補人類和大數(shù)據(jù)之間的空白，提供給人類必要的操作智能和速度，大大減輕了人類故障排除和實時決策的負擔。

AI能幫什么忙?

在上述所有的情況中，有一件事情是共同的，正如討論一開始所說，這些公司需要一個解決方案，能夠幫助IT運維和DevOps團隊快速的從堆積如山的日志數(shù)據(jù)條目中找到問題所在。要識別那條在你工作環(huán)境中增添麻煩的并使應用程序崩潰的日志條目，如果你只是單純知道你的日志數(shù)據(jù)出現(xiàn)了哪種類型的錯誤，是不是太簡單了些?當然它也會減少一些的工作量。

一個解決方案是建立一個平臺，通過該平臺能從互聯(lián)網(wǎng)上收集各種相關(guān)數(shù)據(jù)、觀察人們?nèi)绾卫妙愃频难b置來解決在他們的系統(tǒng)中出現(xiàn)的問題、以及通過掃描你的系統(tǒng)來識別潛在的問題。實現(xiàn)這一目標的一種方法是建立一個模擬用戶如何調(diào)查、監(jiān)視和解決事件并且允許它低估人類與數(shù)據(jù)交互的方式而不是分析數(shù)據(jù)本身的系統(tǒng)。例如，這項技術(shù)可以類似于亞馬遜的產(chǎn)品推薦系統(tǒng)和Google的PageRank算法，但這個是專注于日志數(shù)據(jù)的。

引入認知洞察力

最新的一項技術(shù)實現(xiàn)了本文設想的解決方案，這項最近引起了很大反響的技術(shù)叫做認知洞察力。這種使用機器學習算法的開創(chuàng)性技術(shù)能讓領域知識與日志數(shù)據(jù)、開源存儲庫、討論論壇和社會線程相匹配。結(jié)合所有的這些信息，IT運維和DevOps團隊可能從數(shù)據(jù)中獲取相關(guān)洞見，這其中可能包含著關(guān)鍵問題的解決方案。

關(guān)鍵問題的解決方案的概述

實時的障礙

DevOps工程師、IT運營經(jīng)理、首席技術(shù)官、副總工程師和首席信息安全官都面臨許多挑戰(zhàn)，但是通過將人工智能集成到日志分析和相關(guān)運維過程中，可以有效地減輕這些挑戰(zhàn)帶來的壓力。我們來舉兩個最主要的用例：

安全

分布式拒絕服務(DDoS)攻擊正變得越來越普遍，過去的目標只局限于政府、知名網(wǎng)站和跨國組織機構(gòu)，現(xiàn)在卻普遍開始針對知名人士、中小企業(yè)和中型企業(yè)了。

為了避免這樣的攻擊，有一個集中的架構(gòu)來識別可疑的活動并精確識別來自數(shù)千個數(shù)據(jù)條目的潛在威脅是非常必要的。因此，通過認知洞察力來抵抗DDoS進攻已經(jīng)被證明是非常有效的。在過去，像Dyn和英航這樣的領先公司持續(xù)受到DDoS的攻擊，不過現(xiàn)在，已經(jīng)有了一個成熟的、基于ELK的反DDoS攻擊策略，以阻止黑客的行動擊，并且能夠確保他們的操作安全以免受未來的攻擊。

認知洞察力從成千上萬個數(shù)據(jù)條目中識別到了潛在威脅

IT運維

在你所有日志的每個條目都經(jīng)過仔細的檢查及登記之后，把他們編譯到一個單獨的地方豈不是很棒?嗯，的確如此。您將能夠清楚地查看流程表，并對來自同一個地方的不同應用程序的日志數(shù)據(jù)進行查詢，這將極大地提高您的IT操作效率。

要解決IT運維和DevOps團隊面對的挑戰(zhàn)，就是能夠在大量的日志數(shù)據(jù)流中識別潛在的小的有害問題，這正是認知洞察力所做的事情。由于這個程序的核心是基于ELK的堆棧，所以它可以對數(shù)據(jù)進行分類和簡化，并且可以很容易地對你的IT運維進行清晰的描述。

快速找到IT工作中的“針”，并消除主要問題

集成好的人工智能可以帶來收益

使用AI驅(qū)動的日志分析系統(tǒng)使得在雜草中找針變得非常容易而且高效。這樣的系統(tǒng)將對整個組織的管理和運營產(chǎn)生巨大的影響。就像上面討論的公司的問題一樣，將AI與日志管理系統(tǒng)集成在一起將會在以下幾個方面受益：

提高客戶的成功率

監(jiān)控和客戶支持

降低風險和優(yōu)化資源

使日志數(shù)據(jù)可訪問效率最大化

換句話說，認知洞察力和其他類似的系統(tǒng)在數(shù)據(jù)日志管理和故障排除方面有很大的幫助。Rent-A-Center (RAC)是一家總部位于德克薩斯州的財富1000強公司，它提供了各種各樣的租賃產(chǎn)品和服務。它在墨西哥、波多黎各、加拿大和美國有超過3000家商店和2000個售貨亭，該公司嘗試集成兩種不同的ELK堆棧，但每天處理100GB數(shù)據(jù)過于麻煩，更不用提每天花在磁盤管理、內(nèi)存調(diào)用、額外數(shù)據(jù)輸入功能和其他技術(shù)問題上的高昂成本和時間成本了。之后RAC轉(zhuǎn)向使用認知洞察，因此他們能夠檢測未來的異常，并使其能夠很容易地擴展不斷增長的數(shù)據(jù)量。他們是從這個管理著內(nèi)外部ELK堆棧的專注的IT團隊中受益的一方。

開放源碼在數(shù)據(jù)日志管理中的角色

許多著名的供應商都在積極地研究和測試人工智能，以提高日志數(shù)據(jù)管理系統(tǒng)的效率。一些供應商如下：

毫無疑問，ELK正迅速成為一種趨勢，越來越多的供應商在提供日志解決方案。這是因為它已經(jīng)成為企業(yè)避免花費前期巨額成本而安裝必要程序的好方法了。它還具備一些基本的繪圖和搜索功能，并且為了讓組織認識到他們?nèi)罩緮?shù)據(jù)中存在的問題，他們會選擇諸如認知洞察力這種最新的技術(shù)，來快速找到“針”并消除主要問題。