當(dāng)一個(gè)系統(tǒng)業(yè)務(wù)數(shù)據(jù)量達(dá)到百億條的時(shí)候，通常會(huì)引出一些問(wèn)題：

1.數(shù)據(jù)怎么存儲(chǔ)，存儲(chǔ)到哪里

2.怎么保證數(shù)據(jù)安全，安全存儲(chǔ)策略是什么

3.數(shù)據(jù)怎么檢索，怎么做到快速響應(yīng)

4.怎么對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)分析

作為一款開(kāi)源的定位于全文搜索引擎服務(wù)的Elasticsearch，可能是這些問(wèn)題下比較高效的一種解決方案。那么，Elasticsearch的適用場(chǎng)景，能在什么地方發(fā)揮作用？Elasticsearch的特點(diǎn)優(yōu)勢(shì)又是什么？總的來(lái)說(shuō)，涉及搜索的業(yè)務(wù)場(chǎng)景可能都會(huì)有Es的用武之地，下面將介紹Es的幾種常見(jiàn)業(yè)務(wù)場(chǎng)景。

[[230457]]

• 日志分析

問(wèn)題引入：在復(fù)雜的計(jì)算機(jī)系統(tǒng)里面，一個(gè)系統(tǒng)可能由成千上百臺(tái)服務(wù)器構(gòu)成，很多系統(tǒng)不在一個(gè)地區(qū)機(jī)房，甚至有跨國(guó)家的；即使是在一個(gè)地區(qū)的系統(tǒng)，也有不同的來(lái)源，比如：操作系統(tǒng)、應(yīng)用服務(wù)、業(yè)務(wù)邏輯等等。它們無(wú)時(shí)不刻都在產(chǎn)生新的各式各樣的日志數(shù)據(jù)。

面對(duì)如此海量的分布在各個(gè)服務(wù)器上的日志數(shù)據(jù)，一旦我們需要去排查一些重要的信息，使用傳統(tǒng)的方式登陸到一臺(tái)臺(tái)機(jī)器上查看顯然有點(diǎn)力不從心。因此，建立一套集中式的日志管理系統(tǒng)，把不同來(lái)源的日志數(shù)據(jù)集中整合到一個(gè)地方再進(jìn)行分析就顯得尤為重要。

一套完整的集中式日志管理系統(tǒng)，主要包含以下幾個(gè)功能：

• 采集－能夠采集不同地區(qū)多種來(lái)源的日志數(shù)據(jù)
• 傳輸－能夠穩(wěn)定地把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
• 存儲(chǔ)－能夠安全的存儲(chǔ)日志數(shù)據(jù)
• 分析－能夠提供高效的日志數(shù)據(jù)分析，并可以支持UI展現(xiàn)
• 告警－能夠提供監(jiān)控機(jī)制，異常信息告警

解決方案：ELK

ELK是一套集中式日志管理方案，由ElasticSearch + Logstash + Kibana三個(gè)開(kāi)源軟件組成。UES基于ElasticSearch和Kibana開(kāi)發(fā)，使用UES服務(wù)的ELK協(xié)議棧如下圖所示：

Logstash Agent收集不同來(lái)源的Server產(chǎn)生的日志，并存放到Elasticsearch集群中，而Kibana則從ES集群中查詢(xún)數(shù)據(jù)生成圖表，加上配置 Nginx 實(shí)現(xiàn)簡(jiǎn)單的用戶(hù)認(rèn)證，再返回給瀏覽器端。

Elasticsearch 是一個(gè)實(shí)時(shí)的分布式搜索和分析引擎，它可以用于全文搜索、結(jié)構(gòu)化搜索以及分析。它是一個(gè)建立在全文搜索引擎 Apache Lucene 基礎(chǔ)上的搜索引擎，使用 Java 語(yǔ)言編寫(xiě)。

Elasticsearch的主要特點(diǎn)：

• 分布式的實(shí)時(shí)文檔存儲(chǔ)系統(tǒng)
• 分布式的實(shí)時(shí)分析搜索引擎
• 多數(shù)據(jù)源，文檔導(dǎo)向，所有的對(duì)象全部是文檔
• 高可用性，易擴(kuò)展，支持集群（Cluster）、分片和復(fù)制（Shards 和 Replicas）
• 支持插件機(jī)制
• restful風(fēng)格接口，支持Json

Logstash 是一個(gè)具有實(shí)時(shí)渠道能力的數(shù)據(jù)收集引擎。它是一個(gè)完全開(kāi)源的工具，可以對(duì)你的日志進(jìn)行收集、過(guò)濾，并將其存儲(chǔ)供以后使用。

Logstash主要特點(diǎn)：

• 幾乎可以訪(fǎng)問(wèn)任何數(shù)據(jù)
• 可以和多種外部應(yīng)用結(jié)合 
• 支持彈性擴(kuò)展

Logstash由三個(gè)主要部分組成：

• Shipper－發(fā)送日志數(shù)據(jù)
• Broker－收集數(shù)據(jù)，缺省內(nèi)置 Redis
• Indexer－數(shù)據(jù)寫(xiě)入

Kibana 是一款基于 Apache 開(kāi)源協(xié)議，使用 JavaScript 語(yǔ)言編寫(xiě)，為 Elasticsearch 提供分析和可視化的 Web 平臺(tái)。它可以在 Elasticsearch 的索引中查找、交互數(shù)據(jù)，并生成各種維度的表圖。

使用UES作為日志分析管理的案例分析如圖所示：

從案例中可以看出使用ELK技術(shù)來(lái)做日志管理和傳統(tǒng)方式的對(duì)比。結(jié)果顯而易見(jiàn)，使用ELK技術(shù)能在最短時(shí)間內(nèi)解決問(wèn)題，在日志管理方面更加便捷高效。

• 全文檢索

如今，無(wú)論是互聯(lián)網(wǎng)信息還是企業(yè)內(nèi)部每天產(chǎn)生的信息，都在以指數(shù)級(jí)增長(zhǎng)。對(duì)于企業(yè)內(nèi)部，在每天產(chǎn)生的大量數(shù)據(jù)尤其是非結(jié)構(gòu)化數(shù)據(jù)中，如何快速查找到對(duì)企業(yè)內(nèi)部有用的信息，幾乎成為每個(gè)公司開(kāi)始關(guān)注的重點(diǎn)。

Elasticsearch在實(shí)現(xiàn)全文檢索的過(guò)程中，首先要確定分詞器，Es默認(rèn)有很多分詞器。一般中文分詞器使用第三方的ik分詞器、mmsegf分詞器和paoding分詞器，最初構(gòu)建于lucene，后來(lái)移植于Es。目前在***版的Es中，使用的是ik分詞器。UES已經(jīng)內(nèi)置安裝了ik分詞器，并且支持自定義分詞詞庫(kù)。

當(dāng)用戶(hù)產(chǎn)生大量的文本數(shù)據(jù)時(shí)，Es均會(huì)將其進(jìn)行分詞并將這些詞語(yǔ)保存在索引中，只需輸入關(guān)鍵詞進(jìn)行查詢(xún)，索引就能起到作用，查找對(duì)應(yīng)的相同查詢(xún)?cè)~，從而實(shí)現(xiàn)全文檢索。全文檢索的架構(gòu)設(shè)計(jì)如下圖：

其中，Elasticsearch服務(wù)端進(jìn)行數(shù)據(jù)索引存儲(chǔ)，Server提供檢索接口，瀏覽器端負(fù)責(zé)數(shù)據(jù)渲染和界面呈現(xiàn)。

• 傳統(tǒng)數(shù)據(jù)庫(kù)替代

隨著Elasticsearch技術(shù)的發(fā)展，使得Es已經(jīng)超越了其最初的純搜索引擎角色，新增了數(shù)據(jù)聚合分析和可視化的特性。如果遇到***數(shù)量的文檔需要通過(guò)關(guān)鍵詞進(jìn)行檢索時(shí)，Es肯定是***選擇。當(dāng)然，如果文檔格式是Json的，也可以把Es當(dāng)作一種NoSQL數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行多維度的分析。

Elasticsearch是可以支持持久存儲(chǔ)、統(tǒng)計(jì)等多項(xiàng)功能的現(xiàn)代搜索引擎，這種特性也決定了某些場(chǎng)景下Es可以作為主要的后端服務(wù)存儲(chǔ)。Es替代傳統(tǒng)DB的前提是業(yè)務(wù)不對(duì)操作的事務(wù)性有特殊要求，由于 Es的權(quán)限管理并不是特別完善，所以只把Es作為內(nèi)部存儲(chǔ)是可以替代傳統(tǒng)數(shù)據(jù)庫(kù)的。

還有一種場(chǎng)景：在一個(gè)已經(jīng)運(yùn)行了很長(zhǎng)時(shí)間的復(fù)雜系統(tǒng)中添加檢索服務(wù)。一種非常冒險(xiǎn)的方法是重構(gòu)系統(tǒng)以支持使用Es，而相對(duì)安全的方法是將Es作為新的組件添加到現(xiàn)有系統(tǒng)中。 

如圖所示的MySQL數(shù)據(jù)庫(kù)和Es集群存儲(chǔ)，需要找到一種方式使得兩存儲(chǔ)之間實(shí)時(shí)同步，例如 logstash-input-jdbc 插件。

其實(shí)Elasticsearch的應(yīng)用場(chǎng)景遠(yuǎn)不止這些，只有不斷嘗試，接觸新的應(yīng)用場(chǎng)景，我們才有機(jī)會(huì)獲得更好解決方案的經(jīng)驗(yàn)。UES作為一款平臺(tái)產(chǎn)品推出，旨在應(yīng)用到客戶(hù)廣泛的業(yè)務(wù)場(chǎng)景中，例如：

數(shù)據(jù)分析場(chǎng)景：分析網(wǎng)址、移動(dòng)設(shè)備、服務(wù)器等非結(jié)構(gòu)化和半結(jié)構(gòu)化日志，分析傳統(tǒng)數(shù)據(jù)庫(kù)中數(shù)據(jù)，用于錯(cuò)誤排查、應(yīng)用程序監(jiān)控、欺詐檢測(cè)、游戲、廣告等；

全文搜索場(chǎng)景：電商、O2O、企業(yè)等行業(yè)的搜索與導(dǎo)航服務(wù)；

實(shí)時(shí)統(tǒng)計(jì)分析場(chǎng)景：應(yīng)用程序、用戶(hù)點(diǎn)擊等實(shí)時(shí)統(tǒng)計(jì)分析；

分布式文檔處理場(chǎng)景：對(duì)Json支持友好，支持地理位置查詢(xún)。

UES可以實(shí)現(xiàn)集群化的快速部署，極大降低人力運(yùn)維成本。多種節(jié)點(diǎn)類(lèi)型的提供、靈活的計(jì)費(fèi)方式、支持業(yè)務(wù)動(dòng)態(tài)擴(kuò)容，此外集群豐富的預(yù)裝插件和監(jiān)控指標(biāo)為用戶(hù)集群使用功能和數(shù)據(jù)安全保駕護(hù)航。