全文搜索 屬于最常見的需求，開源的 ElasticSearch (以下簡稱 Elastic)是目前全文搜索引擎的首選。

它可以快速地儲存、搜索和分析海量數(shù)據(jù)。維基百科、Stack Overflow、Github 都采用它。

Elastic 的底層是開源庫 Lucene 。但是，你沒法直接用 Lucene，必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝，提供了 REST API 的操作接口，開箱即用。

本文從零開始，講解如何使用 Elastic 搭建自己的全文搜索引擎。每一步都有詳細的說明，大家跟著做就能學會。

一、安裝

Elastic 需要 Java 8 環(huán)境。如果你的機器還沒安裝 Java，可以參考 這篇文章 ，注意要保證環(huán)境變量 JAVA_HOME 正確設置。

安裝完 Java，就可以跟著 官方文檔 安裝 Elastic。直接下載壓縮包比較簡單。

 

$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip  
$ unzip elasticsearch-5.5.1.zip  
$ cd elasticsearch-5.5.1/ 

接著，進入解壓后的目錄，運行下面的命令，啟動 Elastic。

$ ./bin/elasticsearch 

如果這時 報錯 "max virtual memory areas vm.max map count [65530] is too low"，要運行下面的命令。

$ sudo sysctl -w vm.max_map_count=262144 

如果一切正常，Elastic 就會在默認的9200端口運行。這時，打開另一個命令行窗口，請求該端口，會得到說明信息。

$ curl localhost:9200  
{ 
  "name" : "atntrTf", 
  "cluster_name" : "elasticsearch", 
  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA", 
  "version" : { 
    "number" : "5.5.1", 
    "build_hash" : "19c13d0", 
    "build_date" : "2017-07-18T20:44:24.823Z", 
    "build_snapshot" : false, 
    "lucene_version" : "6.6.0" 
  }, 
  "tagline" : "You Know, for Search" 
} 

上面代碼中，請求9200端口，Elastic 返回一個 JSON 對象，包含當前節(jié)點、集群、版本等信息。

按下 Ctrl + C，Elastic 就會停止運行。

默認情況下，Elastic 只允許本機訪問，如果需要遠程訪問，可以修改 Elastic 安裝目錄的 config/elasticsearch.yml 文件，去掉 network.host 的注釋，將它的值改成 0.0.0.0 ，然后重新啟動 Elastic。

network.host: 0.0.0.0 

上面代碼中，設成 0.0.0.0 讓任何人都可以訪問。線上服務不要這樣設置，要設成具體的 IP。

二、基本概念

2.1 Node 與 Cluster

Elastic 本質上是一個分布式數(shù)據(jù)庫，允許多臺服務器協(xié)同工作，每臺服務器可以運行多個 Elastic 實例。

單個 Elastic 實例稱為一個節(jié)點(node)。一組節(jié)點構成一個集群(cluster)。

2.2 Index

Elastic 會索引所有字段，經(jīng)過處理后寫入一個反向索引(Inverted Index)。查找數(shù)據(jù)的時候，直接查找該索引。

所以，Elastic 數(shù)據(jù)管理的頂層單位就叫做 Index(索引)。它是單個數(shù)據(jù)庫的同義詞。每個 Index (即數(shù)據(jù)庫)的名字必須是小寫。

下面的命令可以查看當前節(jié)點的所有 Index。

$ curl -X GET 'http://localhost:9200/_cat/indices?v' 

2.3 Document

Index 里面單條的記錄稱為 Document(文檔)。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示，下面是一個例子。

 

{ 
  "user": "張三", 
  "title": "工程師", 
  "desc": "數(shù)據(jù)庫管理" 
} 

同一個 Index 里面的 Document，不要求有相同的結構(scheme)，但是最好保持相同，這樣有利于提高搜索效率。

2.4 Type

Document 可以分組，比如 weather 這個 Index 里面，可以按城市分組(北京和上海)，也可以按氣候分組(晴天和雨天)。這種分組就叫做 Type，它是虛擬的邏輯分組，用來過濾 Document。

不同的 Type 應該有相似的結構(schema)，舉例來說， id 字段不能在這個組是字符串，在另一個組是數(shù)值。這是與關系型數(shù)據(jù)庫的表的 一個區(qū)別 。性質完全不同的數(shù)據(jù)(比如 products 和 logs )應該存成兩個 Index，而不是一個 Index 里面的兩個 Type(雖然可以做到)。

下面的命令可以列出每個 Index 所包含的 Type。

$ curl 'localhost:9200/_mapping?pretty=true' 

根據(jù) 規(guī)劃 ，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。

三、新建和刪除 Index

新建 Index，可以直接向 Elastic 服務器發(fā)出 PUT 請求。下面的例子是新建一個名叫 weather 的 Index。

$ curl -X PUT 'localhost:9200/weather' 

服務器返回一個 JSON 對象，里面的 acknowledged 字段表示操作成功。

 

{ 
  "acknowledged":true, 
  "shards_acknowledged":true 
} 

然后，我們發(fā)出 DELETE 請求，刪除這個 Index。

$ curl -X DELETE 'localhost:9200/weather' 

四、中文分詞設置

首先，安裝中文分詞插件。這里使用的是 ik ，也可以考慮其他插件(比如 smartcn )。

$ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip 

上面代碼安裝的是5.5.1版的插件，與 Elastic 5.5.1 配合使用。

接著，重新啟動 Elastic，就會自動加載這個新安裝的插件。

然后，新建一個 Index，指定需要分詞的字段。這一步根據(jù)數(shù)據(jù)結構而異，下面的命令只針對本文?；旧希彩切枰阉鞯闹形淖侄?，都要單獨設置一下。

 

$ curl -X PUT 'localhost:9200/accounts' -d ' 
{ 
  "mappings": { 
    "person": { 
      "properties": { 
        "user": { 
          "type": "text", 
          "analyzer": "ik_max_word", 
          "search_analyzer": "ik_max_word" 
        }, 
        "title": { 
          "type": "text", 
          "analyzer": "ik_max_word", 
          "search_analyzer": "ik_max_word" 
        }, 
        "desc": { 
          "type": "text", 
          "analyzer": "ik_max_word", 
          "search_analyzer": "ik_max_word" 
        } 
      } 
    } 
  } 
}' 

上面代碼中，首先新建一個名稱為 accounts 的 Index，里面有一個名稱為 person 的 Type。 person 有三個字段。

• user
• title
• desc

這三個字段都是中文，而且類型都是文本(text)，所以需要指定中文分詞器，不能使用默認的英文分詞器。

Elastic 的分詞器稱為 analyzer 。我們對每個字段指定分詞器。

 

"user": { 
  "type": "text", 
  "analyzer": "ik_max_word", 
  "search_analyzer": "ik_max_word" 
} 

上面代碼中， analyzer 是字段文本的分詞器， search_analyzer 是搜索詞的分詞器。 ik_max_word 分詞器是插件 ik 提供的，可以對文本進行最大數(shù)量的分詞。

五、數(shù)據(jù)操作

5.1 新增記錄

向指定的 /Index/Type 發(fā)送 PUT 請求，就可以在 Index 里面新增一條記錄。比如，向 /accounts/person 發(fā)送請求，就可以新增一條人員記錄。

 

$ curl -X PUT 'localhost:9200/accounts/person/1' -d ' 
{ 
  "user": "張三", 
  "title": "工程師", 
  "desc": "數(shù)據(jù)庫管理" 
}' 

服務器返回的 JSON 對象，會給出 Index、Type、Id、Version 等信息。

 

{ 
  "_index":"accounts", 
  "_type":"person", 
  "_id":"1", 
  "_version":1, 
  "result":"created", 
  "_shards":{"total":2,"successful":1,"failed":0}, 
  "created":true 
} 

如果你仔細看，會發(fā)現(xiàn)請求路徑是 /accounts/person/1 ，最后的 1 是該條記錄的 Id。它不一定是數(shù)字，任意字符串(比如 abc )都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

 

$ curl -X POST 'localhost:9200/accounts/person' -d ' 
{ 
  "user": "李四", 
  "title": "工程師", 
  "desc": "系統(tǒng)管理" 
}' 

上面代碼中，向 /accounts/person 發(fā)出一個 POST 請求，添加一個記錄。這時，服務器返回的 JSON 對象里面， _id 字段就是一個隨機字符串。

 

{ 
  "_index":"accounts", 
  "_type":"person", 
  "_id":"AV3qGfrC6jMbsbXb6k1p", 
  "_version":1, 
  "result":"created", 
  "_shards":{"total":2,"successful":1,"failed":0}, 
  "created":true 
} 

注意，如果沒有先創(chuàng)建 Index(這個例子是 accounts )，直接執(zhí)行上面的命令，Elastic 也不會報錯，而是直接生成指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

5.2 查看記錄

向 /Index/Type/Id 發(fā)出 GET 請求，就可以查看這條記錄。

$ curl 'localhost:9200/accounts/person/1?pretty=true' 

上面代碼請求查看 /accounts/person/1 這條記錄，URL 的參數(shù) pretty=true 表示以易讀的格式返回。

返回的數(shù)據(jù)中， found 字段表示查詢成功， _source 字段返回原始記錄。

 

{ 
  "_index" : "accounts", 
  "_type" : "person", 
  "_id" : "1", 
  "_version" : 1, 
  "found" : true, 
  "_source" : { 
    "user" : "張三", 
    "title" : "工程師", 
    "desc" : "數(shù)據(jù)庫管理" 
  } 
} 

如果 Id 不正確，就查不到數(shù)據(jù)， found 字段就是 false 。

 

$ curl 'localhost:9200/weather/beijing/abc?pretty=true'  
{ 
  "_index" : "weather", 
  "_type" : "beijing", 
  "_id" : "abc", 
  "found" : false 
} 

5.3 刪除記錄

刪除記錄就是發(fā)出 DELETE 請求。

$ curl -X DELETE 'localhost:9200/accounts/person/1' 

這里先不要刪除這條記錄，后面還要用到。

5.4 更新記錄

更新記錄就是使用 PUT 請求，重新發(fā)送一次數(shù)據(jù)。

 

$ curl -X PUT 'localhost:9200/accounts/person/1' -d ' 
{ 
    "user" : "張三", 
    "title" : "工程師", 
    "desc" : "數(shù)據(jù)庫管理，軟件開發(fā)" 
}'  
 
{ 
  "_index":"accounts", 
  "_type":"person", 
  "_id":"1", 
  "_version":2, 
  "result":"updated", 
  "_shards":{"total":2,"successful":1,"failed":0}, 
  "created":false 
} 

上面代碼中，我們將原始數(shù)據(jù)從"數(shù)據(jù)庫管理"改成"數(shù)據(jù)庫管理，軟件開發(fā)"。 返回結果里面，有幾個字段發(fā)生了變化。

 

"_version" : 2, 
"result" : "updated", 
"created" : false 

可以看到，記錄的 Id 沒變，但是版本(version)從 1 變成 2 ，操作類型(result)從 created 變成 updated ， created 字段變成 false ，因為這次不是新建記錄。

六、數(shù)據(jù)查詢

6.1 返回所有記錄

使用 GET 方法，直接請求 /Index/Type/_search ，就會返回所有記錄。

 

$ curl 'localhost:9200/accounts/person/_search'  
{ 
  "took":2, 
  "timed_out":false, 
  "_shards":{"total":5,"successful":5,"failed":0}, 
  "hits":{ 
    "total":2, 
    "max_score":1.0, 
    "hits":[ 
      { 
        "_index":"accounts", 
        "_type":"person", 
        "_id":"AV3qGfrC6jMbsbXb6k1p", 
        "_score":1.0, 
        "_source": { 
          "user": "李四", 
          "title": "工程師", 
          "desc": "系統(tǒng)管理" 
        } 
      }, 
      { 
        "_index":"accounts", 
        "_type":"person", 
        "_id":"1", 
        "_score":1.0, 
        "_source": { 
          "user" : "張三", 
          "title" : "工程師", 
          "desc" : "數(shù)據(jù)庫管理，軟件開發(fā)" 
        } 
      } 
    ] 
  } 
} 

上面代碼中，返回結果的 took 字段表示該操作的耗時(單位為毫秒)， timed_out 字段表示是否超時， hits 字段表示命中的記錄，里面子字段的含義如下。

• total ：返回記錄數(shù)，本例是2條。
• max_score ：最高的匹配程度，本例是 1.0 。
• hits ：返回的記錄組成的數(shù)組。

返回的記錄中，每條記錄都有一個 _score 字段，表示匹配的程序，默認是按照這個字段降序排列。

6.2 全文搜索

Elastic 的查詢非常特別，使用自己的 查詢語法 ，要求 GET 請求帶有數(shù)據(jù)體。

 

$ curl 'localhost:9200/accounts/person/_search'  -d ' 
{ 
  "query" : { "match" : { "desc" : "軟件" }} 
}' 

上面代碼使用 Match 查詢 ，指定的匹配條件是 desc 字段里面包含"軟件"這個詞。返回結果如下。

 

{ 
  "took":3, 
  "timed_out":false, 
  "_shards":{"total":5,"successful":5,"failed":0}, 
  "hits":{ 
    "total":1, 
    "max_score":0.28582606, 
    "hits":[ 
      { 
        "_index":"accounts", 
        "_type":"person", 
        "_id":"1", 
        "_score":0.28582606, 
        "_source": { 
          "user" : "張三", 
          "title" : "工程師", 
          "desc" : "數(shù)據(jù)庫管理，軟件開發(fā)" 
        } 
      } 
    ] 
  } 
} 

Elastic 默認一次返回10條結果，可以通過 size 字段改變這個設置。

 

$ curl 'localhost:9200/accounts/person/_search'  -d ' 
{ 
  "query" : { "match" : { "desc" : "管理" }}, 
  "size": 1 
}' 

上面代碼指定，每次只返回一條結果。

還可以通過 from 字段，指定位移。

 

$ curl 'localhost:9200/accounts/person/_search'  -d ' 
{ 
  "query" : { "match" : { "desc" : "管理" }}, 
  "from": 1, 
  "size": 1 
}' 

上面代碼指定，從位置1開始(默認是從位置0開始)，只返回一條結果。

6.3 邏輯運算

如果有多個搜索關鍵字， Elastic 認為它們是 or 關系。

 

$ curl 'localhost:9200/accounts/person/_search'  -d ' 
{ 
  "query" : { "match" : { "desc" : "軟件 系統(tǒng)" }} 
}' 

上面代碼搜索的是 軟件 or 系統(tǒng) 。

如果要執(zhí)行多個關鍵詞的 and 搜索，必須使用 布爾查詢 。

 

$ curl 'localhost:9200/accounts/person/_search'  -d ' 
{ 
  "query": { 
    "bool": { 
      "must": [ 
        { "match": { "desc": "軟件" } }, 
        { "match": { "desc": "系統(tǒng)" } } 
      ] 
    } 
  } 
}' 

七、參考鏈接

ElasticSearch 官方手冊

A Practical Introduction to Elasticsearch