Elasticsearch 是一個功能強大的分布式搜索引擎，廣泛應用于全文檢索、實時分析等場景。

盡管如此，像任何復雜系統(tǒng)一樣，它也會遇到一些運行問題，其中較為常見且影響較大的就是 cluster_block_exception 錯誤。

本文將深入解析這種錯誤的常見原因、如何排查問題以及如何有效解決。

我們將為你提供一套簡明的解決方案，幫助你輕松應對這個問題。

一、什么是 cluster_block_exception 錯誤？

cluster_block_exception 是 Elasticsearch 中的一種錯誤，通常表示集群由于某種狀態(tài)阻止了某些操作的執(zhí)行。

這是 Elasticsearch 的一種保護機制，避免數(shù)據(jù)丟失或系統(tǒng)崩潰。

常見的觸發(fā)原因包括磁盤空間不足、集群健康狀態(tài)不佳、節(jié)點故障或不正確的索引設置。

1. 磁盤空間不足

• 問題描述：

Elasticsearch 內(nèi)置了磁盤空間警戒水位線機制，當磁盤空間不足時，系統(tǒng)會阻止數(shù)據(jù)寫入，以保護集群的完整性。這是最常見的 cluster_block_exception 觸發(fā)原因。

圖片

• 如何檢查磁盤空間：

使用以下命令檢查集群各節(jié)點的磁盤使用情況：

GET _cat/allocation?v

如果某個節(jié)點的磁盤使用率超過高水位線，Elasticsearch 會阻止進一步寫入數(shù)據(jù)。

圖片

圖片

• 解決方法：

增加磁盤空間。刪除不必要的舊索引：

DELETE /index_name

2. 集群健康問題

• 問題描述：

當集群的健康狀態(tài)變?yōu)?yellow 或 red 時，某些操作可能會被阻止。

yellow 表示副本分片未完全分配，而 red 則表明主分片不可用或丟失。

圖片

• 如何檢查集群健康狀態(tài)：

GET _cluster/health

如果集群狀態(tài)為 yellow 或 red，這表明有潛在的集群健康問題需要解決。

• 解決方法：

確保所有節(jié)點正常運行，使用以下命令檢查節(jié)點狀態(tài)：

GET _cat/nodes?v

圖片

如果節(jié)點存在問題，檢查硬件或網(wǎng)絡問題，并重新啟動故障節(jié)點。

重新分配分片以恢復集群健康：

POST /_cluster/reroute

優(yōu)化集群配置，如增加副本分片數(shù)。

https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-reroute.html

3. 節(jié)點故障

• 問題描述：

節(jié)點故障通常是由于硬件、網(wǎng)絡或資源不足引起的。

當一個或多個節(jié)點出現(xiàn)故障時，可能會導致 cluster_block_exception，因為部分分片變得不可用。

• 如何識別節(jié)點故障：

GET _cat/nodes?v

圖片

通過檢查節(jié)點的狀態(tài)和資源使用情況，尤其是 CPU 和內(nèi)存，確定哪些節(jié)點可能出現(xiàn)問題。

• 解決方法：

重新啟動出現(xiàn)故障的節(jié)點。

檢查并解決硬件或網(wǎng)絡問題，確保節(jié)點可以正常通信。

確保 Elasticsearch 進程有足夠的系統(tǒng)資源（CPU、內(nèi)存等）。

4. 集群或索引被設置為只讀

• 問題描述：

有時，Elasticsearch 集群或索引可能被錯誤地設置為只讀模式，尤其是在磁盤空間不足時。

message [ElasticsearchException[Elasticsearch exception [type=cluster_block_exception, reasnotallow=blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]]]

此時，所有寫操作都會被阻止，導致 cluster_block_exception。

• 如何檢查集群是否為只讀：

GET /_cluster/settings

圖片

檢查 cluster.blocks.read_only 或 cluster.blocks.read_only_allow_delete 是否為 true。

• 解決方法：

將集群或索引設置為可寫：

PUT /_cluster/settings
{
  "persistent": {
    "cluster.blocks.read_only": false
  }
}

或者，移除索引的只讀設置（常見移除基本都是設置 null，其他類似命令可以參見如下）：

PUT /index_name/_settings
{
  "index.blocks.read_only_allow_delete": null
}

5. 索引設置問題

• 問題描述：

有時，錯誤的索引設置（例如分片分配問題或副本數(shù)過少）可能導致操作失敗，引發(fā) cluster_block_exception。

• 如何檢查索引設置：

GET /index_name/_settings

圖片

• 解決方法：

確保分片合理分配，避免過度分配。推薦閱讀：

Elasticsearch 使用誤區(qū)之三——分片設置不合理

檢查和調(diào)整副本分片數(shù)量，確保有足夠的副本來保障數(shù)據(jù)冗余和查詢性能。

二、預防措施

要預防 cluster_block_exception，我們可以采取以下措施：

• 措施1：定期監(jiān)控磁盤空間

使用 Kibana 或其他監(jiān)控工具設置磁盤空間的監(jiān)控閾值，避免磁盤空間不足。

• 措施2：自動化分片管理:

使用索引生命周期管理（ILM）策略，自動化控制索引的遷移、刪除或凍結(jié)操作，以避免無限制的索引增長。

ILM 實戰(zhàn)視頻：https://www.bilibili.com/video/BV1MU4y1u7D4/

• 措施3：定期健康檢查。

定期檢查集群的健康狀態(tài)，并在集群狀態(tài)變?yōu)?yellow 或 red 時立即采取措施。

• 措施4：備份和更新

定期備份 Elasticsearch 數(shù)據(jù)，確保出現(xiàn)問題時數(shù)據(jù)可以快速恢復。

此外，確保 Elasticsearch 版本是最新的，以利用性能改進和錯誤修復。

三、總結(jié)

cluster_block_exception 錯誤雖然聽起來棘手，但只要你了解了它的觸發(fā)原因和解決方法，就能輕松應對。

通過本文的指南，結(jié)合日常的監(jiān)控和優(yōu)化策略，你可以確保 Elasticsearch 集群在高效且穩(wěn)定的狀態(tài)下運行，避免潛在的停機和數(shù)據(jù)損失。

參考

【1】https://kasata.medium.com

【2】https://www.elastic.co/guide/en/elasticsearch/reference/current/cluster-reroute.html