提到Elasticsearch，讓筆者最惡心的倒不是它的反人類的DSL設計，而是每次安裝都需要修改進程的最大文件描述符。那ES與文件描述符有啥恩怨呢，下面就來嘮叨嘮叨。首先說說文件描述符、在說說ES為什么要這么多文件描述符。

一、文件描述符

1、什么是文件描述符

文件描述符（File descriptor）是操作系統為了高效管理文件所創(chuàng)建的一種索引，用于指向被打開的文件，所有I/O操作都是通過文件描述符來實現。有的地方也會說成是文件句柄，他倆有些區(qū)別，這里為了方便理解，暫且認為一樣。

如果以文件句柄（File Handle）來理解的話，也很形象。Handle是門把手的意思，我們用門把手操作門，類似的，進程用文件句柄操作底層操作系統的資源。

在Linux中，遵循一切皆是文件的原則，磁盤文件、目錄、設備、網絡套接字、硬件等都是文件。當進程讀寫文件，在打開時，文件和進程就建立了連接，文件描述符就是這個連接。

文件描述符實際上就是對內核層的一個硬件資源實例的指針的引用。當然啦，它和指針也是有區(qū)別的，指針是棧上的變量，用來操作堆內存里的對象。

文件描述符在系統里的位置見下圖：

2、為什么需要文件描述符

這里還用門把手舉例。一扇門如果有多個把手，被不同的人操作，那門往哪兒走就不確定了，很容易出現爭論。為了避免這種情況，門只有一個把手。

為了解決系統資源浪費和資源沖突的問題，操作系統不會讓每個用戶層的進程都在內核層創(chuàng)建一個硬件資源實例。在操作同一個系統硬件資源時，用戶層可能有多個進程，但是都對應到內核層的一個進程。

3、文件描述符數量限制

操作系統會為進程設置一個默認的可以操作的文件描述符數量，進程打開的文件數量或者需要的文件數量超過這個數字時就會拋出異常。

通過ulimit -a命令可以查看可操作的文件描述符數量。通過vim /etc/security/limits.con可以修改進程可操作性的文件描述符數量。

二、ES為什么要這么多文件描述符

在說ES為什么要這么多文件描述符之前，先簡單說說ES寫入數據的過程。

1.ES寫入數據的過程

(1) 寫入的主要流程

假設有3個節(jié)點：node1、node2、node3，其中node2是主節(jié)點，寫入數據的主要流程如下：

• 客戶端的請求攜帶數據，到達node1，node1找到主分片所在的node2。
• node1將數據轉發(fā)到主分片所在node2，node2將數據寫入主分片。
• 主分片寫入成功后，node2將數據轉發(fā)到node1和node3，node1和node3將數據寫入副本分片。
• 所有副本分片都寫入成功后，node2向 客戶端所請求的節(jié)點node1 返回寫入成功的消息。
• 客戶端所請求的節(jié)點node1向客戶端返回成功。

(2) 寫入的細節(jié)流程

ES寫入數據的細節(jié)流程分為4步：Refresh操作、寫Transaction Log、Flush操作、Merge操作。

• Refresh操作：在文檔寫入ES時首先會寫到Index Buffer里，然后每隔一秒執(zhí)行一次Refresh操作，把Index Buffer里的數據寫入磁盤緩存里，但不會調用fsync刷到硬盤。因為數據被Refresh 后才能被檢索出來，所以ES是近實時的搜索引擎。
• 寫Transaction Log：文檔寫入到Index Buffer后，數據是沒有刷到硬盤的，存在數據丟失的風險。為了保證數據不丟失，在寫完 Index Buffer 后，系統還要寫Transaction Log，寫Transaction Log默認是調用 fsync 進行刷盤的。ES重啟時會從Transaction Log中恢復數據，防止數據丟失。
• Flush操作：Flush操作會將磁盤緩存持久化到磁盤中，默認30分鐘 或 在Transaction Log寫滿時觸發(fā)。Flush將磁盤緩存 持久化到磁盤后，會清空Transaction Log。
• Merge操作：在每次Refresh 后都會創(chuàng)建一個新的Segment文件，隨著時間推移和索引越來越多，Segment文件會暴增，這時會帶來許多問題，比如消耗過多的文件描述符、內存、CPU時間周期等，而且每次搜索都要檢查每個Segment然后再合并結果，所以Segment越多、搜索也就越慢，因此需要合并Segment。ES會自動執(zhí)行Merge操作，然后物理刪除過多的Segment文件。

2、為什么要這么多文件描述符

通過以上ES寫數據的流程可以知道，ES在每次Refresh時都會創(chuàng)建新的Segment，創(chuàng)建索引的過程中會創(chuàng)建大量的Segment。Segment內部一般包含著：詞項、詞頻、文檔之間的關系。每個Segment都是一個文件，ES使用了大量的文件。每一個Segment都會消耗文件描述符、內存和CPU運行周期。同時，ES 在節(jié)點之間進行通信和數據拷貝、ES在和客戶端之間進行通信等，也使用了大量的網絡資源。

基于以上原因，ES需要大量的文件描述符。Linux 系統為進程準備了一個默認的文件描述符數量，但是這對ES節(jié)點來說有點低了，所以要調大文件描述符數量。

3、Linux命令lsof

lsof命令是Linux系統管理工具，人如其名，“列出打開文件（lists openfiles）”。

lsof -p pid命令：顯示系統中某個進程當前已打開的所有文件列表。

執(zhí)行l(wèi)sof -p 29624時，可以看到大量的文件，索引越多，寫入的數據越多，文件描述符數量越多。

執(zhí)行l(wèi)sof -p 29624|wc -l，可以查看進程打開文件的總數。

4、其余的文件描述符不夠用的情況

大量新的數據源源不斷的快速寫入到ES，造成臨時的Segment文件越來越多，ES無法快速合并成一個大的Segment。在查詢時，如果查詢的數據對應到多個Segment，那么打開的文件描述符就很多了。

機器內存過小，資源緊張時內存不夠，會觸發(fā)OOM-Killer將ES進程殺死，其實是一種假死的，因為進程被Kill掉之后，?；钸M程又會將ES重啟，而每次重啟后都會產生新的translog文件，并且沒有把之前舊的日志文件刪除，最終把系統的文件描述符耗盡。

如果還有其余場景的話，歡迎朋友們在留言區(qū)補充。

三、總結

本文主要說了 文件描述符 和 ES為什么要這么多文件描述符，希望對你有幫助，核心概念如下：

• 文件描述符：用戶層的進程  對  內核層一個  硬件資源實例  的指針  的引用。
• ES寫入流程：Refresh操作、寫Transaction Log、Flush操作、Merge操作。
• 為什么要這么多：ES在每次Refresh時都會創(chuàng)建新的Segment，隨著時間的推移和索引的增多，會導致短時間內的Segment數量暴增。ES 在節(jié)點之間進行通信和數據拷貝、ES在和客戶端之間進行通信等原因，所以需要大量的文件描述符。