從 2016 年起就開始接觸 Consul，使用的主要目的就是做服務發(fā)現，后來逐步應用于生產環(huán)境，并總結了少許使用經驗。

[[253556]]

最開始使用 Consul 的人不多，這兩年微服務越來越火，使用 Consul 的人也越來越多。

經常有人會問一些問題，比如：

• 服務注冊到節(jié)點后，其他節(jié)點為什么沒有同步？
• Client 是干什么的？（Client 有什么作用？）
• 能不能直接注冊到 Server？（是否只有 Server 節(jié)點就夠了？）
• 服務信息是保存在哪里的？
• 如果節(jié)點掛了，健康檢查能不能轉移到別的節(jié)點？

有些人可能對服務注冊和發(fā)現還沒有概念，有些人可能使用過其他服務發(fā)現的工具，比如 ZooKeeper，etcd，會有一些先入為主的經驗。

這篇文章將結合 Consul 的官方文檔和自己的實際經驗，談一下 Consul 做服務發(fā)現的方式，文中盡量不依賴具體的框架和開發(fā)語言，從原理上進行說明，希望能夠講清楚上邊的幾個問題。

為什么使用服務發(fā)現

防止硬編碼、容災、水平擴縮容、提高運維效率等等，只要你想使用服務發(fā)現總能找到合適的理由。

一般的說法是因為使用微服務架構。傳統(tǒng)的單體架構不夠靈活不能很好的適應變化，從而向微服務架構進行轉換。

而伴隨著大量服務的出現，管理運維十分不便，于是開始搞一些自動化的策略，服務發(fā)現應運而生。所以如果需要使用服務發(fā)現，你應該有一些對服務治理的痛點。

但是引入服務發(fā)現就可能引入一些技術棧，增加系統(tǒng)總體的復雜度，如果你只有很少的幾個服務，比如 10 個以下，并且業(yè)務不怎么變化，吞吐量預計也很穩(wěn)定，可能就沒有必要使用服務發(fā)現。

Consul 內部原理

下面這張圖來源于 Consul 官網，很好的解釋了 Consul 的工作原理，先大致看一下：

首先 Consul 支持多數據中心，在上圖中有兩個 DataCenter，他們通過 Internet 互聯(lián)，同時請注意為了提高通信效率，只有 Server 節(jié)點才加入跨數據中心的通信。

在單個數據中心中，Consul 分為 Client 和 Server 兩種節(jié)點（所有的節(jié)點也被稱為 Agent），Server 節(jié)點保存數據，Client 負責健康檢查及轉發(fā)數據請求到 Server。

Server 節(jié)點有一個 Leader 和多個 Follower，Leader 節(jié)點會將數據同步到 Follower，Server 的數量推薦是 3 個或者 5 個，在 Leader 掛掉的時候會啟動選舉機制產生一個新的 Leader。

集群內的 Consul 節(jié)點通過 gossip 協(xié)議（流言協(xié)議）維護成員關系，也就是說某個節(jié)點了解集群內現在還有哪些節(jié)點，這些節(jié)點是 Client 還是 Server。

單個數據中心的流言協(xié)議同時使用 TCP 和 UDP 通信，并且都使用 8301 端口。跨數據中心的流言協(xié)議也同時使用 TCP 和 UDP 通信，端口使用 8302。

集群內數據的讀寫請求既可以直接發(fā)到 Server，也可以通過 Client 使用 RPC 轉發(fā)到 Server，請求最終會到達 Leader 節(jié)點。

在允許數據輕微陳舊的情況下，讀請求也可以在普通的 Server 節(jié)點完成，集群內數據的讀寫和復制都是通過 TCP 的 8300 端口完成。

Consul 服務發(fā)現原理

下面這張圖是自己畫的，基本描述了服務發(fā)現的完整流程，先大致看一下：

首先需要有一個正常的 Consul 集群，有 Server，有 Leader。這里在服務器 Server1、Server2、Server3 上分別部署了 Consul Server。

假設他們選舉了 Server2 上的 Consul Server 節(jié)點為 Leader。這些服務器上最好只部署 Consul 程序，以盡量維護 Consul Server 的穩(wěn)定。

然后在服務器 Server4 和 Server5 上通過 Consul Client 分別注冊 Service A、B、C，這里每個 Service 分別部署在了兩個服務器上，這樣可以避免 Service 的單點問題。

服務注冊到 Consul 可以通過 HTTP API（8500 端口）的方式，也可以通過 Consul 配置文件的方式。

Consul Client 可以認為是無狀態(tài)的，它將注冊信息通過 RPC 轉發(fā)到 Consul Server，服務信息保存在 Server 的各個節(jié)點中，并且通過 Raft 實現了強一致性。

最后在服務器 Server6 中 Program D 需要訪問 Service B，這時候 Program D 首先訪問本機 Consul Client 提供的 HTTP API，本機 Client 會將請求轉發(fā)到 Consul Server。

Consul Server 查詢到 Service B 當前的信息返回，最終 Program D 拿到了 Service B 的所有部署的 IP 和端口，然后就可以選擇 Service B 的其中一個部署并向其發(fā)起請求了。

如果服務發(fā)現采用的是 DNS 方式，則 Program D 中直接使用 Service B 的服務發(fā)現域名，域名解析請求首先到達本機 DNS 代理，然后轉發(fā)到本機 Consul Client，本機 Client 會將請求轉發(fā)到 Consul Server。

Consul Server 查詢到 Service B 當前的信息返回，最終 Program D 拿到了 Service B 的某個部署的 IP 和端口。

圖中描述的部署架構筆者認為是最普適最簡單的方案，從某些默認配置或設計上看也是官方希望使用者采用的方案，比如 8500 端口默認監(jiān)聽 127.0.0.1，當然有些同學不贊同，后邊會提到其他方案。

Consul 實際使用

為了更快的熟悉 Consul 的原理及其使用方式，最好還是自己實際測試下。

Consul 安裝十分簡單，但是在一臺機器上不方便搭建集群進行測試，使用虛擬機比較重，所以這里選擇了 Docker。

這里用了 Windows 10，需要是專業(yè)版，因為 Windows 上的 Docker 依賴 Hyper-V，而這個需要專業(yè)版才能支持。

這里對于 Docker 的使用不會做過多的描述，如果遇到相關問題請搜索一下。

安裝 Docker

通過這個地址下載安裝：

https://store.docker.com/editions/community/docker-ce-desktop-windows 

安裝完成后打開 Windows PowerShell，輸入 docker –version，如果正常輸出 Docker 版本就可以了。

啟動 Consul 集群

在 Windows PowerShell 中執(zhí)行命令拉取最新版本的 Consul 鏡像：

docker pull consul 

然后就可以啟動集群了，這里啟動 4 個 Consul Agent，3 個 Server（會選舉出一個 Leader），1 個 Client。

#啟動第1個Server節(jié)點，集群要求要有3個Server，將容器8500端口映射到主機8900端口，同時開啟管理界面 
docker run -d --name=consul1 -p 8900:8500 -e CONSUL_BIND_INTERFACE=eth0 consul agent --server=true --bootstrap-expect=3 --client=0.0.0.0 -ui 
 
#啟動第2個Server節(jié)點，并加入集群 
docker run -d --name=consul2 -e CONSUL_BIND_INTERFACE=eth0 consul agent --server=true --client=0.0.0.0 --join 172.17.0.2 
 
#啟動第3個Server節(jié)點，并加入集群 
docker run -d --name=consul3 -e CONSUL_BIND_INTERFACE=eth0 consul agent --server=true --client=0.0.0.0 --join 172.17.0.2 
 
#啟動第4個Client節(jié)點，并加入集群 
docker run -d --name=consul4 -e CONSUL_BIND_INTERFACE=eth0 consul agent --server=false --client=0.0.0.0 --join 172.17.0.2 

第 1 個啟動容器的 IP 一般是 172.17.0.2，后邊啟動的幾個容器 IP 會排著來：172.17.0.3、172.17.0.4、172.17.0.5。

這些 Consul 節(jié)點在 Docker 的容器內是互通的，他們通過橋接的模式通信。但是如果主機要訪問容器內的網絡，需要做端口映射。

在啟動第一個容器時，將 Consul 的 8500 端口映射到了主機的 8900 端口，這樣就可以方便的通過主機的瀏覽器查看集群信息。

進入容器 consul1：

docker exec -it consul1 /bin/sh 
#執(zhí)行l(wèi)s后可以看到consul就在根目錄 
ls 

輸入 exit 可以跳出容器。服務注冊自己寫一個 Web 服務，用最熟悉的開發(fā)語言就好了，不過需要在容器中能夠跑起來，可能需要安裝運行環(huán)境。

比如 Python、Java、.net core等的 sdk 及 Web 服務器，需要注意的是 Consul 的 Docker 鏡像基于 alpine 系統(tǒng)，具體運行環(huán)境的安裝請搜索一下。

這里寫了一個 hello 服務，通過配置文件的方式注冊到 Consul，服務的相關信息如下：

• name：hello，服務名稱，需要能夠區(qū)分不同的業(yè)務服務，可以部署多份并使用相同的 name 注冊。 
• id：hello1，服務 id，在每個節(jié)點上需要唯一，如果有重復會被覆蓋。
• address：172.17.0.5，服務所在機器的地址。 
• port：5000，服務的端口。 
• 健康檢查地址：http://localhost:5000/，如果返回 HTTP 狀態(tài)碼為 200 就代表服務健康，每 10 秒 Consul 請求一次，請求超時時間為 1 秒。 

請將下面的內容保存成文件 services.json，并上傳到容器的 /consul/config 目錄中：

{ 
  "services": [ 
    { 
      "id": "hello1", 
      "name": "hello", 
      "tags": [ 
        "primary" 
      ], 
      "address": "172.17.0.5", 
      "port": 5000, 
      "checks": [ 
        { 
        "http": "http://localhost:5000/", 
        "tls_skip_verify": false, 
        "method": "Get", 
        "interval": "10s", 
        "timeout": "1s" 
        } 
      ] 
    } 
  ] 
} 

復制到 consul config 目錄：

docker cp {這里請?zhí)鎿Q成services.json的本地路徑} consul4:/consul/config 

重新加載 consul 配置：

consul reload 

然后這個服務就注冊成功了?？梢詫⑦@個服務部署到多個節(jié)點，比如部署到 consul1 和 consul4，并同時運行。

服務發(fā)現

服務注冊成功以后，調用方獲取相應服務地址的過程就是服務發(fā)現。Consul  提供了多種方式。

HTTP API 方式

curl http://127.0.0.1:8500/v1/health/service/hello?passing=true 

返回的信息包括注冊的 Consul 節(jié)點信息、服務信息及服務的健康檢查信息。

這里用了一個參數 passing=false，會自動過濾掉不健康的服務，包括本身不健康的服務和不健康的 Consul 節(jié)點上的服務，從這個設計上可以看出 Consul 將服務的狀態(tài)綁定到了節(jié)點的狀態(tài)。

如果服務有多個部署，會返回服務的多條信息，調用方需要決定使用哪個部署，常見的可以隨機或者輪詢。

為了提高服務吞吐量，以及減輕 Consul 的壓力，還可以緩存獲取到的服務節(jié)點信息，不過要做好容錯的方案，因為緩存服務部署可能會變得不可用。具體是否緩存需要結合自己的訪問量及容錯規(guī)則來確定。

上邊的參數 passing 默認為 false，也就是說不健康的節(jié)點也會返回，結合獲取節(jié)點全部服務的方法，這里可以做到獲取全部服務的實時健康狀態(tài)，并對不健康的服務進行報警處理。

DNS 方式

hello 服務的域名是：hello.service.dc1.consul，后邊的 service 代表服務，固定；dc1 是數據中心的名字，可以配置；最后的 consul 也可以配置。

官方在介紹 DNS 方式時經常使用 dig 命令進行測試，但是 alpine 系統(tǒng)中沒有 dig 命令，也沒有相關的包可以安裝，但是有人實現了，下載下來解壓到 bin 目錄就可以了。

curl -L https://github.com/sequenceiq/docker-alpine-dig/releases/download/v9.10.2/dig.tgz|tar -xzv -C /usr/local/bin 

然后執(zhí)行 dig 命令：

dig @127.0.0.1 -p 8600 hello.service.dc1.consul. ANY 

如果報錯：parse of /etc/resolv.conf failed ，請將 resolv.conf 中的 search 那行刪掉。

正常的話可以看到返回了服務部署的 IP 信息，如果有多個部署會看到多個，如果某個部署不健康了會自動剔除（包括部署所在節(jié)點不健康的情況）。需要注意這種方式不會返回服務的端口信息。

使用 DNS 的方式可以在程序中集成一個 DNS 解析庫，也可以自定義本地的 DNS Server。

自定義本地 DNS Server 是指將 .consul 域的請求全部轉發(fā)到 Consul Agent，Windows 上有 DNS Agent，Linux 上有 Dnsmasq。

對于非 Consul 提供的服務則繼續(xù)請求原 DNS；使用 DNS Server 時 Consul 會隨機返回具體服務的多個部署中的一個，僅能提供簡單的負載均衡。

DNS 緩存問題：DNS 緩存一般存在于應用程序的網絡庫、本地 DNS 客戶端或者代理，Consul Sever 本身可以認為是沒有緩存的（為了提高集群 DNS 吞吐量，可以設置使用普通 Server 上的陳舊數據，但影響一般不大）。

DNS 緩存可以減輕 Consul Server 的訪問壓力，但是也會導致訪問到不可用的服務。使用時需要根據實際訪問量和容錯能力確定 DNS 緩存方案。

Consul Template

Consul Template 是 Consul 官方提供的一個工具，嚴格的來說不是標準的服務發(fā)現方式。

這個工具會通過 Consul 監(jiān)聽數據變化然后替換模板中使用的標簽，并發(fā)布替換后的文件到指定的目錄。在 Nginx 等 Web 服務器做反向代理和負載均衡時特別有用。

Consul 的 Docker 鏡像中沒有集成這個工具，需要自己安裝，比較簡單：

curl -L https://releases.hashicorp.com/consul-template/0.19.5/consul-template_0.19.5_linux_amd64.tgz|tar -xzv -C /usr/local/bin 

然后創(chuàng)建一個文件 in.tpl，內容為：

{{ range service "hello" }} 
server {{ .Name }}{{ .Address }}:{{ .Port }}{{ end }} 

這個標簽會遍歷 hello 服務的所有部署，并按照指定的格式輸出。在此文件目錄下執(zhí)行：

nohup consul-template -template "in.tpl:out.txt" & 

現在你可以 cat out.txt 查看根據模板生產的內容，新增或者關閉服務，文件內容會自動更新。

此工具我沒有用在生產環(huán)境，詳細使用請訪問：

https://github.com/hashicorp/consul-template 

節(jié)點和服務注銷

節(jié)點和服務的注銷可以使用 HTTP API:

注銷任意節(jié)點和服務：/catalog/deregister 

注銷當前節(jié)點的服務：/agent/service/deregister/:service_id 

注意：如果注銷的服務還在運行，則會再次同步到 catalog 中，因此應該只在 Agent 不可用時才使用 catalog 的注銷 API。

節(jié)點在宕機時狀態(tài)會變?yōu)?failed，默認情況下 72 小時后會被從集群移除。

如果某個節(jié)點不繼續(xù)使用了，也可以在本機使用 consul leave 命令，或者在其他節(jié)點使用 consul force-leave 節(jié)點 id，則節(jié)點上的服務和健康檢查全部注銷。

Consul 的健康檢查

Consul 做服務發(fā)現是專業(yè)的，健康檢查是其中一項必不可少的功能，其提供 Script/TCP/HTTP+Interval，以及 TTL 等多種方式。

服務的健康檢查由服務注冊到的 Agent 來處理，這個 Agent 既可以是 Client 也可以是 Server。

很多同學都使用 ZooKeeper 或者 etcd 做服務發(fā)現，使用 Consul 時發(fā)現節(jié)點掛掉后服務的狀態(tài)變?yōu)椴豢捎昧?，所以有同學問服務為什么不在各個節(jié)點之間同步？這個根本原因是服務發(fā)現的實現原理不同。

Consul 與 ZooKeeper、etcd 的區(qū)別

后邊這兩個工具是通過鍵值存儲來實現服務的注冊與發(fā)現：

ZooKeeper 利用臨時節(jié)點的機制，業(yè)務服務啟動時創(chuàng)建臨時節(jié)點，節(jié)點在服務就在，節(jié)點不存在服務就不存在。 

etcd 利用 TTL 機制，業(yè)務服務啟動時創(chuàng)建鍵值對，定時更新 TTL，TTL 過期則服務不可用。 

ZooKeeper 和 etcd 的鍵值存儲都是強一致性的，也就是說鍵值對會自動同步到多個節(jié)點，只要在某個節(jié)點上存在就可以認為對應的業(yè)務服務是可用的。

Consul 的數據同步也是強一致性的，服務的注冊信息會在 Server 節(jié)點之間同步，相比 ZK、etcd，服務的信息還是持久化保存的，即使服務部署不可用了，仍舊可以查詢到這個服務部署。

但是業(yè)務服務的可用狀態(tài)是由注冊到的 Agent 來維護的，Agent 如果不能正常工作了，則無法確定服務的真實狀態(tài)。

并且 Consul 是相當穩(wěn)定了，Agent 掛掉的情況下大概率服務器的狀態(tài)也可能是不好的，此時屏蔽掉此節(jié)點上的服務是合理的。

Consul 也確實是這樣設計的，DNS 接口會自動屏蔽掛掉節(jié)點上的服務，HTTP API 也認為掛掉節(jié)點上的服務不是 passing 的。

鑒于 Consul 健康檢查的這種機制，同時避免單點故障，所有的業(yè)務服務應該部署多份，并注冊到不同的 Consul 節(jié)點。

部署多份可能會給你的設計帶來一些挑戰(zhàn)，因為調用方同時訪問多個服務實例可能會由于會話不共享導致狀態(tài)不一致，這個有許多成熟的解決方案，可以去查詢，這里不做說明。

健康檢查能不能支持故障轉移？

上邊提到健康檢查是由服務注冊到的 Agent 來處理的，那么如果這個 Agent 掛掉了，會不會有別的 Agent 來接管健康檢查呢？答案是否定的。

從問題產生的原因來看，在應用于生產環(huán)境之前，肯定需要對各種場景進行測試，沒有問題才會上線，所以顯而易見的問題可以屏蔽掉。

如果是新版本 Consul 的 Bug 導致的，此時需要降級；如果這個 Bug 是偶發(fā)的，那么只需要將 Consul 重新拉起來就可以了，這樣比較簡單。

如果是硬件、網絡或者操作系統(tǒng)故障，那么節(jié)點上服務的可用性也很難保障，不需要別的 Agent 接管健康檢查。

從實現上看，選擇哪個節(jié)點是個問題，這需要實時或準實時同步各個節(jié)點的負載狀態(tài)。

而且由于業(yè)務服務運行狀態(tài)多變，即使當時選擇出了負載比較輕松的節(jié)點，無法保證某個時段任務又變得繁重，可能造成新的更大范圍的崩潰。

如果原來的節(jié)點還要啟動起來，那么接管的健康檢查是否還要撤銷，如果要，需要記錄服務們最初注冊的節(jié)點，然后有一個監(jiān)聽機制來觸發(fā)。

如果不要，通過服務發(fā)現就會獲取到很多冗余的信息，并且隨著時間推移，這種數據會越來越多，系統(tǒng)變的無序。

從實際應用看，節(jié)點上的服務可能既要被發(fā)現，又要發(fā)現別的服務，如果節(jié)點掛掉了，僅提供被發(fā)現的功能實際上服務還是不可用的。

當然發(fā)現別的服務也可以不使用本機節(jié)點，可以通過訪問一個 Nginx 實現的若干 Consul 節(jié)點的負載均衡來實現，這無疑又引入了新的技術棧。

如果不是上邊提到的問題，或者你可以通過一些方式解決這些問題，健康檢查接管的實現也必然是比較復雜的，因為分布式系統(tǒng)的狀態(tài)同步是比較復雜的。

同時不要忘了服務部署了多份，掛掉一個不應該影響系統(tǒng)的快速恢復，所以沒必要去做這個接管。

Consul 的其他部署架構

如果你實在不想在每個主機部署 Consul Client，還有一個多路注冊的方案可供選擇，這是交流群中獲得的思路。

如圖所示，在專門的服務器上部署 Consul Client，然后每個服務都注冊到多個 Client。

這里為了避免服務單點問題還是每個服務部署多份，需要服務發(fā)現時，程序向一個提供負載均衡的程序發(fā)起請求，該程序將請求轉發(fā)到某個 Consul Client。

這種方案需要注意將 Consul 的 8500 端口綁定到私網 IP 上，默認只有 127.0.0.1。

這個架構的優(yōu)勢：

Consul 節(jié)點服務器與應用服務器隔離，互相干擾少。

不用每臺主機都部署 Consul，方便 Consul 的集中管理。

某個 Consul Client 掛掉的情況下，注冊到其上的服務仍有機會被訪問到。 

但也需要注意其缺點：

引入更多技術棧：負載均衡的實現，不僅要考慮 Consul Client 的負載均衡，還要考慮負載均衡本身的單點問題。 

Client 的節(jié)點數量：單個 Client 如果注冊的服務太多，負載較重，需要有個算法（比如 hash 一致）合理分配每個 Client 上的服務數量，以及確定 Client 的總體數量。 

服務發(fā)現要過濾掉重復的注冊：因為注冊到了多個節(jié)點會認為是多個部署（DNS 接口不會有這個問題）。 

這個方案其實還可以優(yōu)化，服務發(fā)現使用的負載均衡可以直接代理 Server 節(jié)點，因為相關請求還是會轉發(fā)到 Server 節(jié)點，不如直接就發(fā)到 Server。

是否可以只有 Server？

這個問題的答案還是有關服務數量的問題，首先 Server 的節(jié)點數量不是越多越好，3 個或者 5 個是推薦的數量，數量越多數據同步的處理越慢（強一致性）。

然后每個節(jié)點可以注冊的服務數量是有上限的，這個受限于軟硬件的處理能力。

所以如果你的服務只有 10 個左右，只有 Server 問題是不大的，但是這時候有沒有必要使用 Consul 呢？

因此正常使用 Consul 的時候還是要有 Client 才好，這也符合 Consul 的反熵設計。

大家可以將這個部署架構與前文提到的普世架構對比下，看看哪個更適合自己，或者你有更好的方案歡迎分享出來。