[[171808]]

在CAAS系統(tǒng)出現(xiàn)前企業(yè)應(yīng)用架構(gòu)基本被IAAS/SAAS/PAAS等模式壟斷，直到docker的出現(xiàn)為我們打開(kāi)了另一個(gè)扇大門，廢話不說(shuō)了，我們直奔主題

我們先了解下一個(gè)簡(jiǎn)單的CAAS系統(tǒng)是如何為用戶提供服務(wù)的

• 企業(yè)用戶上傳它的應(yīng)用代碼或其他代碼托管方式，我們生成用戶應(yīng)用的鏡像，或者用戶直接上傳鏡像,或者用戶直接使用我們提供的基礎(chǔ)服務(wù)鏡像
• 用戶部署他的鏡像應(yīng)用，啟動(dòng)它的鏡像容器
• 用戶訪問(wèn)他的應(yīng)用服務(wù)

OK，需求確定了，該搬磚了。

[[171809]]

1. 用戶鏡像制作

既然是一個(gè)簡(jiǎn)單的CAAS系統(tǒng)，我們就不讓用戶上傳代碼或者使用第三方代碼托管了，直接讓他們制作鏡像后提交給我們，為此我們需要搭建一個(gè)docker私服來(lái)讓用戶上傳鏡像，假設(shè)用戶上傳的鏡像遵循這種格式:docker私服地址/{appId}:{version}，這對(duì)用戶有一定要求，畢竟一些用戶可能連docker是啥都不知道就更別奢望讓他們編寫dockerfile制作鏡像交付給我們了。當(dāng)然如果我們提供一些基礎(chǔ)服務(wù)鏡像(比如mysql服務(wù),redis服務(wù)等)給用戶那***了。

2. 啟動(dòng)用戶鏡像

有了用戶制作的鏡像，該是啟動(dòng)它的時(shí)候了

docker pull docker私服地址/{appId}:{version}  
docker run -d docker私服地址/{appId}:{version}  

啟動(dòng)方式很簡(jiǎn)單，但這并不是我們想要的，畢竟我們是要讓用戶能夠訪問(wèn)到他部署的服務(wù)的，假如用戶的服務(wù)是一個(gè)web服務(wù)，那你得暴露出用戶的web服務(wù)端口，這需要我們確定容器的通信方案:

• 跟宿主機(jī)共用一個(gè)網(wǎng)絡(luò)空間
• 發(fā)布一個(gè)容器端口，讓docker隨機(jī)選擇一個(gè)未使用的高位端口
• 發(fā)布一個(gè)容器端口，并映射到宿主機(jī)上指定端口為外部路由服務(wù)
• 采用docker的'links'來(lái)允許容器間通信。 如果一個(gè)新容器鏈接到一個(gè)已有容器，新容器將會(huì)通過(guò)環(huán)境變量獲得已有容器的鏈接信息，一個(gè)關(guān)聯(lián)的容器將會(huì)獲得它的對(duì)應(yīng)連接信息，在它處理了那些變量后允許它自動(dòng)連接。這樣就使得同一個(gè)宿主機(jī)上的容器不需要知道對(duì)應(yīng)服務(wù)的端口和地址，就可以直接進(jìn)行通信

我們簡(jiǎn)單的CAAS系統(tǒng)暫時(shí)還用不到容器間通信，如果跟宿主機(jī)共用一個(gè)網(wǎng)絡(luò)空間即--net="host"模式啟動(dòng)的話，那么如果有多個(gè)用戶上傳了鏡像，他們的WEB服務(wù)端口都是8080，顯然宿主機(jī)上只能啟動(dòng)一個(gè)8080端口，只能有一個(gè)用戶的容器啟動(dòng)成功，其他的因?yàn)槎丝谝呀?jīng)被占用導(dǎo)致啟動(dòng)失敗，在這里我們選擇第三種模式，選擇指定的端口映射來(lái)發(fā)布容器，這也方便我們后面管理宿主機(jī)上的端口資源。OK，啟動(dòng)方式改成下面:

docker run -d -p 25701:8080 docker私服地址/{appId}:{version} 

為了不讓某個(gè)用戶的應(yīng)用占用過(guò)多資源導(dǎo)致影響到整個(gè)宿主機(jī)上其他的應(yīng)用，我們稍微對(duì)用戶的資源進(jìn)行下限制，比如限制用戶應(yīng)用容器的使用內(nèi)存和CPU權(quán)重

docker run -d -p 25701:8080 -m 512M -c 1024 docker私服地址/{appId}:{version} 

為了能做到水平擴(kuò)展，容器服務(wù)***是無(wú)狀態(tài)的的，這樣能更好的實(shí)現(xiàn)負(fù)載均衡和水平擴(kuò)容。

應(yīng)用啟動(dòng)成功，我們可以通過(guò)在宿主機(jī)上訪問(wèn)25701即可訪問(wèn)容器的8080端口服務(wù)

在寫代碼的時(shí)候我們通過(guò)Docker Remote API client libraries來(lái)啟動(dòng)卸載容器，具體代碼實(shí)現(xiàn)就不多說(shuō)了。

3. 服務(wù)發(fā)現(xiàn)

容器啟動(dòng)成功后，用戶該如何訪問(wèn)到他的容器服務(wù)呢，總不能提供宿主機(jī)IP給用戶直接訪問(wèn)吧，這就需要我們構(gòu)建一個(gè)服務(wù)發(fā)現(xiàn)組件了

3.1 服務(wù)發(fā)現(xiàn)的工作方式:

• 當(dāng)每一個(gè)服務(wù)啟動(dòng)上線之后，他們通過(guò)發(fā)現(xiàn)工具來(lái)注冊(cè)自身信息
• 服務(wù)的消費(fèi)者能夠在預(yù)設(shè)的終端查詢?cè)摲?wù)的相關(guān)信息，然后它就可以基于查到的信息與其需要的組件進(jìn)行交互

為了簡(jiǎn)便，我們使用zookeeper來(lái)作為我們的服務(wù)發(fā)現(xiàn)工具

首先在容器啟動(dòng)成功后我們將服務(wù)注冊(cè)到zookeeper中，存儲(chǔ)的path路徑如下:/caas/service/address/{appId}/{version}，存儲(chǔ)的服務(wù)子節(jié)點(diǎn)為{containerId}->{宿主機(jī)IP}:{服務(wù)端口}

例如用戶appId01和appId02分別部署了各自的應(yīng)用版本容器containerId01和containerId02，對(duì)應(yīng)的服務(wù)端口分別為25701和25702，那么zk里存儲(chǔ)的注冊(cè)表信息為下:

/caas/service/address/appId01/app01Version/containerId01 -> {宿主機(jī)IP}:25701 
/caas/service/address/appId02/app02Version/containerId02 -> {宿主機(jī)IP}:25702 

如果一個(gè)用戶部署了多個(gè)容器實(shí)例，對(duì)應(yīng)的zk注冊(cè)表信息類似下面:

/caas/service/address/{appId}/{version}/containerId01 -> {宿主機(jī)IP}:25701 
/caas/service/address/{appId}/{version}/containerId02 -> {宿主機(jī)IP}:25702 
/caas/service/address/{appId}/{version}/containerId03 -> {宿主機(jī)IP}:25703 
/caas/service/address/{appId}/{version}/containerId04 -> {宿主機(jī)IP}:25704 

3.2 故障檢測(cè)

以上我們完成了服務(wù)的注冊(cè)，注冊(cè)完服務(wù)后為了實(shí)現(xiàn)應(yīng)用的高可用，我們應(yīng)該還需要對(duì)容器進(jìn)行故障檢測(cè)，故障檢測(cè)的方案通常有下面2種：

• 組件主動(dòng)請(qǐng)求服務(wù)發(fā)現(xiàn)心跳方式：組件可以設(shè)置一個(gè)超時(shí)時(shí)間，并能定期去請(qǐng)求服務(wù)發(fā)現(xiàn)來(lái)重置超時(shí)時(shí)間，超時(shí)時(shí)間達(dá)到閥值更新注冊(cè)表
• 服務(wù)發(fā)現(xiàn)主動(dòng)請(qǐng)求組件心跳方式：服務(wù)發(fā)現(xiàn)定期的健康檢查組件以及當(dāng)組件出現(xiàn)故障時(shí)更新注冊(cè)表

通常內(nèi)部自己的服務(wù)可以使用***種方式讓組件主動(dòng)請(qǐng)求服務(wù)發(fā)現(xiàn)，用戶自己寫的服務(wù)一般不可能費(fèi)勁的去實(shí)現(xiàn)心跳來(lái)訪問(wèn)服務(wù)發(fā)現(xiàn)組件，所以通常會(huì)要求用戶實(shí)現(xiàn)一個(gè)服務(wù)發(fā)現(xiàn)組件能訪問(wèn)的心跳接口，讓服務(wù)發(fā)現(xiàn)組件去主動(dòng)請(qǐng)求用戶的應(yīng)用，一旦訪問(wèn)失敗在重試一定次數(shù)后會(huì)認(rèn)為該應(yīng)用已經(jīng)出現(xiàn)故障無(wú)法繼續(xù)提供服務(wù)，這時(shí)可以根據(jù)策略來(lái)選擇直接停止刪除該用戶容器或者重新啟動(dòng)。

比如服務(wù)發(fā)現(xiàn)的健康檢查組件可以每隔一定時(shí)間來(lái)訪問(wèn)用戶的心跳接口，類似{宿主機(jī)IP}:25701/_ping

3.3 注冊(cè)表安全訪問(wèn)

基于安全方面考慮，通常情況下我們需要對(duì)服務(wù)發(fā)現(xiàn)做相應(yīng)的訪問(wèn)控制，以便對(duì)注冊(cè)表中的存儲(chǔ)信息實(shí)現(xiàn)安全訪問(wèn)，可能有以下幾種方案可供參考:

• 服務(wù)發(fā)現(xiàn)工具可以采用SSL/TLS加密鏈接
• 對(duì)寫入數(shù)據(jù)進(jìn)行加密，使用者使用的信息必須用相應(yīng)的密鑰解碼從服務(wù)發(fā)現(xiàn)中獲取
• 服務(wù)發(fā)現(xiàn)實(shí)現(xiàn)訪問(wèn)控制，將不同的鍵值切分到不同的分組中，根據(jù)訪問(wèn)的需要來(lái)制定不同的秘鑰從而訪問(wèn)相應(yīng)的分組

這里我們就不說(shuō)具體的安全方面的實(shí)現(xiàn)了，誰(shuí)讓我們是簡(jiǎn)易版CAAS系統(tǒng)呢。

3.4 分布式配置存儲(chǔ)和負(fù)載均衡

其實(shí)服務(wù)發(fā)現(xiàn)的注冊(cè)表存儲(chǔ)訪問(wèn)地址只是其中的一個(gè)方面，你可以用它來(lái)存其他的信息，比如存應(yīng)用的配置，你可以通過(guò)配置動(dòng)態(tài)的調(diào)整應(yīng)用，也可以存容器的相關(guān)指標(biāo)，負(fù)載均衡就是一個(gè)很好的例子，它可以通過(guò)查詢服務(wù)發(fā)現(xiàn)得到各個(gè)后端節(jié)點(diǎn)承受的流量數(shù)，然后根據(jù)這個(gè)信息來(lái)調(diào)整配置。具體的負(fù)載均衡算法可以根據(jù)需求來(lái)選擇，我們就使用最簡(jiǎn)單的round bobin算法，即輪詢方式訪問(wèn)。這方面的實(shí)現(xiàn)涉及到CAAS系統(tǒng)的另一個(gè)組件:路由網(wǎng)關(guān)，具體后面介紹。

上面我們一直都是使用了zookeeper來(lái)作為服務(wù)發(fā)現(xiàn)工具的，除了zk，我們還可以使用其他的服務(wù)發(fā)現(xiàn)工具:etcd、consul、crypt、confd，大家有興趣可以了解下，最重要的是能保證注冊(cè)表信息的數(shù)據(jù)一致性。

4. 調(diào)度編排

通過(guò)上面幾步你的CAAS系統(tǒng)基本小有所成了，但這還不夠。我們?cè)谏a(chǎn)環(huán)境里隨著用戶應(yīng)用容器的數(shù)量增加需要增加宿主機(jī)來(lái)支撐避免資源不足，或者將某些用戶的實(shí)例單獨(dú)部署在指定的宿主機(jī)上，這就需要我們實(shí)現(xiàn)一個(gè)調(diào)度器組件。

4.1 宿主選擇

CAAS系統(tǒng)是一個(gè)分布式系統(tǒng)，在多個(gè)宿主機(jī)的環(huán)境里，我們需要知道用戶的應(yīng)用該部署在哪臺(tái)宿主機(jī)上，如果單機(jī)的話那就不需要選擇了，直接指定就好了。具體該如何調(diào)度需要考慮以下幾點(diǎn):

• 需要一個(gè)默認(rèn)的調(diào)度策略，比如選擇可用內(nèi)存最多的宿主機(jī)部署服務(wù)或選擇cpu最空閑的宿主機(jī)部署服務(wù)
• 調(diào)度器需要提供覆蓋機(jī)制，比如2個(gè)容器必須部署在同一個(gè)宿主機(jī)上作為一個(gè)單元來(lái)運(yùn)行，比如同一個(gè)服務(wù)的2個(gè)實(shí)例容器必須部署在不同機(jī)器上來(lái)達(dá)到高可用
• 調(diào)度器需要滿足限制條件，比如給特定的宿主機(jī)打標(biāo)簽，比如一些服務(wù)需要部署在集群中的每一臺(tái)宿主機(jī)上

4.2 多容器部署調(diào)度

隨著業(yè)務(wù)的擴(kuò)展，我們可能需要提供分組容器管理，將一個(gè)集合的容器(通常是有相互依賴關(guān)系緊密關(guān)聯(lián)的組件)作為一個(gè)單獨(dú)應(yīng)用來(lái)處理，比如一個(gè)web服務(wù)容器再加上后端的數(shù)據(jù)庫(kù)服務(wù)容器組合成一個(gè)project來(lái)發(fā)布。這里就不多做討論了，我們的簡(jiǎn)易版系統(tǒng)還沒(méi)考慮到這步。

4.3 供應(yīng)

供應(yīng)是指將一個(gè)新主機(jī)上線并完成基本配置使得它們能夠工作的一個(gè)過(guò)程，通常在集群管理里用來(lái)自動(dòng)擴(kuò)展宿主機(jī)，管理工具來(lái)定義需求額外主機(jī)的過(guò)程以及自動(dòng)觸發(fā)的條件，例如，如果你的應(yīng)用的負(fù)載很高，你可能希望讓你的系統(tǒng)增加額外的機(jī)器并水平擴(kuò)展容器以緩解負(fù)載，這里我們同樣不做實(shí)現(xiàn)，簡(jiǎn)易版就直接手動(dòng)增加宿主機(jī)就好了嘛。

我們?cè)谶@里舉個(gè)實(shí)現(xiàn)調(diào)度器的相對(duì)簡(jiǎn)陋的方案:

主要使用關(guān)系型數(shù)據(jù)庫(kù)如mysql來(lái)存儲(chǔ)宿主機(jī)信息，調(diào)度器查詢宿主機(jī)的相關(guān)指標(biāo)信息根據(jù)調(diào)度算法選擇相應(yīng)的宿主機(jī)來(lái)部署，利用樂(lè)觀鎖來(lái)保證并發(fā)操作時(shí)的數(shù)據(jù)一致性，利用事務(wù)來(lái)保證部署和卸載等操作的原子性。這里面可能坑比較多，大家也可以使用現(xiàn)在比較流行的調(diào)度器，常用的調(diào)度器有：fleet、marathon、Swarm、mesos、Kubernetes、compose，大家有興趣可以了解下。

5. 網(wǎng)關(guān)

上面我們?cè)诜?wù)發(fā)現(xiàn)的負(fù)載均衡方面介紹到了網(wǎng)關(guān)，我們把它作為CAAS系統(tǒng)中重要的一個(gè)組件，他主要是負(fù)責(zé)用戶請(qǐng)求的轉(zhuǎn)發(fā)，舉個(gè)例子用戶部署了容器想要訪問(wèn)它的容器服務(wù)，這個(gè)請(qǐng)求到達(dá)網(wǎng)關(guān)后網(wǎng)關(guān)根據(jù)策略選擇相應(yīng)的后端容器服務(wù)然后轉(zhuǎn)發(fā)請(qǐng)求。根據(jù)用戶的設(shè)定，動(dòng)態(tài)路由請(qǐng)求到對(duì)應(yīng)容器實(shí)例，這相當(dāng)于一個(gè)代理服務(wù)器。具體如何選擇容器實(shí)例服務(wù)轉(zhuǎn)發(fā)就需要實(shí)現(xiàn)負(fù)載均衡器，我們可以通過(guò)查詢服務(wù)發(fā)現(xiàn)組件來(lái)獲取相應(yīng)容器信息來(lái)完成。既然是代理服務(wù)，我們?cè)谥虚g可以對(duì)用戶的請(qǐng)求做其他處理，比如做黑名單過(guò)濾，做流量統(tǒng)計(jì)，做CNames路由等等

假設(shè)我們的CAAS網(wǎng)關(guān)訪問(wèn)域名是mycaas.gateway.cn，用戶在我們后臺(tái)部署了一個(gè)WEB應(yīng)用容器實(shí)例，調(diào)度器將他部署在了10.10.10.101宿主機(jī)上，容器服務(wù)端口映射為25701，用戶請(qǐng)求mycaas.gateway.cn到達(dá)網(wǎng)關(guān)后，網(wǎng)關(guān)根據(jù)請(qǐng)求信息識(shí)別用戶查詢?cè)撚脩羲械膽?yīng)用容器信息，得到所有的容器服務(wù)地址，根據(jù)負(fù)載均衡規(guī)則代理轉(zhuǎn)發(fā)到目標(biāo)容器服務(wù)上。這個(gè)查詢服務(wù)發(fā)現(xiàn)的過(guò)程中***實(shí)現(xiàn)本地緩存，比如使用zookeeper的緩存減少和避免每次請(qǐng)求都訪問(wèn)服務(wù)發(fā)現(xiàn)組件，同時(shí)代理轉(zhuǎn)發(fā)中盡量使用連接池減少開(kāi)銷。

6. 總結(jié)

至此我們簡(jiǎn)單的CAAS系統(tǒng)就架構(gòu)設(shè)計(jì)好了，在整個(gè)系統(tǒng)中有服務(wù)發(fā)現(xiàn)/調(diào)度器/網(wǎng)關(guān)等多個(gè)組件協(xié)調(diào)配合。