Kubernetes – Google分布式容器技術(shù)初體驗
Kubernetes是Google開源的容器集群管理系統(tǒng)。前幾天寫的 分布式服務(wù)框架的4項特性中提到一個良好的分布式服務(wù)框架需要實現(xiàn)。
"服務(wù)的配置管理。包括服務(wù)發(fā)現(xiàn)、負載均衡及服務(wù)依賴管理。
服務(wù)之間的調(diào)度及生命周期管理。"
由于Kubernetes包含了上述部分特性，加上最近Google新推出的Container Engine也是基于Kubernetes基礎(chǔ)上實現(xiàn)，因此最近對Kubernetes進行了一些嘗試與體驗。
運行環(huán)境
Kubernetes目前處于一個快速迭代的階段，同時它的相關(guān)生態(tài)圈（比如docker，etcd）也在快速發(fā)展，這也意味沒有適合新手使用非常順暢的版本，網(wǎng)上的各種文檔（也包括官方文檔）和當前***的發(fā)布版會有不同程度滯后或不適用的情況，因此在使用時可能會碰到各種細節(jié)的障礙，而且這些新版本碰到的問題，很有可能在網(wǎng)上也搜索不到解決方案。
Kubernetes設(shè)計上并未綁定Google Cloud平臺，但由于以上原因，為了減少不必要的障礙，初次嘗試建議使用GCE作為運行環(huán)境（盡管GCE是一個需要收費的環(huán)境）。默認的cluster啟動腳本會創(chuàng)建5個GCE instance，測試完需要自己及時主動刪除。為了避免浪費，可以將minions減少，同時instance類型選擇f1-micro。費用方面一個f1-micro instance運行1個月大約50元人民幣，因此用GCE來測試Kubernetes，如果僅是測試時候開啟的話，并不會產(chǎn)生太多費用。
Pods及Replication Controller
Kubernetes的基本單元是pods，用來定義一組相關(guān)的container。Kubernetes的優(yōu)點是可以通過定義一個replicationController來將同一個模塊部署到任意多個容器中，并且由Kubernetes自動管理。比如定義了一個apache pod，通過replicationController設(shè)置啟動100個replicas，系統(tǒng)就會在pod創(chuàng)建后自動在所有可用的minions中啟動100個apache container。并且輕松的是，當container或者是所在的服務(wù)器不可用時，Kubernetes會自動通過啟動新的container來保持100個總數(shù)不變，這樣管理一個大型系統(tǒng)變得輕松和簡單。
Service 微服務(wù)
在解決部署問題之后，分布式服務(wù)中存在的一大難題是服務(wù)發(fā)現(xiàn)（或者叫尋址），用戶訪問的前端模塊需要訪問系統(tǒng)內(nèi)部的后端資源或者其他各種內(nèi)部的服務(wù)，當一個內(nèi)部服務(wù)通過replicationController動態(tài)部署到不同的節(jié)點后，而且還存在前文提到的動態(tài)切換的功能，前端應(yīng)用如何來發(fā)現(xiàn)并訪問這些服務(wù)？Kubernetes的另外一個亮點功能就是service，service是一個pod服務(wù)池的代理抽象，目前的實現(xiàn)方法是通過一個固定的虛擬IP及端口來定義，并且通過分布在所有節(jié)點上的proxy來實現(xiàn)內(nèi)部服務(wù)對service的訪問。
Kubernetes自身的配置是保存在一個etcd（類似ZooKeeper）的分布式配置服務(wù)中。服務(wù)發(fā)現(xiàn)為什么不通過etcd來實現(xiàn)？Tim的判斷更多的是為了Kubernetes上的系統(tǒng)和具體的配置服務(wù)解耦。由于服務(wù)發(fā)現(xiàn)屬于各個系統(tǒng)內(nèi)部的業(yè)務(wù)邏輯，因此如果使用etcd將會出現(xiàn)業(yè)務(wù)代碼的邏輯中耦合了etcd，這樣可能會讓很多架構(gòu)師望而卻步。
盡管沒有耦合etcd，部署在Kubernetes中的服務(wù)需要通過container中的環(huán)境變量來獲得service的地址。環(huán)境變量雖然簡單，但它也存在很多弊端，如存在不方便動態(tài)更改等問題。另外service目前的實現(xiàn)是將虛擬IP通過iptables重定向到最終的pod上，作者也提到iptables定向的局限性，不適合作為大型服務(wù)（比如上千個內(nèi)部service一起運作時）的實現(xiàn)。
由于service定位是系統(tǒng)內(nèi)部服務(wù)，因此默認情況下虛擬IP無法對外提供服務(wù)，但Kubernetes當前版本并沒直接提供暴露公網(wǎng)IP及端口的能力，需要借助云服務(wù)（比如GCE）的load balancer來實現(xiàn)。
小結(jié)
總的看來Kubernetes提供的能力非常令人激動，pod、replicationController以及service的設(shè)計非常簡單實用。但如果立即將服務(wù)遷移到Kubernetes，還需要面對易變的環(huán)境。另外盡管Kubernetes提供health check的機制，但service生產(chǎn)環(huán)境所需的苛刻的可用性還未得到充分的驗證。Service發(fā)現(xiàn)盡管不跟Kubernetes的內(nèi)部實現(xiàn)解耦，但利用環(huán)境變量來實現(xiàn)復(fù)雜系統(tǒng)的服務(wù)發(fā)現(xiàn)也存在一些不足。
#p#
安裝說明
Kubernetes cluster簡單安裝說明如下，需要嘗試的朋友可參考。
前提準備
一個64 bit linux環(huán)境，***在墻外的，避免訪問google cloud出現(xiàn)超時或reset等問題；另外創(chuàng)建Google Cloud帳號，確保創(chuàng)建instances以及Cloud Storage功能可用；
安裝步驟
1. 安裝go語言環(huán)境（可選，如果需要編譯代碼則需要）
2. 安裝Google cloud sdk
$ curl https://sdk.cloud.google.com | bash
$ gcloud auth login
按提示完成授權(quán)及登錄
3. 安裝 etcd 二進制版本(V0.4.6), 解壓后將其目錄加入PATH
4. 安裝 kubernetes***的relase binary版本（V0.5.1）
修改 cluster/gce/config-default.sh，主要是修改以下字段以便節(jié)約資源。
- MASTER_SIZE=f1-micro
- MINION_SIZE=f1-micro
- NUM_MINIONS=3
在kubernetes目錄運行
$ cluster/kube-up.sh
執(zhí)行成功后會顯示 done
5. 測試pod
以上腳本啟動了examples/monitoring 下面定義的service，如果嘗試啟動其它自己的pods，比如啟動一個tomcat集群
- {
- "id": "tomcatController",
- "kind": "ReplicationController",
- "apiVersion": "v1beta1",
- "desiredState": {
- "replicas": 2,
- "replicaSelector":{"name": "tomcatCluster"},
- "podTemplate":{
- "desiredState": {
- "manifest": {
- "version": "v1beta1",
- "id": "tomcat",
- "containers": [{
- "name": "tomcat",
- "image": "tutum/tomcat",
- "ports": [
- {"containerPort":8080,"hostPort":80}
- ]
- }]
- }
- },
- "labels": {"name": "tomcatCluster"}}
- },
- "labels": {
- "name": "tomcatCluster",
- }
- }
其中pod的tomcat image可以通過Docker Hub Registry https://registry.hub.docker.com/ 搜索及獲取
$ cluster/kubectl.sh create -f tomcat-pod.json
創(chuàng)建成功后通過 cluster/kubectl.sh get pods 來查看它所在minion及ip，可以通過curl或瀏覽器來訪問（請開啟GCE防火墻端口設(shè)置）。
再定義一個 service
- {
- "id": "tomcat",
- "kind": "Service",
- "apiVersion": "v1beta1",
- "port": 8080,
- "containerPort": 8080,
- "labels": {
- "name": "tomcatCluster"
- },
- "selector": {
- "name": "tomcatCluster"
- }
- }
保存為 tomcat-service.json
$ cluster/kubectl.sh create -f tomcat-service.json
檢查service啟動后的ip及端口，由于service是內(nèi)部ip，可以在GCE上通過curl來測試及驗證。
$ cluster/kubectl.sh get services
6. 關(guān)閉cluster
cluster/kube-down.sh
作者簡介：楊衛(wèi)華（Tim Yang），新浪微博技術(shù)總監(jiān)，負責設(shè)計新浪微博基礎(chǔ)平臺架構(gòu)，解決新浪微博發(fā)展中遇到的各種技術(shù)瓶頸，并致力于打造業(yè)界***的開放平臺。業(yè)余關(guān)注新技術(shù)在互聯(lián)網(wǎng)系統(tǒng)中的應(yīng)用。
