1.Kubernetes容器平臺架構(gòu)解讀

Kubernetes是一個開源容器編排平臺，管理大規(guī)模分布式容器化軟件應(yīng)用，是云計算發(fā)展演進(jìn)的一次徹底革命性的突破。Kubernetes是谷歌的第三代容器管理系統(tǒng)，是Borg獨特的控制器和Omega靈活的調(diào)度器的組合。Kubernetes中的應(yīng)用被打包成與環(huán)境完全分離的容器鏡像，并且自動配置應(yīng)用并維護(hù)跟蹤資源分配。

Kubernetes是以應(yīng)用為中心的技術(shù)架構(gòu)與思想理念，向下屏蔽基礎(chǔ)設(shè)施差異，實現(xiàn)底層基礎(chǔ)資源統(tǒng)一調(diào)度及編排;向上通過容器鏡像標(biāo)準(zhǔn)化應(yīng)用，實現(xiàn)應(yīng)用負(fù)載自動化部署;中間通過Kubernetes通用的編排能力，開放API以及自定義CRD擴展能力，打造云原生操作系統(tǒng)能力，形成云計算新界面;助力研發(fā)團隊快速構(gòu)建標(biāo)準(zhǔn)化、彈性高可靠、松耦合、易管理維護(hù)的應(yīng)用系統(tǒng)，提升交付效率，降低運維復(fù)雜度。Kubernetes在技術(shù)架構(gòu)方面具備三個能力：

敏捷的彈性伸縮能力：不同于虛擬機分鐘級的彈性伸縮響應(yīng)，容器應(yīng)用可實現(xiàn)秒級甚至毫秒級的彈性伸縮響應(yīng);

智能的服務(wù)故障自愈能力：容器應(yīng)用具有極強的自愈能力，可實現(xiàn)應(yīng)用故障的自動摘除與重構(gòu);

大規(guī)模的復(fù)制分發(fā)能力：容器應(yīng)用標(biāo)準(zhǔn)化的交付制品，可實現(xiàn)跨平臺、跨區(qū)域，云邊一體規(guī)?；瘡?fù)制分發(fā)部署能力。

1.1.Kubernetes整體架構(gòu)

Kubernetes是典型的主從分布式架構(gòu)，由集中式管理節(jié)點(Master Node),分布式的工作節(jié)點(Worker Node)組成以及輔助工具組成。

集中式管理節(jié)點，對集群進(jìn)行調(diào)度管理，有四大核心組件:

API Server：承擔(dān)集群的網(wǎng)關(guān)，實現(xiàn)統(tǒng)一認(rèn)證鑒權(quán)對外服務(wù)，同時也是管理Node/Pod資源代理通道;

Scheduler：資源調(diào)度器，除了Kubernetes默認(rèn)的調(diào)度器，也支持自定義調(diào)度器;

ETCD：集群狀態(tài)統(tǒng)一存儲，與Zookeeper類似的key-value存儲;

Controller Manger：控制管理器實現(xiàn)自愈、擴容、應(yīng)用生命周期管理、服務(wù)發(fā)現(xiàn)、路由、服務(wù)綁定等能力;Kubernetes默認(rèn)提供Replication Controller、Node Controller、Namespace Controller、Service Controller、Endpoints Controller、Persistent Controller、DaemonSet Controller等控制器。

分布式的工作節(jié)點，工作節(jié)點運行業(yè)務(wù)應(yīng)用容器;默認(rèn)會運行三大核心組件：

Kubelet：與管理節(jié)點通信并觸發(fā)指令執(zhí)行，管理驅(qū)動網(wǎng)絡(luò)，存儲及容器運行時;

Kube Proxy：通過DNS實現(xiàn)服務(wù)發(fā)現(xiàn)，借助iptables規(guī)則引導(dǎo)訪問至服務(wù)IP，并將重定向至正確的后端應(yīng)用，實現(xiàn)高可用負(fù)載均衡能力;

Container Runtime：容器運行時。為了擴展Kubernetes平臺適配能力，同時也標(biāo)準(zhǔn)化整個生態(tài)，通過CNI與CSI標(biāo)準(zhǔn)規(guī)范網(wǎng)絡(luò)及存儲的擴展;通過CRI與OCI標(biāo)準(zhǔn)規(guī)范容器鏡像及容器運行時的擴展;目前CRI支持的容器運行時有docker、rkt、cri-o、frankti、kata-containers和clear-containers等。

輔助工具，主要是輔助集群管理及網(wǎng)絡(luò)擴展:

kubectl通過API Server進(jìn)行交互，實現(xiàn)集群管理的命令行工具;

Dashboard 是Kubernetes的web用戶管理監(jiān)控界面;

Core DNS是可擴展的DNS服務(wù)器，實現(xiàn)集群服務(wù)發(fā)現(xiàn)能力。

1.2.Kubernetes核心理念

1.2.1.POD容器組，Kubernetes最小調(diào)度單元

Pod是Kubernetes的最小調(diào)度及資源分配單元，Pod之間相互隔離，通常情況一個Pod只建議運行一個容器，當(dāng)某些容器之間關(guān)系非常緊密(Tightly coupled)，可以運行在同一Pod運行多個容器方便一起調(diào)度管理。一個Pod就是一個應(yīng)用運行實例，通過同時運行多個Pod來實現(xiàn)應(yīng)用橫向擴展能力。Pod本身沒有自恢復(fù)能力，當(dāng)調(diào)度或運行失敗時，需要管理節(jié)點的Controller根絕配置觸發(fā)實現(xiàn)Pod重啟、重建或遷移等操作。

從Pod啟動過程來看，Pod容器主要是Pause Container，Init Container以及App Container三種類型容器組成：

Pause Container：又叫Infra Container，Pod通過Pause Container實現(xiàn)Pod多個容器網(wǎng)絡(luò)共享，Pause Container最先啟動并綁定Pod唯一IP地址與各種網(wǎng)絡(luò)資源，其他容器通過加入Pause Container的Network namespace來實現(xiàn)網(wǎng)絡(luò)共享。Pause是C語言實現(xiàn)，鏡像非常小只有700KB左右，并且永遠(yuǎn)處于Pause(暫停)狀態(tài);官方鏡像是gcr.io/google_containers/pause-amd64:3.0，同時也支持自定義。

Init Container：Pod中可以自定義一個或者多個Init Container，按照順序依次啟動，在應(yīng)用Container之前啟動并執(zhí)行一些輔助任務(wù)，比如執(zhí)行腳本、拷貝文件到共享目錄、日志收集、應(yīng)用監(jiān)控等。將輔助功能與主業(yè)務(wù)容器解耦，實現(xiàn)獨立發(fā)布和能力重用。除了不支持Readiness Probe，其他與特性與普通容器保持一致。

App Container：Pod真正承接業(yè)務(wù)的Container，一般情況會獨立運行，如果是有微服務(wù)治理等需求會搭配Sidecar Container一起運行。在Init Container啟動完成之后，App Container會并行啟動，但是需要等待所有App Container處于就緒狀態(tài)，整個Pod才算啟動成功。

從POD的資源隔離來看，Pod容器主要由Linux提供的Namespace和Cgroup能力實現(xiàn)的，Namespace實現(xiàn)進(jìn)程間隔離，Cgroup實現(xiàn)進(jìn)程資源控制;其中Namespace由ipc 、uts 、net 、mnt 、pid 各種資源空間聯(lián)合組成。

CRI是Kubernetes v1.5引入的，將Kubelet與容器運行時解耦;CRI中定義了容器和鏡像的服務(wù)的接口，因為容器運行時與鏡像的生命周期是彼此隔離的，所以定義了RuntimeService和ImageService兩個服務(wù)，其中RuntimeService主要包含Sandbox和Container兩種容器的管理gRPC接口，Sandbox就是上面Pod啟動過程中提到的Pause容器。目前支持CRI的后端有cri-o，cri-containerd，rkt，frakti，docker等，cri-o是由redhat發(fā)起并開源且由社區(qū)驅(qū)動的container-runtime，輕量化專為kubernetes而生，主要目的就是替代docker作為kubernetes集群的容器運行時。

1.2.2.Volume存儲卷，Kubernetes復(fù)雜的存儲架構(gòu)

存儲非常重要關(guān)鍵，同時也是生態(tài)與技術(shù)都比較復(fù)雜的領(lǐng)域，就linux、window兩個生態(tài)支持的文件系統(tǒng)就多達(dá)20+。對于Kubernete存儲架構(gòu)設(shè)計一直在持續(xù)演進(jìn)完善，為了盡可能多地兼容各種存儲平臺，Kubernetes以in-tree plugin的形式默認(rèn)對接很多不同類型的存儲系統(tǒng);同時也支持基于FlexVolume和CSI插件以out-of-tree plugin來實現(xiàn)自定義存儲服務(wù)。

對Kubernetes存儲，主要有應(yīng)用的基本配置文件讀取、密碼密鑰管理;應(yīng)用的存儲狀態(tài)、數(shù)據(jù)存取，不同應(yīng)用間數(shù)據(jù)共享等三大使用場景。目前Kubernetes支持的Volume Plugins如下表：

Temp	Ephermeral(Local)	Persistent(Networked)	Others
• Empty Dir	• Host Path  • Git Repo  • Local  • Secret  • ConfigMap  • DownwardAPI	•  AWS ElasticBlockStore(EBS) • GCE Persistent Disk • Azure Data Disk • Azure File Storage • vSphere • Ceph FS and RBD • GlusterFS • iSCSI • Cinder • Dell EMC ScalelO • ...	• Flex Volume • Container Storage lnterface(CSI,new in vl.9)

Empty Dir：生命周期與Pod保持一致，當(dāng)Pod刪除后emptyDir中的數(shù)據(jù)也會被自動清除。當(dāng)前emptyDir支持的類型有內(nèi)存、大頁內(nèi)存、Node節(jié)點上Pod所在的文件系統(tǒng)。

ConfigMap：主要是承擔(dān)配置中心，用于存儲應(yīng)用的配置數(shù)據(jù)，比如Springboot應(yīng)用properties配置文件數(shù)據(jù)，但是空間大小限制在1MB內(nèi)。

Secret：功能與ConfigMap類似，用于存儲應(yīng)用的敏感數(shù)據(jù)，比如數(shù)據(jù)密碼、token、證書等，可以與ConfigMap聯(lián)合使用，同樣空間大小限制在1MB內(nèi)。

HostPath：將Node節(jié)點本地文件系統(tǒng)路徑映射到pod容器中使用。與emptyDir不同之處就是Pod刪除后，HostPath中的數(shù)據(jù)Kubernetes根據(jù)用戶的配置，可以不被清除。

In-tree網(wǎng)絡(luò)存儲：網(wǎng)絡(luò)存儲跟隨Pod的生命周期，通過存儲插件對接不同類型存儲;其中FlexVolume雖然允許自定義開發(fā)驅(qū)動來掛載卷到集群Node節(jié)點上供Pod使用，但生命周期與pod同步。

PersistentVolumeClaim網(wǎng)絡(luò)存儲：具有獨立的生命周期，可以通過存儲的out-tree插件對接不同類型存儲。當(dāng)前支持的存儲插件類型有FlexVolume與CSI。

引入PV、PVC、StorageClass之后，資源管控更加靈活，團隊職責(zé)更加明確，研發(fā)人員只需考慮存儲需求(IO、容量、訪問模式等)，不需要關(guān)注底層存儲細(xì)節(jié);底層復(fù)雜的細(xì)節(jié)都由專業(yè)的集群管理與存儲管理員來完成。

CSI是Kubernetes 1.9版本開始引入，建立一套標(biāo)準(zhǔn)的存儲管理接口，通過該接口為容器提供存儲服務(wù)。從而實現(xiàn)Kubernetes平臺與存儲服務(wù)驅(qū)動完全解耦。CSI主要包含CSI Controller Server與CSI Node Server兩個部分,Controller Server主要實現(xiàn)創(chuàng)建、刪除、掛載、卸載等控制功能;Node Server主要實現(xiàn)的是Node節(jié)點上的 mount、unmount的操作。

CSI Controller Server和External CSI SideCar是通過 Unix Socket來進(jìn)行通信的，CSI Node Server和Kubelet也是通過Unix Socket來通信。CSI實現(xiàn)類也日趨完善，比如ExpandCSIVolumes可以實現(xiàn)文件系統(tǒng)擴容;VolumeSnapshotDataSource可以實現(xiàn)數(shù)據(jù)卷的快照;VolumePVCDataSource實現(xiàn)自定義定PVC數(shù)據(jù)源;CSIInlineVolume在Volume中定義一些CSI的驅(qū)動。阿里云也開源了阿里云盤、NAS、CPFS、OSS、LVM等CSI存儲插件。

1.2.3.Ingress與Service，百花齊放的Kubernetes網(wǎng)絡(luò)

Kubernetes 容器網(wǎng)絡(luò)非常復(fù)雜，涉及的概念也比較多，比如Pod網(wǎng)絡(luò)，Service網(wǎng)絡(luò)，Cluster IP，NodePort，LoadBalancer和Ingress等，為此將Kubernetes 的網(wǎng)絡(luò)參考TCP/IP協(xié)議棧抽象為四層：

第0層：Node節(jié)點網(wǎng)絡(luò)比較簡單，就是保證Kubernetes 節(jié)點(物理或虛擬機)之間能夠正常IP尋址和互通的網(wǎng)絡(luò)，一般由底層(公有云或數(shù)據(jù)中心)網(wǎng)絡(luò)基礎(chǔ)設(shè)施支持。

第1層：Pod是Kubernetes的最小調(diào)度單元，Pod網(wǎng)絡(luò)就是確保Kubernetes集群中所有Pod(包括同一節(jié)點及不同節(jié)點上的Pod)，邏輯上在同一個平面網(wǎng)絡(luò)內(nèi)，能夠相互IP尋址和通信的網(wǎng)絡(luò)。是容器網(wǎng)絡(luò)最復(fù)雜部分，通過各種容器網(wǎng)絡(luò)插件滿足不同網(wǎng)絡(luò)需求，通過CNI標(biāo)準(zhǔn)化及開放網(wǎng)絡(luò)自定義能力。

第3層：雖然單個Pod都有IP，但是與Pod生命周期一致，為了解決一組相同Pod統(tǒng)一穩(wěn)定的訪問地址，并且將請求均衡的分發(fā)到后端Pod應(yīng)用服務(wù)中。Kubernetes引入了Service網(wǎng)絡(luò)，以此實現(xiàn)服務(wù)發(fā)現(xiàn)(Service Discovery)和負(fù)載均衡(Load Balancing)能力，底層是通過Kube-Proxy+iptables轉(zhuǎn)發(fā)實現(xiàn)，對應(yīng)用無侵入且不穿透代理，沒有額外性能損耗。

第4層：Kubernetes Service網(wǎng)絡(luò)是集群內(nèi)部網(wǎng)絡(luò)，集群外部是無法訪問，需要將內(nèi)部服務(wù)暴露外部才能訪問。Kubernetes通過NodePort，LoadBalancer和Ingress多個方式構(gòu)建外部網(wǎng)絡(luò)接入能力。

類型	作用	實現(xiàn)
節(jié)點網(wǎng)絡(luò)	Master/Worker節(jié)點之間網(wǎng)絡(luò)互通	路由器，交換機，網(wǎng)卡
Pod網(wǎng)絡(luò)	Pod虛擬機之間互通	虛擬網(wǎng)卡，虛擬網(wǎng)橋，網(wǎng)卡，路由器or覆蓋網(wǎng)絡(luò)
Service網(wǎng)絡(luò)	服務(wù)發(fā)現(xiàn)+負(fù)均衡	Kube-proxy, Kubelet, Master, Kube-DNS
NodePort	將Service暴露在節(jié)點網(wǎng)絡(luò)上	Kube-proxy
LoadBalancer	將Service暴露在公網(wǎng)上+負(fù)載均衡	公有云 LB + NodePort
Ingress	反向路由，安全，日志監(jiān)控  （類似反向代理or網(wǎng)關(guān)）	Nginx/Envoy/Traefik/Zuul/SpringCloudGateway

CNI最早是由CoreOS發(fā)起的容器網(wǎng)絡(luò)規(guī)范，是Kubernetes網(wǎng)絡(luò)插件的基礎(chǔ)。Container Runtime在創(chuàng)建容器時，先創(chuàng)建好network namespace，再調(diào)用CNI插件為network namespace配置網(wǎng)絡(luò)，最后啟動容器內(nèi)進(jìn)程。CNI插件包括CNI Plugin與IPAM Plugin兩部分：

CNI Plugin：負(fù)責(zé)配置管理容器網(wǎng)絡(luò)，包括兩個基本的接口：

網(wǎng)絡(luò)配置: AddNetwork(net NetworkConfig, rt RuntimeConf) (types.Result, error)

清理網(wǎng)絡(luò): DelNetwork(net NetworkConfig, rt RuntimeConf) error

IPAM Plugin：負(fù)責(zé)容器IP地址分配，實現(xiàn)包括host-local和dhcp。

容器網(wǎng)絡(luò)技術(shù)也在持續(xù)演進(jìn)發(fā)展，社區(qū)開源的網(wǎng)絡(luò)組件眾多，比如Flannel、Calico、Cilium、OVN等，每個組件都有各自的優(yōu)點及適應(yīng)的場景，難以形成大一統(tǒng)的組件及解決方案。

1.2.4.Workload工作負(fù)載，Kubernetes應(yīng)用中心理念

Kubernetes通過工作負(fù)載Workload實現(xiàn)應(yīng)用管理部署與發(fā)布，踐行Kubernetes以應(yīng)用為中心的理念。Kubernetes支持多種類型的工作負(fù)載，包含Deployment、StatefulSet、ReplicaSet、Job、CronJob、DaemonSet，以滿足不同場景的需求。

Deployment與ReplicaSet：替換原來的 ReplicationController對象，管理部署無狀態(tài)應(yīng)用，Deployment管理不同版本的ReplicaSet，ReplicaSet管理相同版本的Pod，通過Deployment調(diào)整 ReplicaSet的終態(tài)副本數(shù)，控制器會維持實際運行的Pod數(shù)量與期望的數(shù)量一致，Pod 出故障時會自動重啟或恢復(fù)。

StatefulSet：管理部署有狀態(tài)應(yīng)用，創(chuàng)建的Pod擁有根據(jù)規(guī)范創(chuàng)建的持久型標(biāo)識符。Pod遷移或銷毀重啟后，標(biāo)識符仍會保留。如每個Pod有序號，可以按序號創(chuàng)建更新或刪除;Pod有唯一網(wǎng)絡(luò)標(biāo)志(hostname)或獨享的存儲PV,支持灰度發(fā)布等。

DaemonSet：管理部署每個節(jié)點運行的守護(hù)任務(wù)，如監(jiān)控、日志收集等。新加入的節(jié)點也運行，移出節(jié)點是需要刪除。也可以通過標(biāo)簽的指定運行節(jié)點。

Job與Cronjob：Job是一次性任務(wù)，可創(chuàng)建一個或多個Pod，監(jiān)控Pod是否成功運行或終止;根據(jù)Pod狀態(tài)設(shè)置重復(fù)次數(shù)、并發(fā)度、重啟策略。Cronjob是定時調(diào)度的Job,可以指定運行時間、等待時間、是否并行運行、運行次數(shù)限制。

在Kubernetes生態(tài)中，還有一些提供額外操作的第三方工作負(fù)載。同時也可以通過使用CRD自定義工作負(fù)載。還有就是Device Plugin驅(qū)動的硬件工作負(fù)載，會在后續(xù)章節(jié)詳細(xì)講解。

1.2.5.Controller控制器，Kubernetes集控管理中心

Controller Manager作為Kubernetes集控管理中心，負(fù)責(zé)集群的Node、Pod副本、服務(wù)端點(Endpoint)、命名空間(Namespace)、服務(wù)賬號(ServiceAccount)、資源定額(ResourceQuota)的資源管理，并通過API Server接口實時監(jiān)控集群的每個資源對象的狀態(tài)，一旦發(fā)生故障導(dǎo)致系統(tǒng)狀態(tài)發(fā)生變化，就會立即嘗試修復(fù)到“期望狀態(tài)”。

Replication Controller：保證集群中一個RC所關(guān)聯(lián)的Pod副本數(shù)始終保持預(yù)設(shè)值。

ResourceQuota Controller：確保Kubernetes中的資源對象在任何時候都不會超量占用系統(tǒng)物理資源。有容器，Pod以及Namespace三個級別。

Namespace Controller：通過API Server定時讀取Namespace信息。如果Namespace被API標(biāo)記為優(yōu)雅刪除(即設(shè)置刪除期限，DeletionTimestamp),則將該Namespace狀態(tài)設(shè)置為“Terminating”,并保存到etcd中。同時刪除該Namespace下的ServiceAccount、RC、Pod等資源對象。

Endpoint Controller：Endpoints是Service對應(yīng)所有Pod副本的訪問地址，Endpoint Controller主要負(fù)責(zé)監(jiān)聽Service和對應(yīng)的Pod副本的變化，從而生成和維護(hù)Endpoints對象控制器。

Deployment Controller：Deployment通過控制ReplicaSet，ReplicaSet再控制Pod，最終由Deployment Controller驅(qū)動達(dá)到期望狀態(tài)，Deployment Controller會監(jiān)聽 DeploymentInformer、ReplicaSetInformer、PodInformer 三種資源。

另外，在Kubernetes v1.6引入了云控制管理器Cloud Controller Manager(CCM)，提供與阿里公有云基礎(chǔ)產(chǎn)品對接的支持，后續(xù)也會詳細(xì)講解。

1.3.總結(jié)

總結(jié)一下，Kubernetes不僅是一個強大的容器編排系統(tǒng)本身，而且促進(jìn)了一個龐大的工具和服務(wù)的生態(tài)系統(tǒng)，云原生時代的操作系統(tǒng)，形成云計算新界面。

從設(shè)計理念方面，Kubernetes是以應(yīng)用為中心的構(gòu)理念，向下屏蔽基礎(chǔ)設(shè)施差異，實現(xiàn)底層基礎(chǔ)資源統(tǒng)一調(diào)度及編排;向上通過容器鏡像標(biāo)準(zhǔn)化應(yīng)用，實現(xiàn)應(yīng)用負(fù)載自動化部署;中間通過Kubernetes通用的編排能力，開放API以及自定義CRD擴展能力;

從技術(shù)架構(gòu)方面，Kubernetes是典型的分布式主從架構(gòu)，由Master控制節(jié)點與可以水平擴展的Worker工作節(jié)點組成，Master實現(xiàn)集中式控制管理，Worker實現(xiàn)分布式運行;與Openstack的架構(gòu)還有基于SpringCloud研發(fā)的分微服業(yè)務(wù)應(yīng)用沒有太大區(qū)別。

從設(shè)計模式方面，Kubernetes通過定義大量的模型(原語、資源對象、配置、常用的 CRD)，通過配置管理模型實現(xiàn)集群資源的控制;雖然模型多切復(fù)雜，可以分層(核心層，隔離與服務(wù)訪問層，調(diào)度層，資源層)逐步理解。

從平臺擴展方面，Kubernetes是一個開放可擴展平臺，不僅有開發(fā)的API，開放標(biāo)準(zhǔn)(CNI，CSI，CRI等)以及CRD，不僅是一個單純運行時平臺，同時面向運維的開發(fā)平臺。

 本文轉(zhuǎn)載自微信公眾號「巨子嘉」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系巨子嘉公眾號。