[[260829]]

對于使用了Kubernetes作為應(yīng)用運行環(huán)境的開發(fā)者而言，在同一個集群中我們可以使用命名空間（Namespace）快速創(chuàng)建多套隔離環(huán)境，在相同命名空間下，服務(wù)間使用Service的內(nèi)部DNS域名進(jìn)行相互訪問。 基于Kubernetes強大的隔離以及服務(wù)編排能力，可以實現(xiàn)一套定義編排（YAML）多處部署的能力。

不過，一般來說Kubernetes使用的容器網(wǎng)絡(luò)與開發(fā)者的所在的辦公網(wǎng)絡(luò)直接并不能直接連通。 因此，如何高效的利用Kubernetes進(jìn)行服務(wù)間的聯(lián)調(diào)測試，成為在日常開發(fā)工作中一道繞不開的坎。本文我們就來聊一聊，如何加速基于Kubernetes的研發(fā)效率。

使用自動流水線

為了能夠讓開發(fā)者能夠更快的將修改的代碼部署到集群測試環(huán)境中，一般來說我們會引入持續(xù)交付流水線，將代碼的編譯，鏡像的打包上傳以及部署通過自動化的方式來解決。如下所示：

從一定程度上來說，這種方式可以避免開發(fā)人員進(jìn)行大量重復(fù)性的工作。但是，雖然整個過程自動化了，但是開發(fā)人員也不得不每次進(jìn)行代碼變更之后都需要等待流水線的運行。對于開發(fā)人員來說，每次代碼變更后等待流水線運行或許已經(jīng)成為整個開發(fā)任務(wù)過程中體驗最糟糕的部分。

打破網(wǎng)絡(luò)限制，本地聯(lián)調(diào)

理想狀態(tài)下是開發(fā)者可以直接在本地啟動服務(wù)，并且這個服務(wù)就可以無縫的和遠(yuǎn)程的kubernetes集群中的各個其它服務(wù)實現(xiàn)互相調(diào)用。需要解決兩個問題：

• 我依賴了其它的服務(wù)：運行在本地的代碼可以直接通過podIP，clusterIP甚至是Kubernetes集群內(nèi)的DNS地址訪問到部署在集群中的其它應(yīng)用，如下圖左；
• 其它的服務(wù)依賴了我：運行在Kubernetes集群中的其它應(yīng)用可以在不做任何改變的情況下訪問我到運行的本地的代碼，如下圖右。

要實現(xiàn)剛才說的兩種本地聯(lián)調(diào)方式，主要需要解決以下3個問題：

• 本地網(wǎng)絡(luò)與Kubernetes集群網(wǎng)絡(luò)直接的連通問題
• 在本地實現(xiàn)Kubernetes中內(nèi)部服務(wù)的DNS解析；
• 如果將對集群中其它Pod訪問的流量轉(zhuǎn)移到本地；

云效開發(fā)者工具KT

為了簡化在Kubernetes下進(jìn)行聯(lián)調(diào)測試的復(fù)雜度，云效在SSH隧道網(wǎng)絡(luò)的基礎(chǔ)上并結(jié)合Kubernetes特性構(gòu)建了一款面向開發(fā)者的免費輔助工具KT（點擊前往下載），如下所示：

當(dāng)本地運行的服務(wù)C’希望能夠直接訪問集群中default命名空間下的Service A和Service B時，運行如下命令：

$ ktctl -namespace=default 

KT會自動在集群中部署SSH/DNS代理容器，并構(gòu)建本地到Kubernetes集群的虛擬專用網(wǎng)絡(luò)并通過DNS代理實現(xiàn)集群服務(wù)DNS域名解析，在運行KT之后，開發(fā)者的本地程序可以直接像運行在集群中的服務(wù)一樣通過service名字調(diào)用集群中部署的其它應(yīng)用：

而如果希望集群中的其它Pod（比如圖中的PodD和PodE）能夠通過ServiceC訪問到本地運行的程序C‘，通過如下命令，指定需要替換的目標(biāo)Deployment以及指定本地服務(wù)端口：

#-swap-deployment指定需要替換的目標(biāo)Deployment  
  
# -expose 指定本地服務(wù)運行的端口  
  
ktctl -swap-deployment c-deployment -expose=8080  

KT在構(gòu)建虛擬專用網(wǎng)絡(luò)的同時，還會自動通過代理容器接管集群原有的PodC實例，并直接轉(zhuǎn)發(fā)的本地的8080端口。實現(xiàn)集群應(yīng)用聯(lián)調(diào)本地。

經(jīng)過上述兩個命令，開發(fā)者就可以真正的使用云原生的方式來開發(fā)調(diào)試Kubernetes中的應(yīng)用了。

工作原理

下面解析KT的工作原理，如果你已經(jīng)迫不及待的想嘗試KT的功能，可以直接前往下載KT工具。

KT主要由兩部分組成：

• 在本地運行的命令行工具ktctl
• 運行在集群中的SSH/DNS代理容器。

在工作原理上KT實際上是結(jié)合Kubernetes自身能力實現(xiàn)的一個基于SSH的網(wǎng)絡(luò)。這這部分，筆者將詳細(xì)介紹云效Kubernetes開發(fā)者工具KT的工作原理：

打通SSH協(xié)議通道

在Kubernetes命令行工具kubectl中內(nèi)置的port-forward命令可以幫助用戶建立本地端口到Kubernetes集群中特定Pod實例端口間的網(wǎng)絡(luò)轉(zhuǎn)發(fā)。

當(dāng)我們在集群中部署一個包含sshd服務(wù)的容器后，通過port-forward可以將容器的SSH服務(wù)端口映射到本地：

# 將對本地2222端口轉(zhuǎn)發(fā)到kt-porxy實例的22端口 
 
$ kubectl port-forward deployments/kt-proxy 2222:22 
 
Forwarding from 127.0.0.1:8080 -> 8080 
 
Forwarding from [::1]:8080 -> 8080 

在運行端口轉(zhuǎn)發(fā)后，就可以直接通過本地的2222端口通過SSH協(xié)議進(jìn)入到Kubernetes集群的kt-proxy實例中。從而打通本地與集群之間的SSH網(wǎng)絡(luò)鏈路。

本地動態(tài)端口轉(zhuǎn)發(fā)

在打通SSH網(wǎng)絡(luò)之后，我們就可以利用SSH通道實現(xiàn)本地到集群的網(wǎng)絡(luò)請求，其中最基本的方式就是使用SSH動態(tài)端口轉(zhuǎn)發(fā)的能力。

使用如下命令，通過本地2000運行的代理，可以將網(wǎng)絡(luò)請求通過集群中運行的kt-proxy容器進(jìn)行轉(zhuǎn)發(fā)，從而實現(xiàn)本地到集群網(wǎng)絡(luò)請求的轉(zhuǎn)發(fā)：

# ssh -D [本地網(wǎng)卡地址:]本地端口 name@ip -p映射到kt-proxy的22端口的本地端口 
 
ssh -D 2000 root@127.0.0.1 -p2222 

在啟用SSH動態(tài)端口轉(zhuǎn)發(fā)后，通過設(shè)置http_proxy環(huán)境變量后，即可直接在命令行中訪問集群網(wǎng)絡(luò)：

# export http_proxy=socks5://127.0.0.1:ssh動態(tài)端口轉(zhuǎn)發(fā)的代理端口 
 
export http_proxy=socks5://127.0.0.1:2000 

不過原生SSH動態(tài)端口轉(zhuǎn)發(fā)也有一定的限制那就是無法直接使用UDP協(xié)議，這里我們選擇了一個替代方案sshuttle. 如下命令所示：

# export http_proxy=socks5://127.0.0.1:ssh動態(tài)端口轉(zhuǎn)發(fā)的代理端口 
 
export http_proxy=socks5://127.0.0.1:2000 
 
sshuttle --dns --to-ns 172.16.1.36 -e 'ssh -oStrictHostKeyChecking=no -oUserKnownHostsFile=/dev/null' -r root@127.0.0.1:2222 172.16.1.0/16 172.19.1.0/16 -vv 

sshuttle工具在SSH協(xié)議之上構(gòu)建了一個簡易的虛擬專用網(wǎng)絡(luò)，同時支持DNS協(xié)議轉(zhuǎn)發(fā)。

因此，接下來的問題就是實現(xiàn)一個自定義的DNS服務(wù)即可，而該服務(wù)在KT中是直接內(nèi)置在KT代理鏡像中。

遠(yuǎn)程端口轉(zhuǎn)發(fā)

在本地到集群的鏈路打通之后。 接下來需要解決的就是從集群到本地的訪問鏈路。這部分，我們會使用到SSH的遠(yuǎn)程端口轉(zhuǎn)發(fā)能力，如下所示，指定所有對kt-proxy的8080端口的網(wǎng)絡(luò)請求都會通過SSH隧道直接轉(zhuǎn)發(fā)到本地的8080端口：

# ssh -R 8080:localhost:8080 root@127.0.0.1 -p2222 
 
ssh -R 8080:localhost:8080 root@127.0.0.1 -p2222 

因此，在KT的實現(xiàn)過程之中，結(jié)合Kubernetes基于標(biāo)簽的松耦合能力，我們只需要克隆原有應(yīng)用實例的YAML描述，并將容器替換為kt-proxy即可。從而將對集群中原有應(yīng)用的請求通過SSH遠(yuǎn)程端口轉(zhuǎn)發(fā)到本地。

綜上，通過利用Kubernetes原生能力以及適度的擴(kuò)展，開發(fā)者可以快速在本地利用KT打破本地網(wǎng)絡(luò)與Kubernetes網(wǎng)絡(luò)之間的界限，大大提升使用Kubernetes進(jìn)行聯(lián)調(diào)測試的效率。

小結(jié)

工具承載了對特定問題的解決方案，而工程技術(shù)實踐則是對其價值的放大。阿里巴巴云效平臺，致力于為開發(fā)者提供一站式的企業(yè)研發(fā)與協(xié)作服務(wù)，并將阿里多年的軟件工程實踐以一種更加開發(fā)的形態(tài)反饋技術(shù)社區(qū)，歡迎更多的技術(shù)開發(fā)者入駐。