K8s和其他容器編排平臺正在迅速下沉到主流的基礎(chǔ)設(shè)置中，對于大多數(shù)面向業(yè)務(wù)的應(yīng)用，從傳統(tǒng)的數(shù)據(jù)中心遷移到容器部署還算獨立和簡單。然而，當遇到需要像數(shù)據(jù)庫或快速數(shù)據(jù)分析工作負載這樣要求更高的核心應(yīng)用時，事情不那么簡單了。

首先，應(yīng)用容器化對底層基礎(chǔ)設(shè)施提出了更高的要求，包括網(wǎng)絡(luò)、存儲和容錯。雖然K8s在這些方面取得了很大的進步，但無論是在本地還是云場景中運行，應(yīng)用仍然會出現(xiàn)性能下降的問題。其次，即使是中等規(guī)模的應(yīng)用，K8s網(wǎng)絡(luò)也不能為其提供低且可預(yù)測的延遲。

我們認為一個平穩(wěn)運行的IT系統(tǒng)所需的CPU、帶寬和存儲容量，對于優(yōu)化部署很重要。所以，了解數(shù)據(jù)在系統(tǒng)中的路徑，可以揭示出低于預(yù)期性能的潛在來源及其解決方案。

為容器化工作負載提供存儲的三種方法

私有云和并置設(shè)備/存儲集群

雖然本地存儲通常是功能最豐富、拓展最便捷的方式的存儲方式，但在容器原生的部署下可能就不那么完美了。在這些本地實例中，存儲與K8s系統(tǒng)并行存在，K8s通過一個容器存儲接口(CSI)插件將應(yīng)用與存儲連接起來，其工作原理是將應(yīng)用程序容器直接連接到外部存儲，完全繞過K8s控制的網(wǎng)絡(luò)。

容器存儲軟件

以容器形式誕生并使用容器實施的解決方案，具有專為容器而生的優(yōu)勢。這些產(chǎn)品采取了 "功能優(yōu)先 "的方法，這有助于確保IT團隊保留精簡配置和重復(fù)數(shù)據(jù)刪除等功能。然而，無論是在規(guī)模上還是在生產(chǎn)中，性能再次取決于數(shù)據(jù)路徑。這些解決方案通過存儲控制器提供對存儲設(shè)備的訪問，而存儲控制器本身是作為容器實現(xiàn)的，所以整個數(shù)據(jù)路徑都要經(jīng)過K8s網(wǎng)絡(luò)，影響延遲。

在K8s中原生運行的軟件定義存儲

市場上有一些純軟件定義的存儲選擇，其中只有少數(shù)幾個在K8s中原生運行。其中包括獨立的裸機軟件定義存儲產(chǎn)品，這些產(chǎn)品被移植到K8s中使用，也支持私有云和混合云部署。

K8s中原有的軟件定義存儲利用上述兩種方法的優(yōu)點來實現(xiàn)最佳性能以和擴展。它是容器原生的，根據(jù)實現(xiàn)方式，有些將數(shù)據(jù)路徑與K8s隔離，因此性能比僅容器存儲軟件方法中的CSP更好。

這使數(shù)據(jù)中心架構(gòu)師能夠獲得最好的傳統(tǒng)本地架構(gòu)和僅容器存儲的最佳效果。為了確保延遲可預(yù)測性，數(shù)據(jù)路徑在K8s之下——在容器和NVMe SSD之間——從內(nèi)核移動到客戶端設(shè)備驅(qū)動程序，再到目標驅(qū)動，然后直接訪問NVMe驅(qū)動。

用這種方式，客戶端是完全獨立的，不需要跨客戶端通信就可以直接與目標通信。這種方式，減少了網(wǎng)絡(luò)跳躍點數(shù)量和通信線路的數(shù)量，使得該模式可以用于大規(guī)模環(huán)境，其中連接的數(shù)量是域大小的小倍數(shù)。

Elasticsearch 應(yīng)用程序

幾個允許系統(tǒng)在K8s中原生運行的用例，展示了軟件定義的方法的好處。例如歐洲、中東和非洲地區(qū)的一家主要電信供應(yīng)商為大型K8s中的Elasticsearch試用了三種存儲方法。外部的、基于iSCSI的SDS是可擴展的，但延遲在毫秒級，導(dǎo)致索引性能更差，而K8s原生的存儲解決方案則無法滿足數(shù)百個節(jié)點的規(guī)模要求。這兩種方法都導(dǎo)致了最終用戶的體驗明顯變差。第三種方法是基于NVMe的可擴展SDS，使用嵌入K8s節(jié)點的NVMe驅(qū)動器，結(jié)合原生集成到 K8s 控制和管理平面，實現(xiàn)了顯著更好的性能和延遲。

K8s的 NVMe 原生共享存儲的系統(tǒng)架構(gòu)，具有裸機性能

CI/CD 應(yīng)用

在另一個例子中，一家頂級網(wǎng)絡(luò)公司在一個擁有數(shù)萬個節(jié)點的數(shù)據(jù)中心的CI/CD應(yīng)用程序中，在K8s中原生運行了一個SDS，為編譯、構(gòu)建和本地測試提供一個強大的控制環(huán)境。圖1顯示了SDS的基于NVMe 的客戶端和橫向擴展架構(gòu)是如何實現(xiàn)CI/CD工作負載向K8s的過渡，同時保留了裸機性能。

當在K8s下運行時，該方法用特權(quán)容器控制客戶端和目標設(shè)備驅(qū)動程序的部署，使數(shù)據(jù)路徑不受K8s環(huán)境的容器化性質(zhì)的影響，并將所有控制和管理平面組件轉(zhuǎn)移到基于原生容器API的操作。在這家頂級網(wǎng)絡(luò)公司的生產(chǎn)環(huán)境中，應(yīng)用程序性能比裸機情況高15%-20%，因為存儲軟件將多個遠程NVMe驅(qū)動器聚集在一個虛擬卷中，呈現(xiàn)給運行應(yīng)用程序的容器。

通往成功的優(yōu)秀數(shù)據(jù)路徑

尋找合適的存儲來滿足應(yīng)用程序?qū)蓴U展性和性能的需求并不是一個放之四海而皆準的方法。當存儲架構(gòu)師通過了解數(shù)據(jù)路徑的含義，為容器選擇存儲時，能夠在容器化混合部署中讓應(yīng)用更加流暢，獲得可擴展、高性能、敏捷的存儲。