論控制面板在云數(shù)據(jù)倉庫架構(gòu)中的重要性
譯文?譯者 | 布加迪
審校 | 孫淑娟
隨著企業(yè)轉(zhuǎn)向數(shù)字優(yōu)先模式,越來越多的組織日益傾向于云計(jì)算架構(gòu)。但是向云轉(zhuǎn)型存在集成和管理方面的眾多難題和挑戰(zhàn)。云本身是一個(gè)龐大的生態(tài)系統(tǒng),包括基礎(chǔ)架構(gòu)、應(yīng)用程序、微服務(wù)、容器、集群、虛擬機(jī)以及分布在多個(gè)地區(qū)和成千上萬用戶中的多個(gè)云。此外,云端運(yùn)行的每個(gè)應(yīng)用程序也都擁有自己的數(shù)據(jù)平面,可以通過它管理各自的功能。
管理如此復(fù)雜的基礎(chǔ)架構(gòu)和不同的數(shù)據(jù)平面需要一個(gè)單一的管理平臺(tái)來處理數(shù)據(jù)平面方面的繁重任務(wù)。這時(shí)候,控制平面就有了用武之地。控制平面是一個(gè)集中管理的界面,負(fù)責(zé)在分配、配置、調(diào)度、維護(hù)和操作工作負(fù)載方面做出決策。它是一組服務(wù),可維護(hù)對(duì)象的預(yù)期狀態(tài)、調(diào)度任務(wù),并實(shí)現(xiàn)用戶管理、集群管理和編排。比如以數(shù)據(jù)分析為例,如果數(shù)據(jù)在數(shù)據(jù)平面中進(jìn)行轉(zhuǎn)換,控制平面可以為所需的管道創(chuàng)建實(shí)例,啟動(dòng)額外的計(jì)算資源,并在任務(wù)完成后收回所有資源。
分析上下文中控制平面的關(guān)鍵功能
擁有單獨(dú)的控制平面背后的整個(gè)想法是這個(gè)理念:客戶不必?fù)?dān)心云計(jì)算堆棧,他們只需使用處理工作負(fù)載所需的資源。從分析的角度來看,以下是控制平面須具備的四項(xiàng)關(guān)鍵功能。
1.與數(shù)據(jù)平面直接集成
控制平面必須與橫跨數(shù)百個(gè)集群和多家云提供商的各種數(shù)據(jù)平面緊密集成。它應(yīng)該提供有關(guān)平臺(tái)狀態(tài)和實(shí)時(shí)操作的適宜時(shí)間的可觀測性,跟蹤分析圍繞這些觀測結(jié)果和度量指標(biāo)的歷史趨勢。它必須能夠在其界面內(nèi)推送配置更改,并執(zhí)行升級(jí)、備份和安裝之類的管理任務(wù)。用戶應(yīng)該能夠挑選他們選擇的數(shù)據(jù)平面底層:云提供商、區(qū)域和虛擬私有云(VPC),并且能夠無縫地編排、部署或終止所選擇的數(shù)據(jù)庫和集群。
2.支持?jǐn)?shù)據(jù)民主化和安全
由于安全、合規(guī)和隱私要求不斷變化,組織不僅需要監(jiān)管數(shù)據(jù)的存儲(chǔ)方式,還要監(jiān)管整個(gè)組織內(nèi)如何訪問和使用數(shù)據(jù)進(jìn)行分析。一些企業(yè)甚至要求在其云帳戶中存儲(chǔ)和分析數(shù)據(jù)。因此,控制平面必須能夠管理和支持不同的授權(quán)和身份驗(yàn)證方案。從隱私和安全的角度來看,誰可以訪問哪些數(shù)據(jù)也是一個(gè)關(guān)鍵方面。從簡單的權(quán)限到復(fù)雜的基于角色的訪問控制,再到 IDP(身份提供商)集成,控制平面必須確保根據(jù)用戶角色和訪問策略一致地運(yùn)用它們。
3.計(jì)費(fèi)透明度和訂閱靈活性
以傳統(tǒng)的SaaS(軟件即服務(wù))為例,計(jì)費(fèi)基于席位或用戶的數(shù)量。分析型SaaS必須支持更大的靈活性,這基于產(chǎn)品或資源的消耗??刂破矫娴暮诵墓δ苁歉欉@種消耗,并在適合各種分析工作負(fù)載的精細(xì)度層面進(jìn)行跟蹤。比如說,計(jì)費(fèi)部門完全依賴數(shù)據(jù)平面的vCPU使用情況,讓組織可以調(diào)整工作負(fù)載,以最大限度地利用在現(xiàn)有云提供商身上的投入。控制平面還必須允許管理員對(duì)云支出設(shè)置明確的限制,以免月末賬單讓人大吃一驚。
4.監(jiān)控和洞察資源使用情況
監(jiān)控各種云組件可能很復(fù)雜且頗具挑戰(zhàn)性,因此,控制平面的關(guān)鍵功能之一是為用戶簡化這個(gè)過程,并為他們提供一系列直觀的報(bào)告,這些報(bào)告在資源使用方面提供了一目了然的實(shí)時(shí)信息。這包括為節(jié)點(diǎn)、子集群及策略狀態(tài)、性能、vCPU使用情況、總運(yùn)行時(shí)間、集群的啟動(dòng)和停止時(shí)間提供了直觀的信息,還可以洞察用戶活動(dòng)(比如主要用戶和查詢數(shù)量);以及用于監(jiān)控和故障排除的詳細(xì)事件日志。理想情況下,控制平面必須是整個(gè)基礎(chǔ)架構(gòu)及其數(shù)據(jù)平面的單一事實(shí)來源。
未來的數(shù)據(jù)將極其龐大、分散和復(fù)雜,很明顯組織將需要一種集中式機(jī)制,以便提高數(shù)據(jù)的可管理性、可重用性、可見性和編排。有鑒于此,不難想象為什么需要復(fù)雜的控制平臺(tái)來確保組織充分獲得數(shù)據(jù)平面的價(jià)值。
原文標(biāo)題:??The Importance Of The Control Plane In Cloud Data Warehouse Architectures???,作者:Rohit Amarnath?