解析輕松駕馭企業(yè)生態(tài)系統(tǒng)的共享平臺
譯文譯者 | 李睿
審校 | 重樓
在企業(yè)技術的世界里,像Kafka、RabbitMQ、Apache Flink集群、數(shù)據(jù)倉庫和監(jiān)控平臺這樣的共享平臺是支持健壯基礎設施的重要組件,從而實現(xiàn)現(xiàn)代微服務架構(gòu)。人們將看到共享平臺充當微服務之間的中介,從微服務中聚合日志,提供跨域分析和許多其他跨領域功能。
本文將從平臺所有者和平臺用戶的角度探討共享平臺,揭示一些對健康的技術生態(tài)系統(tǒng)至關重要的最佳實踐和策略。
建立共享平臺的基本原理
共享平臺在企業(yè)環(huán)境中的存在既是出于需要,也是出于戰(zhàn)略選擇。并非每個應用程序都可以或應該依賴于自己的獨立平臺。以下提出共享平臺對現(xiàn)代企業(yè)來說是一個經(jīng)過深思熟慮的決定的原因:
1.專業(yè)技能要求:Kafka或Flink等先進平臺的操作和維護需要高水平的專業(yè)知識。為每個單獨的應用程序獲取這樣的專業(yè)技能既不實際,也不經(jīng)濟。共享平臺允許一批主題專家(SME)有效地維護和優(yōu)化這些資源。
2.集中的數(shù)據(jù)共享和管理:在微服務架構(gòu)中,不同的應用程序通常需要交換數(shù)據(jù)。共享平臺作為中心樞紐促進了這種數(shù)據(jù)交換,這比管理孤立平臺之間的多個集成點更高效。
3.成本優(yōu)化:當跨多個平臺復制時,許可、基礎設施和運營成本的財務影響非常大。共享平臺整合了這些成本,使企業(yè)能夠從規(guī)模經(jīng)濟中受益。通過資源共享,企業(yè)可以優(yōu)化投資,降低總體支出。
4.資源利用:專用平臺可能導致容量利用不足,當單個應用程序的需求與最大容量不匹配時,服務器和服務可能會空閑。共享平臺確保資源得到更均勻、更有效的利用,減少資源浪費,提高整體投資回報率。
5.敏捷性和可擴展性:共享平臺提供了一個靈活的基礎,可以快速適應不斷變化的需求。隨著新的應用程序上線或現(xiàn)有應用程序的增長,共享平臺可以擴展以適應這些需求,而無需與設置新基礎設施相關的交付時間和成本。
6.一致性和合規(guī)性:確保遵從行業(yè)法規(guī)和標準可能是復雜且資源密集的??梢栽O計共享平臺來滿足這些普遍需求,為所有應用程序提供一致和兼容的環(huán)境。
7.創(chuàng)新與協(xié)作:共享平臺可以營造創(chuàng)新與協(xié)作的環(huán)境。它們提供了一個共同的基礎平臺,不同的團隊可以在這里一起工作,分享見解,并開發(fā)受益于共享平臺功能的解決方案。
8.災難恢復和業(yè)務連續(xù)性:集中式共享平臺可以更容易地進行災難恢復管理。它們允許簡化備份過程,并在發(fā)生系統(tǒng)中斷或其他破壞性事件時更快地恢復服務。
9.與現(xiàn)成其他平臺的集成:共享平臺通常附帶一套集成的連接器,用于促進與其他系統(tǒng)的交互,包括監(jiān)視和警報工具。這種互聯(lián)性意味著新的應用程序可以插入到豐富的服務生態(tài)系統(tǒng)中,而不需要額外的集成工作。例如,連接到已建立的監(jiān)視系統(tǒng)的便利性顯著地簡化了對應用程序的監(jiān)控。
既然已經(jīng)探討了共享平臺的一些優(yōu)勢,那么還要討論平臺所有者和用戶的注意事項。這種理解將確保充分實現(xiàn)共享平臺的好處,同時最大限度地減少潛在的瓶頸。每個群體的考慮因素在維護健康、高效和可擴展的共享平臺生態(tài)系統(tǒng)方面發(fā)揮著至關重要的作用。
保護平臺:所有者的觀點
平臺所有者承擔著保護其平臺免受潛在濫用的關鍵責任,例如單個應用程序失控或過度供應的副作用。平臺所有者也應該確保他們遵循財務運營(FinOps)實踐,從成本角度使其系統(tǒng)可維護且可行。
為了維護一個健康、高效和具有成本效益的平臺,以下是幾種至關重要的實踐:
1.實施配額:配額對于防止任何單一應用程序壟斷資源至關重要。通過設置使用限制,平臺所有者確保在所有消費者中公平分配資源。RabbitMQ最大隊列大小和Kafka吞吐量配額是在企業(yè)中看到的常見示例。
2.監(jiān)控指標:持續(xù)監(jiān)控指標有助于在異常模式或潛在問題升級之前識別它們。指標可以洞察平臺的健康狀況,并指導決策過程。而指標還揭示了需求信息的使用和變化,這對于平臺規(guī)劃實踐是至關重要的。
3.保留期策略:保留期決定了數(shù)據(jù)在被丟棄之前的存儲時間。實現(xiàn)數(shù)據(jù)保留策略對于防止磁盤空間被填滿至關重要,因為可能導致性能下降甚至系統(tǒng)故障。
4.發(fā)出重要更新:當Flink集群有更新或更改時,例如版本升級或維護計劃,通知所有用戶是很重要的。這確保他們可以為數(shù)據(jù)處理任務的任何潛在影響做好準備。例如,版本升級可能會引入新功能或棄用舊功能,用戶需要了解這些更改以相應地調(diào)整其應用程序。為了實現(xiàn)這一點,平臺所有者可以使用各種工具和方法,例如電子郵件提醒、Slack或Microsoft Teams等消息服務,甚至是與用戶自己的監(jiān)控系統(tǒng)集成的自定義Webhook。關鍵是要確保溝通是及時的、相關的和可操作的,從而保持平臺所有者和用戶之間的透明度和信任。
5.平臺團隊:平臺團隊發(fā)揮著關鍵作用,不僅僅是維持運營;他們是平臺完整性和效率的守護者。治理是他們職責的關鍵部分,包括批準新的發(fā)布者或消費者等任務,以確保使用該平臺的用戶能夠為共享生態(tài)系統(tǒng)做出積極貢獻。
保持最佳的團隊規(guī)模對于確保敏捷性和響應性至關重要。重要的是,平臺團隊不能過于臃腫,否則會拖慢進程,也不能過于精簡,這會導致倦怠和監(jiān)督問題。
投資于團隊的持續(xù)教育也同樣重要。消息靈通的團隊將保持領先地位,并采用最新的技術和治理最佳實踐來簡化運營。
簡化治理實踐對于避免成為應用程序新的瓶頸也是至關重要的。目標是建立清晰、有效的流程,以促進而不是減緩進展。這可能涉及到自動化某些審批過程或為日常請求設置自助服務門戶,從而使平臺團隊能夠?qū)W⒂谛枰麄儗I(yè)知識的更復雜的任務。通過優(yōu)化治理流程,平臺團隊不僅提高了自身的生產(chǎn)力,還推動了企業(yè)創(chuàng)新和成長的整體速度。
1.成本問題:在管理共享平臺時,F(xiàn)inOps是平臺所有者必須接受的關鍵原則,其本質(zhì)是在不影響性能或功能的情況下提高成本效率。這涉及監(jiān)視、優(yōu)化和協(xié)商的連續(xù)循環(huán)。以下是平臺所有者如何將FinOps實踐應用于他們的共享平臺:
- 分級存儲:實施分級存儲解決方案可以顯著節(jié)省成本。通過將較舊的、訪問頻率較低的數(shù)據(jù)存儲在較便宜的存儲設備上,同時將熱門數(shù)據(jù)保存在性能更高(但更昂貴)的存儲設備上,平臺所有者可以對成本和性能進行優(yōu)化。
- 需求驅(qū)動的擴展:在低需求時期的擴展計劃有助于降低成本。與其相反,在需求激增時進行擴展可以確保性能不受影響。這種彈性的基礎設施管理方法對于保持成本和能力之間的平衡至關重要。
- 協(xié)商云成本:定期與云計算客戶經(jīng)理討論,可以發(fā)現(xiàn)折扣機會。平臺所有者應該通過承諾或定制定價包積極尋求節(jié)省成本的措施。
- 保留實例:對于需求一致的可預測工作負載,購買保留實例可以比按需定價節(jié)省大量費用。這保證了基本水平的資源可用性,并且可以顯著提高成本效益。
- 現(xiàn)場實例:將現(xiàn)場實例用于非關鍵或靈活的工作負載可以進一步降低成本。這些實例的成本是按需資源的一小部分,但需要能夠處理可能的中斷。
- 預算和報告:實施透明的預算和報告流程有助于跟蹤云支出。這應在可能的情況下實時進行,以便能夠立即進行調(diào)整,并防止預算超支。
保護應用程序:用戶的視角
包括開發(fā)人員和用戶團隊的平臺用戶,必須將他們的實踐與平臺的約束和功能結(jié)合起來。編寫能夠處理節(jié)流效果的軟件、理解資源限制以及與平臺所有者保持開放的溝通是關鍵。這種方法確保用戶可以在不破壞整體系統(tǒng)平衡的情況下最大限度地利用共享平臺。
當開發(fā)人員或架構(gòu)師與平臺團隊合作、并與他們的專家合作時,不僅要研究平臺的優(yōu)勢,還要研究平臺的局限性,這一點至關重要。通過徹底了解平臺的服務等級協(xié)議(SLA),并評估它們是否符合業(yè)務需求,確保應用程序的無縫集成。這種盡職調(diào)查是確認平臺能夠支持企業(yè)的運營目標,并推動走向成功的關鍵。
結(jié)論
本文深入探討了共享平臺的戰(zhàn)略細節(jié),強調(diào)了它們在企業(yè)技術中的關鍵作用。從節(jié)約成本到促進創(chuàng)新,共享平臺不僅僅是一種選擇,也是敏捷和可擴展增長的必要條件。
下一步需要更加積極主動!企業(yè)需要積極聯(lián)系平臺團隊,建立對話,主動了解所依賴的平臺的服務等級協(xié)議(SLA)和復雜性。評估它們?nèi)绾闻c自己的業(yè)務需求相匹配,以及可能需要計劃調(diào)整的地方。作為應用程序和平臺團隊的一個統(tǒng)一的團隊,有能力將企業(yè)的效率和創(chuàng)新推向一個新的成熟水平。
原文標題:Shared Platforms Explained: Navigating the Enterprise Ecosystem,作者:Murat Balkan