數(shù)據倉庫被各種規(guī)模的企業(yè)廣泛用于為商業(yè)智能(BI)和分析應用程序攝取、存儲和處理大量的數(shù)據。數(shù)據倉庫出現(xiàn)在上世紀90年代，是一種成熟的主流技術。但是如今對于希望部署數(shù)據倉庫的企業(yè)而言，其中一項重大決策是將其放在內部部署設施還是云平臺中。

與其他類型的IT系統(tǒng)一樣，與內部部署數(shù)據倉庫相比，云計算數(shù)據倉庫提供了各種好處：例如易于擴展，更具靈活性，數(shù)據庫管理員(DBA)的日常管理工作更少。但是每個企業(yè)都有自己的一些需求和優(yōu)先事項，因此在規(guī)劃數(shù)據倉庫部署之前，需要對云計算和內部部署的選項進行比較。為了幫助解決這個問題，以下介紹了這兩種方法及其優(yōu)缺點。

內部部署倉庫架構vs.云計算數(shù)據倉庫架構

高質量的計算環(huán)境(包括服務器、操作系統(tǒng)、存儲和數(shù)據庫)對于任何使用大量數(shù)據的應用程序的成功都是至關重要的。這無疑適用于數(shù)據倉庫：企業(yè)為了選擇最佳的數(shù)據倉庫平臺，IT和數(shù)據管理團隊需要評估完整的系統(tǒng)環(huán)境，而不僅僅是其核心的數(shù)據庫軟件。

傳統(tǒng)的數(shù)據倉庫架構由以下三層組成：

• 底層具有數(shù)據庫服務器，其中包含數(shù)據倉庫本身。
• 中間層處理數(shù)據以進行分析，通常由在線分析處理或OLAP引擎進行。
• 頂層作為商業(yè)智能和分析工具的表示層和前端接口。

企業(yè)數(shù)據倉庫將來自企業(yè)所有業(yè)務運營的數(shù)據存儲在一個集中的平臺中;另一方面，數(shù)據集市是較小的倉儲系統(tǒng)，其中包含特定部門、業(yè)務單位或用戶組的數(shù)據子集。兩者通常都包含在數(shù)據倉庫架構中，以下是設計一種架構的兩種主要方法，這是一種通常簡稱為Inmon與Kimball的選擇。

• 自上而下的方法。該方法由計算機科學家和供應商高管Bill Inmon創(chuàng)建，從企業(yè)數(shù)據倉庫開始，然后使用存儲在其中的數(shù)據集來設置各種數(shù)據集市。
• 自下而上的方法。技術顧問Ralph Kimball通過開發(fā)這種替代方法實現(xiàn)了徹底的轉變，其中構建了單獨的數(shù)據集市，然后將其集成以生成企業(yè)數(shù)據倉庫。

使用這些傳統(tǒng)概念，云計算使數(shù)據倉庫供應商能夠定制其底層硬件和軟件架構，以滿足不同的處理需求。以下是云計算數(shù)據倉庫產品的一些典型示例，以下按字母順序列出。

• 用于分析和數(shù)據倉庫的Autonomous Database。Oracle公司用于云中分析數(shù)據的旗艦系統(tǒng)構建在Oracle數(shù)據庫和Oracle Exadata計算平臺之上。該系統(tǒng)可用于共享或專用基礎設施部署，也可通過Oracle的Cloud@Customer服務安裝在內部部署設施中。Oracle公司的共享基礎設施是一種更傳統(tǒng)的云計算服務，而專用的則為客戶提供一個完全私有的公有云環(huán)境，擁有自己的計算、存儲、網絡和數(shù)據庫資源。
• Azure Synapse分析。微軟公司的云分析服務提供無服務器和專用資源模型，并使用稱為Synapse SQL的分布式SQL處理引擎來運行數(shù)據倉庫的查詢。它還包括ApacheSpark作為大數(shù)據分析引擎和Azure DataLake Storage Gen 2作為其數(shù)據存儲。該平臺基于橫向擴展的大規(guī)模并行處理(MPP)架構，可跨多個節(jié)點分配工作負載并將計算資源與存儲分開，使客戶能夠獨立擴展每個節(jié)點。
• BigQuery。Google BigQuery是一個無服務器云數(shù)據倉庫，具有基于SQL的分布式MPP分析引擎，可以將其大部分數(shù)據存儲在表中。每個表列都是單獨存儲的，這使BigQuery能夠比傳統(tǒng)的基于行的存儲更有效地掃描整個數(shù)據集的各個列。BigQuery同時使用分區(qū)和集群來提供高性能數(shù)據訪問。它還支持多云數(shù)據倉庫部署，并包括用于機器學習、預測建模和地理空間分析的引擎。
• Redshift。AWS公司的Amazon Redshift使用集群來預置一個或多個計算節(jié)點，以便在數(shù)據倉庫、操作數(shù)據庫和數(shù)據湖中運行分析應用程序。AWS提供無服務器選項、機器學習模塊以及與其他各種云服務的原生集成，包括商業(yè)智能、數(shù)據集成和大數(shù)據處理工具。與BigQuery一樣，Redshift將每個表列分開存儲;它還提供自動表優(yōu)化功能，通過改進數(shù)據集的物理布局來提高集群中的查詢速度。
• Snowflake。與大多數(shù)競爭對手不同，Snowflake的數(shù)據倉庫系統(tǒng)旨在跨AWS、Azure和谷歌云平臺運行。Snowflake將其處理環(huán)境描述為混合共享磁盤/無共享架構。該產品使用中央存儲庫在整個環(huán)境中共享數(shù)據，并使用多個大規(guī)模并行處理(MPP)計算集群來分離工作負載，集群中的每個節(jié)點都在內部部署存儲部分數(shù)據集。作為一項完全托管的服務，Snowflake還支持數(shù)據湖、數(shù)據工程和數(shù)據科學工作負載。

內部部署數(shù)據倉庫和云計算數(shù)據倉庫的優(yōu)缺點

內部部署數(shù)據倉庫面臨的一大挑戰(zhàn)是需要部署滿足企業(yè)的數(shù)據架構和處理要求的硬件和軟件計算環(huán)境。硬件支持團隊、系統(tǒng)管理員和數(shù)據庫與數(shù)據倉庫軟件供應商一起構建運行環(huán)境，這通常很復雜，需要專門的團隊來進行管理和支持。此外，擴展內部部署系統(tǒng)以滿足不斷增加的數(shù)據存儲和工作負載增長可能既昂貴又耗時。

但云計算數(shù)據倉庫也可能給企業(yè)帶來一些挑戰(zhàn)，并需要改變IT流程。以下是有關這兩種方法在某些關鍵領域的優(yōu)缺點的詳細信息。

(1)成本

很明顯，在內部部署數(shù)據中心部署和支持數(shù)據倉庫系統(tǒng)的成本通常比從云計算提供商那里租用一個基于使用量付費的數(shù)據倉庫系統(tǒng)要高得多。對于由供應商完全管理的數(shù)據倉庫即服務(DWaaS)環(huán)境尤其如此。但對于已經在現(xiàn)有數(shù)據中心進行投資的企業(yè)而言，云計算與內部部署的成本比較并不那么簡單。

云平臺最初的賣點是能夠降低IT成本。但在云中實施應用程序的企業(yè)很快意識到節(jié)省成本并不總是其主要優(yōu)勢之一。企業(yè)可能不必為云計算數(shù)據倉庫系統(tǒng)購買服務器和軟件，但使用云供應商的計算、內存和硬盤資源的成本可能會增加，尤其是在數(shù)據倉庫工作負載意外增加的情況下。

當然，在比較內部部署和云平臺時，系統(tǒng)成本并不是IT團隊需要考慮的唯一成本。支持環(huán)境所需的勞動力成本也必須考慮在內。對于內部部署數(shù)據中心，這包括對計算硬件、操作系統(tǒng)、磁盤存儲和數(shù)據庫的管理支持。云計算數(shù)據倉庫并沒有完全消除支持成本，例如在DWaaS環(huán)境中，數(shù)據倉庫仍然需要處理管理任務。但這種成本在云中通常要低得多。

還有其他一些經常被忽視的成本。在公有云中部署數(shù)據倉庫的企業(yè)不會產生合規(guī)性認證、數(shù)據中心環(huán)境控制、能源消耗、高可用性和災難恢復配置以及系統(tǒng)改進方面的直接成本。這些成本都包括在云計算服務的成本中，有些可能會導致企業(yè)的使用成本更高，但云計算供應商會為它們支付費用。

(2)新特性和功能

云計算數(shù)據倉庫市場競爭激烈，這迫使云計算供應商將他們的功能集實現(xiàn)最大化。而不斷創(chuàng)新和集成新功能以使其產品與競爭對手的產品區(qū)分開來是絕對必要的。因此，云計算數(shù)據倉庫用戶能夠利用源源不斷的新特性和功能。

此外，由于云計算供應商對整個數(shù)據倉庫系統(tǒng)負責，他們的客戶可以受益于從底層計算基礎設施到數(shù)據倉庫軟件本身的增強。對于自己管理環(huán)境的內部部署用戶而言，升級系統(tǒng)和部署新軟件版本更加復雜。新功能在內部部署數(shù)據倉庫軟件中的可用速度也可能不如在云計算服務中的可用速度，這些云計算服務可以由供應商持續(xù)更新。

云平臺的另一個潛在優(yōu)勢是：為了補充其核心數(shù)據倉庫功能以用于基本商業(yè)和報告用途，行業(yè)領先的云計算供應商和其他競爭對手都提供了支持數(shù)據湖、機器學習、大數(shù)據分析、數(shù)據管道的附加技術和高級分析應用程序的開發(fā)和其他功能。

(3)可擴展性

系統(tǒng)可擴展性幫助IT團隊應對處理工作負載的增長。當性能調整和更新軟件配置不再對系統(tǒng)吞吐量產生積極影響時，就需要添加硬盤、內存和計算容量?？蓴U展性對于數(shù)據倉庫也很重要，以便在添加新的源系統(tǒng)時適應數(shù)據增長。

但是擴展內部部署數(shù)據倉庫平臺可能是一件非常麻煩的事。如果服務器有能力增加CPU或內存，系統(tǒng)管理員需要打開機箱并更換或添加組件。對于沒有額外可用容量的服務器，硬件需要升級到更大的系統(tǒng)。集群環(huán)境提供水平擴展，可以添加更多服務器，但硬件、軟件和管理成本很快就會變得過高。

云平臺的主要賣點之一是易于擴展。例如，Amazon Redshift用戶可以快速將節(jié)點添加到他們的運行環(huán)境中，以獲得更好的性能和更多的存儲空間。Oracle自治數(shù)據庫通過提供自動擴展功能更進一步，該功能可以自動增加計算或存儲資源。AWS和Snowflake提供了類似的并發(fā)擴展功能，可以在工作負載增加時自動增加集群容量。

(4)性能監(jiān)控和調整

為了優(yōu)化數(shù)據倉庫的性能，內部部署平臺通常需要IT團隊使用單獨的工具來監(jiān)控硬件、操作系統(tǒng)和數(shù)據庫。由于云計算供應商能夠為其數(shù)據倉庫基礎設施定制其性能監(jiān)控工具和顧問實用程序，因此這些工具通常提供比內部部署的工具更全面的信息。

然而，除了標準的數(shù)據庫性能調優(yōu)挑戰(zhàn)之外，云平臺還為性能監(jiān)控和故障排除增加了另一個維度。將數(shù)據傳入和傳出云數(shù)據倉庫系統(tǒng)可能具有挑戰(zhàn)性，尤其是在數(shù)據量大且時間緊迫的情況下。此外，在云平臺上實施數(shù)據倉庫的企業(yè)并不完全對性能負責。當系統(tǒng)性能受到懷疑并且擴展并不是一種很好的選擇或無法解決問題時，企業(yè)將不得不與其云計算提供商合作以確定根本原因。

更糟糕的是，當資源被過度利用時，云計算數(shù)據倉庫系統(tǒng)可能會停止企業(yè)的工作負載。在任何數(shù)據庫環(huán)境、內部部署設施或云平臺中，只需要一些調整不當?shù)牟樵兙涂赡茉黾淤Y源消耗。但是云計算資源利用率的持續(xù)增加可能會導致企業(yè)被迫升級到更高的性能層。

(5)管理控制

在內部部署環(huán)境中，IT部門對其計算系統(tǒng)擁有完全的控制權和全部責任。對于云計算數(shù)據倉庫，企業(yè)將與供應商分擔這些責任。尤其是在完全托管的DWaaS環(huán)境中，企業(yè)可能放棄管理數(shù)據倉庫平臺的部分所有權。

有些IT部門會將此視為一種好處，而另一些則將其視為一種風險，但大多數(shù)人可能會將其視為風險和回報的結合。而行業(yè)領先的云計算數(shù)據倉庫提供商都提供服務水平協(xié)議，以保證最低正常運行時間百分比，這將有助于減少對系統(tǒng)失去控制的擔憂。

(6)安全

同樣，部署內部部署數(shù)據倉庫的企業(yè)負責保護整個環(huán)境——從硬件基礎設施到軟件堆棧。但是在云中，安全責任由提供商分擔。重要的是要了解企業(yè)不會將100%的安全責任移交給供應商。在云安全的責任共擔模型下，客戶仍然需要處理保護數(shù)據倉庫環(huán)境的某些方面。

責任的劃分方式可能因供應商而異。它還取決于企業(yè)是使用托管DWaaS環(huán)境還是IaaS環(huán)境，其中供應商通常只負責保護底層IT基礎設施。不過，一般而言，IT團隊仍對數(shù)據安全、數(shù)據分類、訪問控制和端點設備安全等任務負責。

標準的安全最佳實踐適用于內部部署和云平臺，但使用云計算數(shù)據倉庫系統(tǒng)的企業(yè)能夠與云計算供應商分擔保護其運營環(huán)境的成本。能夠利用云計算供應商的安全功能是另一個優(yōu)勢，他們有更多的動機來確保云平臺的安全性，他們?yōu)榇送度肓舜罅抠Y金。

(7)審計和監(jiān)管合規(guī)

如上所述，云計算數(shù)據倉庫的好處之一是云計算供應商承擔底層架構的責任。但這可能會給需要遵守行業(yè)標準或監(jiān)管合規(guī)性以及內部標準的企業(yè)帶來挑戰(zhàn)。

與安全性非常相似，合規(guī)性是客戶和云計算供應商之間的共同責任。云計算供應商通常會為HIPAA、GDPR和其他合規(guī)框架提供第三方審計師合規(guī)報告和證明。但是企業(yè)必須與云計算供應商合作，根據企業(yè)的特定審計需求收集所需的支持證據，以驗證數(shù)據倉庫系統(tǒng)是否符合適用的框架。

盡管使用云計算服務可能會使查找所需證據變得更加耗時，但將一些監(jiān)管合規(guī)成本轉嫁給云計算供應商對于企業(yè)來說可能更重要。