數(shù)據(jù)分析解決方案如今不斷涌現(xiàn)。數(shù)據(jù)團(tuán)隊(duì)處于風(fēng)暴的中心，因?yàn)樗麄儽仨毱胶鈱?duì)訪問(wèn)、數(shù)據(jù)完整性、安全性和適當(dāng)治理的所有需求，這需要遵守相關(guān)政策和法規(guī)。他們所服務(wù)的企業(yè)需要盡快獲得信息，并且需要應(yīng)對(duì)不平衡的行為，數(shù)據(jù)團(tuán)隊(duì)必須快速而明智地采取行動(dòng)。

他們還必須進(jìn)行分析和預(yù)測(cè)，因?yàn)樗麄儾粌H需要為現(xiàn)在構(gòu)建系統(tǒng)，還需要為未來(lái)構(gòu)建平臺(tái)。數(shù)據(jù)團(tuán)隊(duì)首先必須考慮的一個(gè)關(guān)鍵問(wèn)題是：開放或封閉的數(shù)據(jù)架構(gòu)。

[[409817]]

開放與封閉的數(shù)據(jù)架構(gòu)

先從術(shù)語(yǔ)“數(shù)據(jù)架構(gòu)”開始。如果要展示多年來(lái)任何一個(gè)企業(yè)的架構(gòu)圖，很可能他們的數(shù)據(jù)標(biāo)簽實(shí)際上是代表數(shù)據(jù)庫(kù)的標(biāo)簽——并不是數(shù)據(jù)本身，而是對(duì)數(shù)據(jù)起作用的引擎。人們可能對(duì)這些名稱很熟悉，例如Oracle、DB2、SQL Server、Teradata、Exadata、Snowflake等。這些都是為了加載數(shù)據(jù)集用于操作或分析目的的數(shù)據(jù)庫(kù)，它們是“數(shù)據(jù)架構(gòu)”的基礎(chǔ)。

根據(jù)定義，這些數(shù)據(jù)庫(kù)就是所說(shuō)的“封閉數(shù)據(jù)架構(gòu)”。這意味著數(shù)據(jù)本身與其他應(yīng)用程序隔離，必須通過(guò)數(shù)據(jù)庫(kù)引擎訪問(wèn)。即使使用ETL作業(yè)移動(dòng)數(shù)據(jù)也是如此，因?yàn)樵谀承r(shí)候，要進(jìn)行導(dǎo)出或?qū)耄枰闅v數(shù)據(jù)庫(kù)，無(wú)論這是否是實(shí)現(xiàn)企業(yè)想要做的事情的最佳方式。在這個(gè)重要的意義上，數(shù)據(jù)與架構(gòu)的其余部分是“封閉”的。

總之，封閉的數(shù)據(jù)架構(gòu)將數(shù)據(jù)帶到數(shù)據(jù)庫(kù)引擎，而開放的數(shù)據(jù)架構(gòu)將數(shù)據(jù)庫(kù)引擎帶到數(shù)據(jù)。

測(cè)試企業(yè)是否正在處理開放式架構(gòu)的一種簡(jiǎn)單方法是考慮未來(lái)采用新引擎的難度。能否將新引擎與現(xiàn)有引擎(在相同數(shù)據(jù)上)并行運(yùn)行，還是需要進(jìn)行大規(guī)模(并且可能不切實(shí)際)的遷移?

需要注意的是，在這一點(diǎn)上，已經(jīng)觸及了與開源無(wú)關(guān)的“開放”的一個(gè)關(guān)鍵方面。第一步是決定希望其數(shù)據(jù)開放并可供任何希望利用它的服務(wù)，這將在云計(jì)算世界中開放。

開放的、面向服務(wù)的數(shù)據(jù)架構(gòu)

當(dāng)應(yīng)用程序從客戶端-服務(wù)器遷移到Web時(shí)，基本架構(gòu)發(fā)生了變化。從在一個(gè)進(jìn)程中運(yùn)行的單一應(yīng)用程序轉(zhuǎn)變?yōu)槊嫦蚍?wù)的應(yīng)用程序，這些應(yīng)用程序被分解為更小、更專業(yè)的軟件服務(wù)。這些最終被稱為“微服務(wù)”，并且它們?nèi)匀皇荳eb和移動(dòng)應(yīng)用程序的主導(dǎo)設(shè)計(jì)。由于云計(jì)算基礎(chǔ)設(shè)施的性質(zhì)，微服務(wù)方法具有許多優(yōu)勢(shì)。在具有按需資源模型和眾多團(tuán)隊(duì)致力于功能塊的橫向擴(kuò)展系統(tǒng)中，應(yīng)用程序只不過(guò)是數(shù)十或數(shù)百個(gè)微服務(wù)的外觀。

很多人都認(rèn)為這種方法在構(gòu)建模塊化和可擴(kuò)展的應(yīng)用程序方面具有許多優(yōu)勢(shì)。出于某種原因，應(yīng)該相信這種范式對(duì)數(shù)據(jù)并沒(méi)有那么有效。專家指出，以與應(yīng)用程序相同的開放、面向服務(wù)的方式查看數(shù)據(jù)的邏輯是顯而易見(jiàn)并且可取的。在實(shí)踐和戰(zhàn)略層面，開放的、面向服務(wù)的數(shù)據(jù)架構(gòu)才有意義。

這就是為什么說(shuō)開源軟件的問(wèn)題是次要的原因。最重要的 “開放”是決定開放數(shù)據(jù)架構(gòu)比封閉數(shù)據(jù)架構(gòu)更可取的第一步。一旦發(fā)生這種情況，就會(huì)出現(xiàn)一個(gè)分水嶺。開放文件和表格格式(Apache Parquet、Apache Iceberg等)非常重要，因?yàn)樗鼈冊(cè)试S全行業(yè)創(chuàng)新。其創(chuàng)新以服務(wù)于獨(dú)立開發(fā)者的形式交付。雜亂、昂貴、脆弱和破壞合規(guī)性的數(shù)據(jù)被顯著減少甚至消除。數(shù)據(jù)團(tuán)隊(duì)可以從同類最佳的服務(wù)中進(jìn)行選擇來(lái)處理該數(shù)據(jù)，并將它們放入架構(gòu)中，就像人們十多年來(lái)對(duì)應(yīng)用程序服務(wù)所做的一樣。是時(shí)候讓數(shù)據(jù)架構(gòu)迎頭趕上了。

那些對(duì)開放數(shù)據(jù)架構(gòu)的價(jià)值提出異議的人表示它們太復(fù)雜了。任何重大的技術(shù)轉(zhuǎn)變都會(huì)帶來(lái)復(fù)雜性。中型機(jī)最初比已建立的大型機(jī)更難以管理。然后，基于Intel架構(gòu)的服務(wù)器最初比已建立的中端系統(tǒng)更難以管理。管理個(gè)人電腦最初比管理已建立的啞終端更復(fù)雜。而每次發(fā)生技術(shù)轉(zhuǎn)變時(shí)，它都會(huì)通過(guò)正常的采用曲線進(jìn)入應(yīng)用主流。從管理的角度來(lái)看，早期總是更加復(fù)雜，但隨著時(shí)間的推移，新的工具和方法會(huì)降低這種復(fù)雜性，從而產(chǎn)生遠(yuǎn)遠(yuǎn)超過(guò)初始復(fù)雜性成本的收益。這就是為什么進(jìn)行技術(shù)創(chuàng)新的原因。

Dremio是一款DaaS平臺(tái)，其創(chuàng)建是為了使開放的、面向服務(wù)的數(shù)據(jù)架構(gòu)變得更加容易和強(qiáng)大。使用Dremio，由于可以將所有部分放在一起，因此對(duì)Lakehouse運(yùn)行SQL很容易。在這一過(guò)程中，創(chuàng)建了改變行業(yè)的開源項(xiàng)目，例如Nessie、ApacheArrow和ArrowFlight。這些是開源項(xiàng)目，因?yàn)殚_源技術(shù)鼓勵(lì)采用和互操作性，這對(duì)于企業(yè)數(shù)據(jù)架構(gòu)中的服務(wù)集成層至關(guān)重要。客戶之所以受益，是因?yàn)樗麄兛梢圆捎脛?chuàng)新的關(guān)鍵技術(shù)，以更好地為他們服務(wù)。開源愛(ài)好者之所以受益，是因?yàn)樗麄兛梢栽L問(wèn)代碼以更好地理解它，甚至改進(jìn)它。行業(yè)廠商之所以受益，是因?yàn)榭梢允褂眠@些創(chuàng)新來(lái)快速輕松地在Lakehouses上創(chuàng)建SQL。

對(duì)這個(gè)討論提出一個(gè)很好的觀點(diǎn)，現(xiàn)實(shí)上，無(wú)論供應(yīng)商聲稱多么“開放”，無(wú)論他們?nèi)绾握務(wù)撝С珠_放格式和開放標(biāo)準(zhǔn)，即使該供應(yīng)商的核心是開源的，如果數(shù)據(jù)架構(gòu)是封閉的，那么它就是封閉的。

Snowflake公司在最近發(fā)表的一篇文章中提出的關(guān)鍵一點(diǎn)是，需要在數(shù)據(jù)格式和存儲(chǔ)所有權(quán)等方面進(jìn)行封閉以滿足業(yè)務(wù)需求。雖然這在多年前可能需要這么做，但云存儲(chǔ)和事務(wù)表格式等最近的進(jìn)步現(xiàn)在使開放式架構(gòu)能夠滿足這些要求。如果企業(yè)可以通過(guò)開放式架構(gòu)和隨之而來(lái)的所有好處來(lái)滿足其要求，那么為什么要選擇封閉式架構(gòu)呢?

數(shù)據(jù)成為一等公民

行業(yè)專家倡導(dǎo)數(shù)據(jù)本身成為架構(gòu)中一等公民的世界。對(duì)于想要從開放架構(gòu)中愛(ài)益的企業(yè)，行業(yè)廠商正在使這一點(diǎn)變得越來(lái)越容易實(shí)現(xiàn)，例如：(1)靈活地使用最適合不同工作的同類最佳引擎;(2)避免被鎖定通過(guò)專有引擎來(lái)訪問(wèn)他們的數(shù)據(jù);(3)做好準(zhǔn)備以利用未來(lái)的創(chuàng)新;(4)消除無(wú)休止地將數(shù)據(jù)復(fù)制和移出數(shù)據(jù)倉(cāng)庫(kù)所造成的復(fù)雜性。

行業(yè)廠商不僅致力于開放標(biāo)準(zhǔn)和開源，盡管它們可能很重要，但首先致力于開放數(shù)據(jù)架構(gòu)。因?yàn)殡S著它們變得越來(lái)越容易實(shí)現(xiàn)和使用，與封閉的數(shù)據(jù)架構(gòu)相比，其優(yōu)勢(shì)是壓倒性的。