數(shù)據(jù)湖這個詞在21世紀10年代初出現(xiàn)的時候，有些人認為它是在恰當?shù)臅r間出現(xiàn)的一種恰當?shù)募軜?。?shù)據(jù)湖是一種非結構化的數(shù)據(jù)存儲庫，利用了新的低成本云對象存儲格式（如Amazon S3），可以容納來自網絡的大量數(shù)據(jù)。

然而，對其他人來說，數(shù)據(jù)湖是一個很容易被嘲笑的“市場結構”，他們將其稱之為“數(shù)據(jù)沼澤”。這個陣營中的許多人青睞長期存在、但并不便宜的關系數(shù)據(jù)倉庫。

盡管存在懷疑，但數(shù)據(jù)湖已經發(fā)展和成熟，成為當今AI和分析領域的重要組成部分。

隨著生成式AI讓焦點重新回到了數(shù)據(jù)架構上，我們就來仔細研究一下數(shù)據(jù)湖是如何演化的，以及數(shù)據(jù)湖在推動高級AI分析方面所發(fā)揮的作用。

市場對數(shù)據(jù)湖的需求

對于那些在電子商務和相關領域追求數(shù)據(jù)驅動洞察的年輕公司來說，實施數(shù)據(jù)湖的好處是多方面的。

亞馬遜、谷歌、雅虎、Netflix、Facebook和其他公司都構建了他們自己的數(shù)據(jù)工具。這些工具通常是基于Apache Hadoop和Spark分布式引擎的。這些新型系統(tǒng)處理的數(shù)據(jù)類型，要比當時分析數(shù)據(jù)倉庫中現(xiàn)有關系數(shù)據(jù)類型的結構性更低一些。

對于那個時代的系統(tǒng)工程師來說，這種架構顯示出了一些好處?！罢訚伞被颉昂础?，它將成為搜索、異常檢測、價格優(yōu)化、客戶分析、推薦引擎等先鋒應用的基礎。

這種更為靈活的數(shù)據(jù)處理，是成長中的網絡巨頭的首要需求?！禗istributed Analytics》一書的作者Thomas Dinsmore稱，文本、圖像、音頻、視頻和其他數(shù)據(jù)“海嘯”根本不適合關系數(shù)據(jù)庫和數(shù)據(jù)倉庫處理。另一個缺點是：隨著每一批數(shù)據(jù)的加載，數(shù)據(jù)倉庫成本也隨之增長。

不管人們是否喜歡，數(shù)據(jù)湖如今仍在不斷地填充數(shù)據(jù)。在數(shù)據(jù)處理過程中，數(shù)據(jù)工程師可以“立即存儲”并決定以后如何處理數(shù)據(jù)。不過，基本的數(shù)據(jù)湖架構已經擴展為更高級的數(shù)據(jù)發(fā)現(xiàn)和管理功能。

這一演變趨勢是由自建解決方案以及Databricks、Snowflake等一流初創(chuàng)公司的解決方案引領的，但還有更多公司參與其中。隨著數(shù)據(jù)中心規(guī)劃人員著眼于新的AI領域，各種架構如今也在受到密切關注。

數(shù)據(jù)湖演進：從湖泊到湖屋

數(shù)據(jù)湖這場競賽的參與者包括Amazon Lake Formation、Cloudera Open Data Lakehouse、Dell Data Lakehouse、Dremio Lakehouse Platform、Google BigLake、IBM Watsonx. Data、Microsoft Azure Data Lake Storage、Oracle Cloud Infrastructure、Scality Ring和Starburst Galaxy等。

正如上述列舉所示，趨勢是將產品稱為“數(shù)據(jù)湖屋”，而不是“數(shù)據(jù)湖”。這個名字更類似于用于處理結構化數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)倉庫。是的，這代表了另一個牽強的類比，就像之前的數(shù)據(jù)湖一樣，受到了人們的審視。

在數(shù)據(jù)市場中，命名是一門藝術。如今，那些解決數(shù)據(jù)湖最初缺陷的系統(tǒng)被指定為集成數(shù)據(jù)平臺、混合數(shù)據(jù)管理解決方案等，但奇怪的命名約定不能掩蓋功能方面的重要進步。

如今，在升級的分析平臺中，不同的數(shù)據(jù)處理組件以流水線方式連接。新數(shù)據(jù)工廠所取得的成果可能集中在以下幾個方面：

• 新的表格式：例如，Delta Lake和Iceberg是建立在云對象存儲之上的，為Apache Spark、Hadoop和其他數(shù)據(jù)處理系統(tǒng)提供了ACID事務支持。經常關聯(lián)的Parquet格式可以幫助優(yōu)化數(shù)據(jù)壓縮。
• 元數(shù)據(jù)目錄：Snowflake Data Catalog和Databricks Unify Catalog等只是執(zhí)行數(shù)據(jù)發(fā)現(xiàn)和跟蹤數(shù)據(jù)沿襲的一些工具。后者特性對于確保分析的數(shù)據(jù)質量至關重要。
• 查詢引擎：查詢引擎為存儲為各種類型和位置的數(shù)據(jù)的高性能查詢提供了通用的SQL接口。PrestoDB、Trinio和Apache Spark就是其中幾個例子。

這些進展使數(shù)據(jù)分析更有條理、更高效和更易于控制。

隨之而來的，是向“現(xiàn)在攝取，以后轉換”方法的轉變。這是對數(shù)據(jù)倉庫熟悉的提取轉換加載（ETL）數(shù)據(jù)暫存序列的一種顛覆，現(xiàn)在解決方案可能是提取加載轉換（ELT）了。

不管叫什么名字，這都是高級數(shù)據(jù)架構的決定性時刻，恰逢新的生成式AI出現(xiàn)了。但總體來看，它從垃圾抽屜柜到定義更明確的容器，這個演變發(fā)展的過程是很緩慢的。

數(shù)據(jù)湖安全和治理問題

“數(shù)據(jù)湖導致了大數(shù)據(jù)的慘敗。它們剛出現(xiàn)時你什么都找不到，”SanjMo技術咨詢公司負責人Sanjeev Mohan說，那個時候就沒有治理或安全。

Mohan解釋說，人們需要的是護欄，保護數(shù)據(jù)免受未經授權的訪問，并遵守GDPR等治理標準，這意味著要應用元數(shù)據(jù)技術來識別數(shù)據(jù)。

“主要的需求是安全性。這就需要細粒度的訪問控制——而不僅僅是將文件扔進數(shù)據(jù)湖就行了，”他補充說，現(xiàn)在有更好的數(shù)據(jù)湖方法可以解決這個問題，組織中的不同角色反映在不同的權限設置中。

這種控制方式在早期的數(shù)據(jù)湖中并不常見，早期的數(shù)據(jù)湖主要是“僅追加”系統(tǒng)，很難更新。

新的表格格式改變了這種情況。近年來，Delta Lake、Iceberg和Hudi等表格格式應運而生，在數(shù)據(jù)更新支持方面取得了顯著的進步。

Sanjeev Mohan表示，Iceberg等工具的標準化和廣泛可用性，為最終用戶在選擇系統(tǒng)時提供了更多優(yōu)勢，從而節(jié)省了成本并增強了技術控制。

用于生成式AI的數(shù)據(jù)湖

如今，生成式AI位列很多企業(yè)待辦事項清單之首，而數(shù)據(jù)湖和數(shù)據(jù)湖庫與這一現(xiàn)象是密切相關的。生成式AI模型要在大量數(shù)據(jù)上運行，與此同時計算成本可能會飆升。

隨著領先科技公司的專家們參與其中，AI與數(shù)據(jù)管理之間日益緊密的聯(lián)系揭示了未來的關鍵機遇和障礙：

“生成式AI將改變數(shù)據(jù)管理”

AWS數(shù)據(jù)湖和分析副總裁Ganapathy Krishnamoorthy這樣表示。AWS是S3對象存儲和大量云數(shù)據(jù)工具的創(chuàng)始方。

Krishnamoorthy表示，數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)湖屋將有助于改進生成式AI，但這也是一條雙向道路。

生成式AI正在培育各種成果以大大增強數(shù)據(jù)處理過程本身，其中包括數(shù)據(jù)準備、構建BI儀表板和創(chuàng)建ETL管道。

“有了生成式AI，我們就有了獨特的機會來解決數(shù)據(jù)管理模糊的問題，比如數(shù)據(jù)清理，”Krishnamoorthy說?！耙郧斑@一直是一項人類活動，而自動化是有挑戰(zhàn)性的。而現(xiàn)在我們可以應用生成式AI技術來獲得相當高的準確性。實際上，你可以使用基于自然語言的交互來完成其中一部分工作，從而大大提高工作效率。”

Krishnamoorthy表示，越來越多的企業(yè)將跨多個數(shù)據(jù)湖連接工作，專注于更高程度的自動化操作來增強數(shù)據(jù)的可發(fā)現(xiàn)性。

“AI數(shù)據(jù)湖將帶來更具彈性的數(shù)據(jù)中心”

這是Hadoop先驅Cloudera公司首席產品官Dipto Chakravarty的觀點，該公司還在不斷地提供面向數(shù)據(jù)的新工具。

他說，AI正在挑戰(zhàn)現(xiàn)有的游戲規(guī)則，這意味著數(shù)據(jù)湖工具可以縮小也可以擴大，支持數(shù)據(jù)中心和云端的靈活計算。

“在某些月份的某些日子，數(shù)據(jù)團隊希望將東西移到本地。其他時候，他們又想將其移回云端。但是，當你來回移動所有這些數(shù)據(jù)工作負載時，就會產生負擔，”Chakravarty說。

當CFO們開始關注AI的“稅收”——也就是對支出的影響時，數(shù)據(jù)中心就成為了試驗場。IT領導者將專注于把計算帶入數(shù)據(jù)，實現(xiàn)真正的彈性可擴展性。

“AI基礎模型的輸出定制化是關鍵”

IBM Watsonx平臺產品營銷副總裁Edward Calvesbert表示，這就是賦予它業(yè)務語言的方式。IBM在21世紀10年代中期通過Watson認知計算工作推動了當今AI的復興。

他說：“你可以使用數(shù)據(jù)定制AI，它將以你希望的方式從用例和質量角度有效地代表你的企業(yè)?！?/p>

Calvesbert表示，Watsonx數(shù)據(jù)是Watsonx生態(tài)系統(tǒng)中數(shù)據(jù)中央存儲庫，現(xiàn)在支撐著AI的定制化，這些模型可以共置在企業(yè)的IT環(huán)境中。

定制應該是和新AI時代的數(shù)據(jù)治理相輔相成的。他說：“治理措施提供了生命周期管理和監(jiān)控護欄，確保遵守你自己公司的政策以及任何監(jiān)管政策?！?/p>

“更多本地處理即將到來”

這是Starburst公司董事長兼首席執(zhí)行官Justin Borgman的說法，該公司將Trino SQL查詢引擎的早期工作轉化為成熟的數(shù)據(jù)湖屋產品，可以從湖屋之外提取數(shù)據(jù)。

他說，精心打造的數(shù)據(jù)湖和湖屋對于支持AI工作負載（包括與生成式AI相關的工作負載）來說至關重要，我們將看到，人們對混合數(shù)據(jù)架構的興趣激增，一部分原因就是AI和機器學習的興起。

“圍繞AI的這種勢頭將把越來越多的數(shù)據(jù)帶回到本地環(huán)境或者混合環(huán)境中。企業(yè)不會想把所有的數(shù)據(jù)和AI模型都發(fā)送到云端的，因為把數(shù)據(jù)從云端轉移到云端的成本很高?！?/p>

Borgman指出，使用本質上與存儲分離的查詢和計算引擎是一種主導趨勢，可以在人們已經擁有的多樣化數(shù)據(jù)基礎設施中以及跨多個數(shù)據(jù)湖發(fā)揮作用，通常被稱為“將計算轉移到數(shù)據(jù)”。

數(shù)據(jù)越多越好嗎？

AI工作負載基于未分類的、不充分的、或者無效的數(shù)據(jù)，這成了一個日益嚴重的問題。但正如數(shù)據(jù)湖發(fā)展歷程所表明的，這是一個可以通過數(shù)據(jù)管理解決的已知問題。

IT Market Strategy獨立分析師Merv Adrian表示，顯然，如果數(shù)據(jù)無法被理解，那么訪問大量數(shù)據(jù)是沒有用的。

“如果可以使用數(shù)據(jù)，數(shù)據(jù)越多總是越好的。但如果不能，數(shù)據(jù)就沒有任何用處，”他說。

Adrian認為，Iceberg和Delta Lake等軟件的定位是位于海量數(shù)據(jù)之上的一種描述層，將有助于AI和機器學習式的分析。投資于這些類型技術的組織，在進入這個美麗新世界時將獲得優(yōu)勢。

但AI開發(fā)真正的好處，是團隊在使用這些工具所獲得的技能，Adrian說。

“數(shù)據(jù)湖、數(shù)據(jù)倉庫及其數(shù)據(jù)湖屋分支使企業(yè)能夠使用更多類型和更多數(shù)據(jù)量，這對生成式AI模型很有幫助，這些模型在對大型多樣化數(shù)據(jù)集進行訓練時會得到改進?！?/p>

如今，數(shù)據(jù)湖以某種形式存在。Mohan或許說得最好：“數(shù)據(jù)湖并沒有消失。數(shù)據(jù)湖萬歲！”