在當今數字化轉型的浪潮中，企業(yè)在數據治理方面面臨諸多挑戰(zhàn)，Denodo 作為數據虛擬化領域的領導者，致力于通過邏輯數據編織技術，幫助企業(yè)更高效地管理和利用數據資產。本文將深入探討 Denodo 在數據治理和數據虛擬化方面的解決方案，闡釋邏輯數據編織的理念、優(yōu)勢以及其在企業(yè)中的實際應用。

一、當前數據環(huán)境和數據挑戰(zhàn)的理解

1. 當前數據環(huán)境的多重挑戰(zhàn)

在當前的數據環(huán)境中，數據治理的關鍵挑戰(zhàn)在于數據的移動、分散和多樣化。隨著技術、資源和用戶需求的變化，企業(yè)不斷將數據從一個地方轉移到另一個地方，以實現數據的管理、應用和共享。然而，數據的持續(xù)遷移使數據治理變得更加復雜。

首先，從數據環(huán)境的變化來看，數據量呈現出爆炸式增長的趨勢。據 IDC 報告顯示，亞太地區(qū) 2022 年的數據產量達到 41.4 ZB，預計到 2025 年將翻倍至 96.4 ZB。同時，數據產生和存儲的形式也日益分散化。預計到 2025 年，在全球各個邊緣節(jié)點上產生的數據量將從 2021 年的 12.4 ZB 增至 40 ZB。這種數據分散化的現象不僅源于傳統(tǒng)的人為輸入，還包括大量來自傳感器、社交媒體和線上線下應用等多種渠道的數據。

此外，云端數據的快速增長也進一步加劇了數據環(huán)境的復雜性。預計到 2025 年，云端數據將占全球數據總量的 55%。然而，這意味著剩余的 45% 數據并未存儲在云端，企業(yè)在管理這些數據時需要面對云端與非云端數據之間的分布式特性。對于企業(yè)來說，如何有效管理和利用這些分散的數據資產成為一個亟需解決的問題。

其次，數據的多樣化形式對數據治理提出了更高要求。過去，結構化數據占據主導地位，而如今，非結構化和半結構化數據的比重不斷增加。例如，企業(yè)在云端或不同系統(tǒng)中存儲的數據，不再局限于傳統(tǒng)的數據庫形式，更多的是通過 API 等方式進行訪問和集成。這種數據訪問方式的變化，使得企業(yè)在數據治理中需要考慮如何管理和利用這些多模態(tài)數據。

最后，數據的實時性成為當前數據環(huán)境的另一重要特征。2020 年，在移動平臺上產生了 6.7 ZB 的數據，這直接推動了云端應用的發(fā)展。預計到 2025 年，25% 的原始數據將包含實時數據。實時數據的激增要求企業(yè)在數據治理方案中納入對實時數據的管理和分析，以提高數據的價值。

綜合來看，當前數據環(huán)境面臨著數據量激增、數據分散、多樣化和實時化等多重挑戰(zhàn)。在這種背景下，企業(yè)需要制定新的數據治理策略，以在確保數據安全和合規(guī)的同時，提高數據的利用效率，降低數據管理的成本。

2. 數據治理需求的演變

在當前的數據治理中，業(yè)務部門和 IT 部門對數據的需求和挑戰(zhàn)正在發(fā)生變化。業(yè)務部門要求更高的數據敏捷性和質量，希望能夠快速獲取準確的數據以支持業(yè)務決策。此外，數據的使用不應依賴少數數據科學家，強調數據民主化，讓更多非 IT 專業(yè)人員也能輕松使用數據。這種需求推動數據治理走向降低使用門檻，讓更廣泛的用戶能夠更快地消費和利用數據。

IT 部門則面臨著數據體量增加和數據重復移動、復制導致的成本問題。傳統(tǒng)的數據治理方式往往涉及數據復制，如 ETL、ELT 等過程，但這種方式在面對大規(guī)模數據時成本高昂。因此，IT 部門需要思考是否有更包容、更優(yōu)化的治理方法，減少對數據的物理復制，尤其是提前量的對原始數據級別的全量復制行為，以此降低數據管理的整體成本。

除了業(yè)務部門和 IT 部門的需求，數據合規(guī)和安全問題也日益突出。首席數據官（CDO）和首席風險官（CRO）角色的出現，反映了企業(yè)對數據合規(guī)和安全的重視。隨著企業(yè)在全球范圍內的擴張，數據跨境傳輸帶來了合規(guī)和安全挑戰(zhàn)。不同國家和地區(qū)的數據法規(guī)（如中國的 PIPL、歐洲的 GDPR、美國的 CCPA）對數據的存儲、傳輸和訪問提出了嚴格的要求。企業(yè)必須在全球不同地區(qū)的數據治理中遵守各自的法規(guī)，以確保數據的合法合規(guī)。這些法規(guī)對數據的存儲和跨境訪問提出了限制，使得數據治理策略更加復雜。綜合這些變化，數據治理方法、理念和架構需要不斷演進，以適應業(yè)務敏捷性、數據合規(guī)、安全管理等多維度的需求。

3. 分布式數據環(huán)境的現代化策略

Denodo 提出的解決方案數據虛擬化技術為數據治理提供更多的選擇。數據虛擬化是一種讓數據可以在不進行物理復制的情況下被訪問和管理的技術，這種方式為企業(yè)帶來了優(yōu)化數據治理的能力?，F代數據架構需要應對兩個核心問題：首先，接受分布式數據環(huán)境已成為必然。由于技術、安全合規(guī)、數據使用等多重原因，數據很難實現物理集中，強行集中不僅成本高昂，還會帶來復雜的風險。企業(yè)必須坦然接受分布式數據環(huán)境，承認數據在物理上是分散的。

其次，雖然數據在存儲層面是分布的，但在訪問、管理、治理層面仍需實現統(tǒng)一。若企業(yè)需要訪問多個分布在不同環(huán)境甚至跨境的數據源，點對點的連接方式將導致訪問網絡復雜且混亂，不利于清晰地掌控數據的使用情況。因此，在邏輯層面上集中數據的訪問和管理是關鍵。這就是邏輯數據管理的核心思想，它允許在分布式數據環(huán)境下實現數據的集中化使用，滿足業(yè)務對數據敏捷性和準確性的需求。

邏輯數據管理并非新概念，已經被全球頂級數據管理咨詢機構（如 Gartner、Forrester 等）討論多年，并經歷了不同發(fā)展階段，包括邏輯數據倉庫、邏輯數據編織和數據網格等理念。Denodo 將在后續(xù)的討論中詳細闡述這些概念，幫助企業(yè)更好地理解邏輯數據管理在現代數據治理中的重要性。

二、邏輯數據編織優(yōu)勢

1. 數據編織的優(yōu)勢

邏輯數據編織在現代數據架構中具有顯著優(yōu)勢，尤其是在數據治理和數據管理方面。根據 Gartner 2021 年的報告，邏輯數據編織借助邏輯集中化的數據訪問，實現了治理、審計、追蹤、安全性和監(jiān)控的統(tǒng)一管理。具體優(yōu)勢如下：

• 統(tǒng)一的業(yè)務語義和安全性：邏輯數據編織提供了對數據治理的單一接入點。盡管數據存儲是分布式的，但數據的訪問和管理通過邏輯集中化實現統(tǒng)一。這種統(tǒng)一性確保了業(yè)務語義的一致性，并強化了數據的安全性。
• 敏捷性與縮短交付時間：邏輯數據編織大幅提升數據交付的敏捷性。它有效縮短了從需求提出到實現交付的周期（TTM，Time to Market），從而使數據在更短時間內為業(yè)務提供支持，提高了組織的響應速度和競爭力。
• 易于業(yè)務人員使用：邏輯數據編織為業(yè)務人員提供了一種更友好的數據消費方式。它使用標準化、統(tǒng)一的業(yè)務語言和訪問請求，使得業(yè)務人員無需深入掌握技術細節(jié)，也能有效利用和消費數據。
• 面向未來的架構設計：邏輯數據編織是一種面向未來的數據管理方法。其架構設計靈活，能夠適應技術發(fā)展和基礎架構的變更，為企業(yè)提供了持續(xù)發(fā)展的空間，確保數據系統(tǒng)在未來的可擴展性和可維護性。

2. 邏輯數據倉庫（LDW）架構

（1）邏輯數據倉庫（LDW）架構

在數據管理的架構設計中，邏輯數據倉庫（Logical Data Warehouse, LDW）是一種常見的實現方式，它通過統(tǒng)一的數據管理和訪問層整合了多種數據源。構建邏輯數據倉庫并不意味著物理數據倉庫的消失，物理數據倉庫在 LDW 架構中依然存在，甚至可以與數據湖等物理存儲環(huán)境共存。通過虛擬化層的整合，這些物理存儲成為一個統(tǒng)一的邏輯數據環(huán)境。

在 LDW 架構中，左側為各種數據源，包括物理數據倉庫和數據湖，右側則是數據應用。架構中的核心是中間的虛擬化層，它提供了一個統(tǒng)一的數據訪問界面，無論數據位于倉庫、數據湖，還是直接來自業(yè)務系統(tǒng)的數據源，用戶都能在這個邏輯環(huán)境中進行訪問。

這一架構的靈活性體現在數據的跨源訪問和異構整合上，用戶可以快速有效地組織和查詢來自不同源的數據。甚至在某些情況下，數據不必首先進入數據倉庫或數據湖，而是可以直接從業(yè)務系統(tǒng)中進行訪問，這使得數據的處理和響應更加靈活和高效。

LDW 并不是一個全新的概念，早在 2010 年，全球范圍內已經開始廣泛應用這一技術架構。LDW 的興起很大程度上是因為物理數據倉庫建設成本高昂。隨著數據量的增長，數據倉庫的維護費用，包括人力、存儲和時間的成本，都會顯著上升。例如，許多企業(yè)存儲了十年以上的歷史數據，盡管實際使用中可能只需要近三個月或三年的數據。對于領導層來說，常常只關注最新的數月數據，而對更久遠的數據需求較少。然而，一些中層管理人員或者具體執(zhí)行層面的人，比如財務部門，可能需要查看較長時間跨度的數據。面對這些不同層級的需求，繼續(xù)將所有數據存放在高成本的物理數據倉庫中顯然是不合理的。

（2）數據分區(qū)與虛擬化層的實現

邏輯數據倉庫的一個關鍵優(yōu)勢在于，它能夠基于數據的使用場景和需求，靈活分配數據存儲資源。這種分配可以通過不同的分區(qū)策略實現，比如水平分區(qū)和垂直分區(qū)。以水平分區(qū)為例，LDW 允許我們在保持數據結構一致的前提下，將數據根據不同條件分配到不同的存儲環(huán)境中。

舉例來說，企業(yè)可以將最核心的、高訪問頻率的數據保存在性能更高的物理數據倉庫中，而將歷史性或低頻訪問的數據存儲在如 Hadoop 集群這樣的低成本環(huán)境中。對于三年以上的歷史數據，由于訪問頻率較低，用戶對查詢響應時間的容忍度相對較高，因此不需要保存在高性能系統(tǒng)中。然而，領導層可能對實時數據的響應時間要求非常高，延遲幾秒鐘就可能影響他們的決策，因此這些數據必須保存在高效的物理倉庫中。而對于需要查詢多年歷史數據的財務或操作人員，即使系統(tǒng)響應稍慢也可以接受，這樣的數據就可以被轉移到更具性價比的存儲系統(tǒng)中。

在邏輯數據倉庫的虛擬化層中，用戶不必關心數據究竟存儲在數據倉庫還是數據湖中。虛擬化層會根據用戶的請求自動決定數據的訪問路徑。用戶可以同時查詢物理數據倉庫和數據湖中的數據，而這一過程對用戶來說是透明的。這樣的設計確保了數據的靈活整合和高效訪問，減少了跨源查詢的復雜性。

（3）LDW 構建的核心要素

在邏輯數據倉庫的建設過程中，虛擬化層的實現涉及三項核心任務：

• 業(yè)務邏輯的設計與統(tǒng)一建模：邏輯數據倉庫中的數據訪問是通過一種業(yè)務語言進行的。無論數據是存儲在物理數據倉庫中，還是在數據湖中，邏輯數據倉庫需要將這些數據抽象成統(tǒng)一的業(yè)務模型。這個模型必須是面向業(yè)務的，方便業(yè)務人員理解和操作，保證用戶能夠以一致的方式訪問所有數據源。
• 自動化處理與優(yōu)化：在邏輯數據倉庫的環(huán)境中，數據訪問的自動化優(yōu)化至關重要。用戶發(fā)出的查詢請求并不會直接指向某個特定的數據源，而是通過虛擬化層的自動化機制決定應該從哪里提取數據。根據用戶的查詢條件，系統(tǒng)會自動判斷是否從物理數據倉庫或數據湖中獲取數據，從而提高訪問效率。用戶不需要理解這些數據是如何分布的，也不需要手動指定數據的來源，這一切都是在后臺通過智能優(yōu)化完成的。
• 數據管理與治理：邏輯數據倉庫的另一重要功能是數據管理和治理，包括數據安全、監(jiān)控、審計和數據治理。由于邏輯數據倉庫可能會涉及多個數據源，因此在保證數據訪問效率的同時，還需要確保數據的安全性和合規(guī)性。虛擬化層會對數據訪問進行監(jiān)控和審計，保證數據治理的完整性和安全性，確保數據訪問符合企業(yè)的合規(guī)要求。

通過這三大核心要素的構建，邏輯數據倉庫能夠有效解決物理數據倉庫帶來的存儲和維護成本問題，提供了一個靈活的、面向業(yè)務的統(tǒng)一數據訪問平臺。它不僅優(yōu)化了跨源數據的查詢和管理，還為企業(yè)提供了高效的數據整合方案，滿足了不同層級的業(yè)務需求。

3. 邏輯數據編織的概念

邏輯數據編織（Logical Data Fabric）是近年來數據管理領域中廣泛討論的一個概念，常常與邏輯數據倉庫（Logical Data Warehouse）一同被提及。然而，邏輯數據編織與邏輯數據倉庫并非完全相同的概念，而是一種更廣泛的數據集成和管理方法。盡管目前尚未有一個絕對明確的標準定義來解釋什么是邏輯數據編織，但諸如 Gartner、Forrester 等權威咨詢機構在過去五年中提出了關于它的一些觀點，可以幫助我們對其進行理解。

根據 Gartner 的觀點，邏輯數據編織首先是一種面向數據集成服務的設計架構。它旨在通過提供數據集成服務來實現數據的無縫整合。邏輯數據編織的第二個關鍵特點是它基于元數據驅動。元數據在這個架構中起到核心作用，驅動數據集成和管理的各個環(huán)節(jié)?；谠獢祿寗拥募軜嬍沟眠壿嫈祿幙椖軌虬葱柰瓿蓴祿晒ぷ鳎@意味著在數據集成過程中，邏輯數據編織可以動態(tài)地適應不同的數據需求。

邏輯數據編織的另一個重要特征是其對人工智能（AI）和機器學習（Machine Learning）的運用。Gartner 指出，邏輯數據編織應當在數據集成的過程中，最大化或自動化地使用 AI 和機器學習技術，以優(yōu)化數據集成和管理流程。這不僅提高了數據集成的效率，還能使得數據分析和數據洞察更為智能和精準。

邏輯數據編織通過元數據來驅動整個數據集成過程，并能夠基于這些元數據進行推薦和優(yōu)化。這種元數據與推薦的結合，構成了邏輯數據編織的核心理念，使其在數據集成領域中扮演了重要角色。

4. 數據網格

數據網格（Data Mesh）是一種新型的數據治理架構，它的核心思想是通過各個部門基于自身的數據產品來實現聯(lián)邦式的數據治理。與傳統(tǒng)的集中化數據治理方式不同，數據網格強調數據產品的分布式管理和自治，這種方式能夠更好地適應組織內部各個部門的特定需求和數據特性。

• 尊重差異：數據網格強調各部門數據的獨特性，允許不同部門根據自身需求來管理和使用數據。每個部門的數據可能在格式、結構和用途上有所不同，數據網格鼓勵保持這種多樣性，而不是強制統(tǒng)一標準。這一特點使數據治理能夠更靈活地適應企業(yè)內部的復雜需求。
• 數據即產品：在數據網格中，數據被視為產品。各部門的數據產品應具備易于發(fā)現、理解和使用的特性，方便其他部門在組織內部進行共享和利用。通過將數據作為產品來管理，可以確保數據質量、提高數據可用性，并使數據在組織內部發(fā)揮更大的價值。
• 自服務平臺：數據網格提供了一個自服務的平臺，使各部門可以自主構建、部署、發(fā)布和管理其數據產品。雖然該平臺由中央團隊運營，但中央團隊的職責僅限于維護平臺，而不負責開發(fā)具體的數據產品。這樣，各部門可以快速響應業(yè)務需求，構建符合自身需要的數據產品，提高數據治理的效率和靈活性。
• 聯(lián)邦式計算治理：聯(lián)邦式計算治理確保了數據網格的整體互操作性和一致性。通過共享實體的通用語義和慣例，數據網格在各部門之間實現了數據的無縫協(xié)作。同時，聯(lián)邦式治理還支持全局安全和管理政策的執(zhí)行，確保數據在整個組織中的安全和合規(guī)。這種治理方式既保證了各部門的自主性，又維護了全局的數據一致性和安全性。

5. Denodo 的解決方案

基于數據虛擬化和 Denodo 的解決方案，數據網格的實現可以分步進行，其中的核心概念是數據產品。數據網格將數據交付視為數據產品，并將其分類為三種類型：源域的數據產品、跨域的數據產品以及面向業(yè)務的數據產品。這種分類方式強調了數據在不同場景和需求下的交付形式，使得數據產品能夠更好地服務于組織的多元化需求。

總結來看，數據管理的架構經歷了三個主要階段。根據 Gartner 的最新研究，可以劃分為三個時期：前數據倉庫時代、邏輯數據倉庫時代和增強型分析時代。

在 2010 年以前，這被稱為前數據倉庫時代或后數倉時代。在這一時期，企業(yè)主要構建的是物理數據倉庫、數據集市和數據沙箱等環(huán)境，重點是將數據集中到一個物理平臺中進行管理和分析。隨著需求的變化和數據規(guī)模的擴大，這種物理集中式的方式逐漸暴露出其局限性。

2010 年至 2020 年的十年被稱為邏輯數據倉庫時代。這一階段的核心在于構建統(tǒng)一的數據分析環(huán)境，以滿足日益增長的分析需求。邏輯數據倉庫在原有物理數據平臺的基礎上，增加了一個統(tǒng)一的業(yè)務語義層，即邏輯數據訪問管理層。這一層的引入使得不同的數據平臺可以通過統(tǒng)一的接口進行訪問和分析，從而更好地支持業(yè)務需求。然而，數據環(huán)境的整體構建思路在這個時期并未發(fā)生根本性的變化，依然依賴于物理數據的集中存儲。

2020 年以后，被稱為增強型分析時代或活動元數據時代。在這一階段，數據管理的核心從物理集中轉向了元數據驅動。通過收集和管理元數據，企業(yè)可以在統(tǒng)一的數據交付和管理框架下，更高效地進行數據治理。元數據驅動不僅使數據管理更加靈活，還為數據的自動推薦提供了可能性，從而實現了活動元數據的管理架構。

在實際應用中，企業(yè)如何選擇這三種架構是一個需要綜合考慮的問題。邏輯數據編織的核心在于對元數據的收集和管理，因此適用于那些在元數據管理成熟度較高的企業(yè)。對于數據網格，它強調分散和自治的核心理念，適用于數據治理成熟度更高、能夠自助式管理數據的企業(yè)。然而，現實中，全球范圍內能夠在這兩個維度上都達到成熟度要求的企業(yè)不足 15%，剩余的 85% 企業(yè)往往在兩個維度上都無法完全滿足。因此，邏輯數據倉庫成為這些企業(yè)較為適合的解決方案。

需要注意的是，數據編織和數據網格并非互斥的概念。在理想的數據治理環(huán)境中，數據編織和數據網格應當結合使用。在數據集成的架構層面，實現自動化和編織思想，同時在企業(yè)范圍內，通過網格化的連接，實現各個數據單元的編織。這種融合的方式，既能利用元數據驅動的數據編織優(yōu)勢，又能發(fā)揮數據網格的自治性，為企業(yè)提供全面的數據治理能力。

三、企業(yè)角色與使用場景

在實際應用場景中，使用 Denodo 的數據虛擬化技術可以實現多種數據架構，包括邏輯數據倉庫、邏輯數據編織以及數據網格。然而，無論采用何種架構，都需要根據具體的業(yè)務需求找到適合的切入點。以下是六個常見的切入點：

• 單一視圖場景：構建客戶、產品、車輛、檔案等 360 度全景視圖。這種場景適用于業(yè)務部門需要全面了解某一對象的所有關聯(lián)信息，以支持業(yè)務決策和客戶服務。
• 數據安全與合規(guī)場景：滿足數據安全和合規(guī)性要求，包括數據訪問控制、審計、數據隱私保護等。金融、醫(yī)療等對數據安全要求較高的行業(yè)尤為適合。
• 數據服務場景：提供 API 管理和數據服務發(fā)布，實現數據的標準化和可復用。通過數據服務化，可以為其他系統(tǒng)提供統(tǒng)一的數據訪問接口，支持靈活的數據消費。
• 自助式 BI 場景：滿足業(yè)務部門的數據自助分析需求，實現數據民主化和數據自制。通過自助式分析工具，業(yè)務用戶可以直接對數據進行查詢和分析，提高數據利用效率。
• 大數據場景：包括邏輯數據倉庫和邏輯數據湖的管理。在大數據環(huán)境中，邏輯數據虛擬化層可以整合各種類型的數據源，提供統(tǒng)一的數據訪問接口。
• 云端場景：支持上云、下云和多云策略，實現混合云和多云環(huán)境下的數據管理。通過數據虛擬化，可以實現云端與本地數據的無縫集成。

四、成功案例-冰島銀行

冰島銀行（Landsbank）的實踐案例展現了邏輯數據倉庫和數據網格的演進過程。在采用 Denodo 解決方案之前，冰島銀行面臨著數據管理的復雜性。銀行需要滿足董事會、業(yè)務部門等不同的需求，例如 KPI 報告、風險報告等。冰島銀行原有的架構中，各個業(yè)務部門采用不同的 BI 工具（如 SAP BO、SAS）構建模型層和語義層。這種多工具、多系統(tǒng)的架構導致了以下問題：

數據安全與合規(guī)：銀行對數據安全管控要求高，在每個數據源、數據集成層、應用層都需要進行大量的安全和審計規(guī)則治理，增加了管理的復雜性。

數據重復建設：不同部門采用不同工具和方法，導致數據模型的重復建設，增加了數據管理的成本。

第一年：邏輯數據倉庫的實現：為解決上述問題，冰島銀行首先構建了邏輯數據倉庫，將數據虛擬化層覆蓋在原有的中間模型層上。通過數據虛擬化層，銀行集中管理業(yè)務規(guī)則、安全審計規(guī)則，從而大幅降低了數據治理和管控的成本。

第二、三年：擴展邏輯數據倉庫：看到邏輯數據倉庫的成功后，冰島銀行將這一架構推廣至更多業(yè)務部門，包括對私和對公業(yè)務等。邏輯數據倉庫范圍的擴大，實現了對更多業(yè)務數據的集中管理和虛擬化。

第四年：數據網格的初步構建：隨著業(yè)務的擴展，冰島銀行發(fā)現僅靠物理集中存儲無法滿足所有業(yè)務需求，尤其是對原系統(tǒng)中數據的理解和管理成為瓶頸。因此，銀行開始聯(lián)合業(yè)務專家，對原域數據產品進行深入治理，提升數據質量。通過邏輯數據管理的方法，銀行完成了從數據集中化到自治化的轉變，為構建數據網格奠定了基礎。

未來：數據網格的全面落地：經過多年的努力，冰島銀行最終實現了全行范圍的數據網格化。數據網格使銀行各個業(yè)務部門能夠靈活地訪問和共享數據，從而支持業(yè)務創(chuàng)新。例如，對公部門可以訪問同業(yè)數據，對私部門可以訪問信用卡數據。數據網格的實現使銀行的業(yè)務更具靈活性和可擴展性。

冰島銀行的案例展示了數據虛擬化在數據管理架構中的重要性。無論是邏輯數據倉庫、邏輯數據編織，還是數據網格，數據虛擬化都可以提供靈活的數據集成和治理能力，滿足不同業(yè)務場景的需求。選擇何種架構取決于企業(yè)的業(yè)務需求、數據治理成熟度以及數據安全與合規(guī)要求。在理想情況下，數據編織和數據網格的結合可以實現企業(yè)數據的最佳治理。