數(shù)據(jù)倉庫的邏輯物理結構及OLAP分析
數(shù)據(jù)倉庫是存儲數(shù)據(jù)的一種組織形式，它從傳統(tǒng)數(shù)據(jù)庫中獲得原始數(shù)據(jù)，先按輔助決策的主題要求形成當前基本數(shù)據(jù)層，再按綜合決策的要求形成綜合數(shù)據(jù)層(又可分為輕度綜合層和高度綜合層)。隨著時間的推移，由時間控制機制將當前基本數(shù)據(jù)層轉為歷史數(shù)據(jù)層。可見數(shù)據(jù)倉庫中邏輯結構數(shù)據(jù)由3層到4層數(shù)據(jù)組成，它們均由元數(shù)據(jù)(Meta Data) 組織而成。數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲形式有多維數(shù)據(jù)庫組織形式(空間超立方體形式)和基于關系數(shù)據(jù)庫組織形式(由關系型事實表和維表組成)。
數(shù)據(jù)倉庫系統(tǒng)(DWS)由數(shù)據(jù)倉庫、倉庫管理和分析工具三部分組成。
源數(shù)據(jù)：數(shù)據(jù)倉庫的數(shù)據(jù)來源于多個數(shù)據(jù)源，包括企業(yè)內部數(shù)據(jù)、市場調查報告及各種文檔之類的外部數(shù)據(jù)。
倉庫管理: 在確定數(shù)據(jù)倉庫信息需求后，首先進行數(shù)據(jù)建模，然后確定從源數(shù)據(jù)到數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理和轉換過程，最后劃分維數(shù)及確定數(shù)據(jù)倉庫的物理存儲結構。元數(shù)據(jù)是數(shù)據(jù)倉庫的核心，它用于存儲數(shù)據(jù)模型和定義數(shù)據(jù)結構、轉換規(guī)劃、倉庫結構、控制信息等。
數(shù)據(jù)倉庫: 包括對數(shù)據(jù)的安全、歸檔、備份、維護、恢復等工作，這些工作需要利用數(shù)據(jù)庫管理系統(tǒng)(DBMS)的功能。
分析工具用于完成實際決策問題所需的各種查詢檢索工具、多維數(shù)據(jù)的OLAP分析工具、數(shù)據(jù)開采DM工具等，以實現(xiàn)決策支持系統(tǒng)的各種要求。
數(shù)據(jù)倉庫應用是一個典型的C/S結構。其客戶端的工作包括客戶交互、格式化查詢及結果和報表生成等。服務器端完成各種輔助決策的SQL查詢、復雜的計算和各類綜合功能等?，F(xiàn)在，一種越來越普遍的形式是三層結構，即在客戶與服務器之間增加一個多維數(shù)據(jù)分析服務器。OLAP服務器能加強和規(guī)范決策支持的服務工作，集中和簡化原客戶端和DW服務器的部分工作，降低系統(tǒng)數(shù)據(jù)傳輸量，因此工作效率更高。
什么是OLAP(聯(lián)機分析處理)
聯(lián)機分析處理 (OLAP) 的概念最早是由關系數(shù)據(jù)庫之父E.F.Codd于1993年提出的，他同時提出了關于OLAP的12條準則。OLAP的提出引起了很大的反響，OLAP作為一類產(chǎn)品同聯(lián)機事務處理 (OLTP) 明顯區(qū)分開來。
當今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機事務處理OLTP(on-line transaction processing)、聯(lián)機分析處理OLAP(On-Line Analytical Processing)。OLTP是傳統(tǒng)的關系型數(shù)據(jù)庫的主要應用，主要是基本的、日常的事務處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應用，支持復雜的分析操作，側重決策支持，并且提供直觀易懂的查詢結果。下表列出了OLTP與OLAP之間的比較。
OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術。OLAP的目標是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術核心是"維"這個概念。
“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分?！熬S”一般包含著層次關系,這種層次關系有時會相當復雜。通過把一個實體的多項重要的屬性定義為多個維(dimension)，使用戶能對不同維上的數(shù)據(jù)進行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。
OLAP的基本多維分析操作有鉆取(roll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(pivot)、drill across、drill through等。
◆鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取(roll up)和向下鉆取(drill down)。roll up是在某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù);而drill down則相反，它從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維。
◆切片和切塊是在一部分維上選定值后，關心度量數(shù)據(jù)在剩余維上的分布。如果剩余的維只有兩個，則是切片;如果有三個，則是切塊。
◆旋轉是變換維的方向，即在表格中重新安排維的放置(例如行列互換)。
OLAP有多種實現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。
ROLAP 表示基于關系數(shù)據(jù)庫的OLAP實現(xiàn)(Relational OLAP)。以關系數(shù)據(jù)庫為核心,以關系型結構進行多維數(shù)據(jù)的表示和存儲。ROLAP將多維數(shù)據(jù)庫的多維結構劃分為兩類表:一類是事實表,用來存儲數(shù)據(jù)和維關鍵字;另一類是維表,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。維表和事實表通過主關鍵字和外關鍵字聯(lián)系在一起,形成了"星型模式"。對于層次復雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個表來描述,這種星型模式的擴展稱為"雪花模式"。
MOLAP 表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)(Multidimensional OLAP)。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成"立方塊(Cube)"的結構,在MOLAP 中對"立方塊"的"旋轉"、"切塊"、"切片"是產(chǎn)生多維數(shù)據(jù)報表的主要技術。
HOLAP表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)(Hybrid OLAP)。如低層是關系型的，高層是多維矩陣型的。這種方式具有更好的靈活性。
還有其他的一些實現(xiàn)OLAP的方法，如提供一個專用的SQL Server，對某些存儲模式(如星型、雪片型)提供對SQL查詢的特殊支持。
OLAP 工具是針對特定問題的聯(lián)機數(shù)據(jù)訪問與分析。它通過多維的方式對數(shù)據(jù)進行分析、查詢和報表。維是人們觀察數(shù)據(jù)的特定角度。例如，一個企業(yè)在考慮產(chǎn)品的銷售情況時，通常從時間、地區(qū)和產(chǎn)品的不同角度來深入觀察產(chǎn)品的銷售情況。這里的時間、地區(qū)和產(chǎn)品就是維。而這些維的不同組合和所考察的度量指標構成的多維數(shù)組則是OLAP分析的基礎，可形式化表示為(維1，維2，……，維n，度量指標)，如(地區(qū)、時間、產(chǎn)品、銷售額)。多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片(Slice)、切塊(Dice)、鉆取(Drill-down和Roll-up)、旋轉(Pivot)等各種分析動作，以求剖析數(shù)據(jù)，使用戶能從多個角度、多側面地觀察數(shù)據(jù)庫中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。
根據(jù)綜合性數(shù)據(jù)的組織方式的不同，目前常見的OLAP主要有基于多維數(shù)據(jù)庫的MOLAP及基于關系數(shù)據(jù)庫的ROLAP兩種。MOLAP是以多維的方式組織和存儲數(shù)據(jù)，ROLAP則利用現(xiàn)有的關系數(shù)據(jù)庫技術來模擬多維數(shù)據(jù)。在數(shù)據(jù)倉庫應用中，OLAP應用一般是數(shù)據(jù)倉庫應用的前端工具，同時OLAP工具還可以同數(shù)據(jù)挖掘工具、統(tǒng)計分析工具配合使用，增強決策分析功能。
【編輯推薦】
