DB2數(shù)據(jù)倉庫OLAP服務(wù)：OLAP 服務(wù)入門
導(dǎo)讀：Online Analytical Processing(OLAP)是一種流行且強(qiáng)大的數(shù)據(jù)分析方法。它探索復(fù)雜的數(shù)據(jù)結(jié)構(gòu)并以一種優(yōu)雅且容易理解的方式呈現(xiàn)信息。IBM DB2 Data Warehouse Edition(DWE)為 OLAP 解決方案開發(fā)人員和信息消費(fèi)者提供了一套全面的 OLAP 工具。本文將介紹 IBM DB2 Data Warehouse Enterprise Edition 9.1 提供的 OLAP 服務(wù)，并解釋它給開發(fā)人員和目標(biāo)用戶帶來的價(jià)值。
簡介
IBM DB2 Data Warehouse Edition 是一套產(chǎn)品，它結(jié)合了 DB2 數(shù)據(jù)服務(wù)器的長處和來自 IBM 的強(qiáng)大的商業(yè)智能基礎(chǔ)設(shè)施。DB2 DWE 集成了用于倉庫管理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘以及 OLAP 分析和報(bào)告的核心組件。在本文中，我們主要關(guān)注 DB2 DWE 提供的 OLAP 服務(wù)。什么是 OLAP 服務(wù)?
On-Line Analytical Processing(OLAP)是一類軟件技術(shù)，它們使用戶(業(yè)務(wù)分析師、經(jīng)理和執(zhí)行官)能夠以交互形式快速、一致地探查數(shù)據(jù)，用戶看到的是經(jīng)過轉(zhuǎn)換后的原始數(shù)據(jù)的各種信息視圖，它們可以反映業(yè)務(wù)的真實(shí)維數(shù)。
OLAP 的功能
多維的—— OLAP 服務(wù)通過支持空間聚合路徑(dimensional aggregation path)或?qū)哟谓Y(jié)構(gòu)和/或多重層次結(jié)構(gòu)，提供了大量數(shù)據(jù)視圖或多維的概念性視圖。
容易理解—— 為 OLAP 分析設(shè)計(jì)的數(shù)據(jù)市場可以處理與應(yīng)用程序和開發(fā)人員相關(guān)的任何業(yè)務(wù)邏輯和統(tǒng)計(jì)分析，同時(shí)使它對(duì)于目標(biāo)用戶而言足夠簡單。
交互性—— OLAP 幫助用戶通過對(duì)比性的個(gè)性化查看方式，以及對(duì)各種 “what-if” 數(shù)據(jù)模型場景中的歷史數(shù)據(jù)和預(yù)計(jì)數(shù)據(jù)進(jìn)行分析，將業(yè)務(wù)信息綜合起來。用戶可以在分析中定義新的專用計(jì)算，并可以以任何希望的方式報(bào)告數(shù)據(jù)。
快速—— OLAP 服務(wù)常常以多用戶的客戶機(jī)/服務(wù)器模式實(shí)現(xiàn)，而且無論數(shù)據(jù)庫的規(guī)模和復(fù)雜性有多大，都能夠?qū)Σ樵兲峁┮恢碌目焖夙憫?yīng)。合并的業(yè)務(wù)數(shù)據(jù)可以沿著所有維度中的層次結(jié)構(gòu)預(yù)先進(jìn)行聚合，從而減少構(gòu)建 OLAP 報(bào)告所需的運(yùn)行時(shí)計(jì)算。為什么要執(zhí)行 OLAP?
傳統(tǒng)的(SQL 或其他)基于腳本的數(shù)據(jù)分析報(bào)告的構(gòu)建方式常常是從兩維關(guān)系數(shù)據(jù)庫表中獲取數(shù)據(jù)。先對(duì)這些報(bào)告進(jìn)行格式化，然后將它們呈現(xiàn)給用戶。兩維報(bào)告的缺點(diǎn)是：
- 報(bào)告是預(yù)定義的，內(nèi)置在制作報(bào)告的應(yīng)用程序中。在許多情況下，無法輕松地修改它們來適應(yīng)業(yè)務(wù)報(bào)告需求的變化。
- 修改報(bào)告或建立新的報(bào)告需要 IT 專業(yè)人員。
- 報(bào)告用戶與業(yè)務(wù)數(shù)據(jù)是分離的。
另一方面，OLAP 報(bào)告將業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)、過程、算法和邏輯的復(fù)雜性集成到了它的多維數(shù)據(jù)結(jié)構(gòu)中，然后向最終用戶呈現(xiàn)容易理解的維信息視圖，讓他們能夠以非常自然的方式探索業(yè)務(wù)數(shù)據(jù)。多維結(jié)構(gòu)聽起來非常復(fù)雜，其實(shí)不然。OLAP 并不在業(yè)務(wù)數(shù)據(jù)上添加額外的數(shù)據(jù)結(jié)構(gòu)或維。它只是以維的方式識(shí)別復(fù)雜數(shù)據(jù)，并以非常容易理解的方式向數(shù)據(jù)消費(fèi)者呈現(xiàn)數(shù)據(jù)。
利用 OLAP 服務(wù)，用戶可以輕松地找到預(yù)定義的報(bào)告并探索業(yè)務(wù)數(shù)據(jù)，以建立新的專用業(yè)務(wù)報(bào)告，而這些都不需要 IT 專業(yè)人員的幫助。OLAP 報(bào)告使用戶非常接近業(yè)務(wù)數(shù)據(jù)，使他們能夠認(rèn)識(shí)到業(yè)務(wù)數(shù)據(jù)維的存在并理解哪些業(yè)務(wù)問題可以得到回答。
OLAP 報(bào)告在當(dāng)今非常流行，它廣泛地用作向顧客提供數(shù)據(jù)倉庫解決方案的基礎(chǔ)。OLAP 數(shù)據(jù)市場
在談到數(shù)據(jù)市場時(shí)，許多人可能會(huì)立即想到多維或 OLAP 分析。根據(jù)定義，數(shù)據(jù)市場是數(shù)據(jù)倉庫的一個(gè)子集，是專門針對(duì)特定的用戶群或特定的主題領(lǐng)域設(shè)計(jì)的。OLAP 是對(duì)數(shù)據(jù)市場中的數(shù)據(jù)進(jìn)行分析的方法之一。在本文中，我們將專門為多維分析設(shè)計(jì)的數(shù)據(jù)市場稱為 OLAP 數(shù)據(jù)市場。DB2 DWE OLAP 數(shù)據(jù)市場是一種具有以下性質(zhì)的數(shù)據(jù)庫：
它具有星形或雪花形的維數(shù)據(jù)庫模式設(shè)計(jì)。
數(shù)據(jù)庫可以存儲(chǔ) OLAP 元數(shù)據(jù)，包括 OLAP 模型和多維數(shù)據(jù)集。
數(shù)據(jù)庫可以包含物化查詢表(MQT)，即用于 DWE OLAP 模型和多維數(shù)據(jù)集的預(yù)聯(lián)結(jié)和預(yù)聚合的表。OLAP 和數(shù)據(jù)倉庫
OLAP 是大多數(shù)數(shù)據(jù)倉庫解決方案中使用的報(bào)告實(shí)現(xiàn)之一。OLAP 解決方案有時(shí)候被錯(cuò)誤地稱為數(shù)據(jù)倉庫解決方案。在為某個(gè)部門或有限的用戶群開發(fā) OLAP 解決方案時(shí)，這種說法尤其容易引起誤解。
數(shù)據(jù)倉庫最重要的特性是數(shù)據(jù)集成，而數(shù)據(jù)倉庫最重要的用途是信息數(shù)據(jù)呈現(xiàn)。OLAP 服務(wù)并不是主要針對(duì)數(shù)據(jù)集成而設(shè)計(jì)的;但是，它是一種強(qiáng)大的數(shù)據(jù)呈現(xiàn)方法，在大多數(shù)數(shù)據(jù)倉庫解決方案中都使用 OLAP。
典型的 OLAP 服務(wù)常常源自一個(gè)或多個(gè)專門設(shè)計(jì)的數(shù)據(jù)市場。OLAP 服務(wù)應(yīng)該被看作數(shù)據(jù)倉庫解決方案的一部分，參見圖 1。圖 1. 數(shù)據(jù)倉庫中的 OLAP 報(bào)告
OLAP 維和層次結(jié)構(gòu)
OLAP 服務(wù)涉及許多概念。我們會(huì)根據(jù)上下文的需要介紹它們。但是，在 DB2 Online Information Center 中也可以找到所有 OLAP 概念(請參閱本文的 參考資料部分)。
OLAP 維(dimension)能夠?qū)γ枋鰳I(yè)務(wù)度量的某一方面的一組相關(guān)數(shù)據(jù)屬性進(jìn)行分類。維根據(jù)區(qū)域、產(chǎn)品或時(shí)間等邏輯類別對(duì)事實(shí)對(duì)象中的數(shù)據(jù)進(jìn)行組織。
OLAP 維引用零個(gè)或更多的層次結(jié)構(gòu)(hierarchy)。層次結(jié)構(gòu)描述引用的數(shù)據(jù)屬性的關(guān)系和結(jié)構(gòu)，這些數(shù)據(jù)屬性被劃分為幾個(gè)級(jí)別(比如時(shí)間維中的年、月和日)，從而提供一種在維中進(jìn)行移動(dòng)的可導(dǎo)航且可計(jì)算的方式。OLAP 模型和 OLAP 多維數(shù)據(jù)集
OLAP 模型和 OLAP 多維數(shù)據(jù)集是 DB2 DWE OLAP 服務(wù)中的兩個(gè)重要概念。多維數(shù)據(jù)集模型代表 OLAP 數(shù)據(jù)市場中的數(shù)據(jù)結(jié)構(gòu)和關(guān)系。多維數(shù)據(jù)集模型包含元數(shù)據(jù)對(duì)象，這些對(duì)象描述基表數(shù)據(jù)中的關(guān)系以及相關(guān)數(shù)據(jù)位于什么地方。多維數(shù)據(jù)集模型讓信息消費(fèi)者能夠從一個(gè)新的視角理解數(shù)據(jù)。圖 2. OLAP 模型對(duì)象
OLAP 多維數(shù)據(jù)集具有一組特定的、類似但卻更多限制性的、衍生自父多維數(shù)據(jù)集模型的元數(shù)據(jù)對(duì)象，這些對(duì)象包括多維數(shù)據(jù)集維、多維數(shù)據(jù)集層次結(jié)構(gòu)、多維數(shù)據(jù)集層和一個(gè)多維數(shù)據(jù)集事實(shí)對(duì)象。對(duì)于每個(gè)多維數(shù)據(jù)集維，一個(gè)多維數(shù)據(jù)集只能定義一個(gè)多維數(shù)據(jù)集層次結(jié)構(gòu);但是在多維數(shù)據(jù)集模型中，一個(gè)維可以有多個(gè)層次結(jié)構(gòu)。
可以使用多維數(shù)據(jù)集對(duì)多維數(shù)據(jù)集模型進(jìn)行優(yōu)化，使它更適應(yīng)最活躍、最重要的多維數(shù)據(jù)集模型區(qū)域?？梢灾付▋?yōu)化切片，切片定義多維數(shù)據(jù)集中最常被查詢的特定部分。在為多維數(shù)據(jù)集模型創(chuàng)建了優(yōu)化(比如 MQT)之后，從這個(gè)模型派生的所有多維數(shù)據(jù)集都會(huì)因此受益。DB2 Data Warehouse 和 OLAP 服務(wù)
IBM DB2 Data Warehouse Edition(DWE)V9.1 是一個(gè)完全集成的強(qiáng)大且靈活的數(shù)據(jù)倉庫平臺(tái)，提供了元數(shù)據(jù)和運(yùn)行時(shí)基礎(chǔ)設(shè)施的深度集成。DWE 集成了數(shù)據(jù)倉庫的核心組件，以及用于實(shí)時(shí)數(shù)據(jù)探索和決策的改進(jìn)了性能和易用性的商業(yè)智能(BI)特性，從而幫助用戶實(shí)現(xiàn)隨需利用信息。
可以使用 DWE 建立完整的數(shù)據(jù)倉庫解決方案，其中包括可高度伸縮的關(guān)系數(shù)據(jù)庫、數(shù)據(jù)訪問功能、商業(yè)智能分析和前端分析工具。DWE 集成了用于倉庫管理、數(shù)據(jù)挖掘、OLAP 和內(nèi)聯(lián)分析和報(bào)告的核心組件。
DB2 Data Warehouse Enterprise Edition 中提供了以下產(chǎn)品：
DWE Design Studio，它包含 IBM Rational Data Architect 的子集
DWE SQL Warehousing Tool
DWE Administration Console
DB2 Universal Database? Enterprise Server Edition, Version 8.2，它包含 DB2 Data Partitioning Feature
DWE Cube Views?, Version 8.2.3
DB2 Query Patroller, Version 8.2.3
DWE Intelligent Miner?
DB2 Alphablox, Version 8.4
WebSphere Application Server Version 6.0.2
DWE 組件分成三個(gè)邏輯組。通常將這三個(gè)組件組安裝在三臺(tái)不同的計(jì)算機(jī)上，但是也可以安裝在兩臺(tái)計(jì)算機(jī)上。例如，可以將 Data Warehousing Server 組件和 Application Server 組件安裝在同一臺(tái)計(jì)算機(jī)上，也可以將它們安裝在兩臺(tái)計(jì)算機(jī)上。下圖中顯示了這些組。圖 3. DWE 運(yùn)行時(shí)體系結(jié)構(gòu)
在 DB2 Data Warehouse Edition 9.1 的當(dāng)前版本中的 9 個(gè)軟件組件中，有 8 個(gè)都以某種方式提供了 OLAP 服務(wù)。DB2 Cube Views、SQL Warehousing Tool(SQW)和一個(gè) IBM Rational Data Architect 子集已經(jīng)集成到了 DWE Design Studio 中，這使 Design Studio 組件成為商業(yè)智能開發(fā)人員理想的工作平臺(tái)。DB2 DWE Design Studio
DWE Design Studio 內(nèi)置在 Eclipse 工作臺(tái)中，Eclipse 工作臺(tái)是一個(gè)很容易定制的強(qiáng)大的開發(fā)環(huán)境?？梢越Y(jié)合使用 DB2 Alphablox 和 Design Studio 來開發(fā)端到端 OLAP 解決方案。
我們來看看開發(fā) DB2 DWE OLAP 解決方案的基本過程以及在這個(gè)過程中如何使用 Design Studio：
收集并分析業(yè)務(wù)需求。
在開發(fā)所有 OLAP 解決方案時(shí)，首先應(yīng)該收集并分析顧客的業(yè)務(wù)需求。在分析業(yè)務(wù)需求時(shí)使用的最重要的方法之一是數(shù)據(jù)建模。DWE Design Studio 為數(shù)據(jù)建模提供了豐富的邏輯和物理數(shù)據(jù)建模功能。
設(shè)計(jì)和實(shí)現(xiàn) OLAP 數(shù)據(jù)市場。
除了使用邏輯和物理數(shù)據(jù)建模功能創(chuàng)建 OLAP 數(shù)據(jù)庫之外，還可以通過反向工程功能從現(xiàn)有的數(shù)據(jù)庫中提取出元數(shù)據(jù)，然后通過前向工程功能生成物理數(shù)據(jù)庫，從而研究、修改和重用現(xiàn)有的數(shù)據(jù)庫模型。
設(shè)計(jì)數(shù)據(jù)流過程來填充 OLAP 數(shù)據(jù)市場。
Design Studio SQL operators 的庫提供了數(shù)據(jù)流和控制流設(shè)計(jì)，可以控制將數(shù)據(jù)從數(shù)據(jù)源移動(dòng)到 OLAP 數(shù)據(jù)市場中的表所需的數(shù)據(jù)操作。
設(shè)計(jì) OLAP 多維數(shù)據(jù)集模型和多維數(shù)據(jù)集。
Design Studio 不但可以用來設(shè)計(jì)、管理和部署 OLAP 模型和多維數(shù)據(jù)集，還可以用來與其他商業(yè)智能工具交換 OLAP 元數(shù)據(jù)。多維數(shù)據(jù)集模型在 DB2 中定義之后，就可以供 Alphablox 和其他 ISV 商業(yè)智能工具使用。共享的元數(shù)據(jù)包括聚合公式和計(jì)算，所以跨業(yè)務(wù)生成的分析結(jié)果具有更強(qiáng)的一致性。
優(yōu)化 OLAP 模型和多維數(shù)據(jù)集。
在 DWE Design Studio 中，可以為 OLAP 模型和多維數(shù)據(jù)集設(shè)計(jì)和部署物化查詢表(MQT)。DB2 優(yōu)化器會(huì)利用這些預(yù)連接(pre-joined)和預(yù)聚合(pre-aggregated)的 MQT，重寫輸入的查詢并將適當(dāng)?shù)?OLAP 查詢轉(zhuǎn)到適當(dāng)?shù)?MQT，從而顯著加快查詢的執(zhí)行。
設(shè)計(jì)和生成 OLAP 報(bào)告。
OLAP 多維數(shù)據(jù)集可以從 Design Studio 導(dǎo)出到 Alphablox，從而根據(jù)業(yè)務(wù)需求生成 OLAP 報(bào)告?？梢栽?DB2 Alphablox 中修改 OLAP 多維數(shù)據(jù)集并將它導(dǎo)入 Design Studio 進(jìn)行元數(shù)據(jù)管理。圖 4. DWE Design Studio 在 OLAP 服務(wù)開發(fā)中的作用
這是一個(gè)反復(fù)進(jìn)行的過程，理解這一點(diǎn)非常重要。來自解決方案提供商和顧客的領(lǐng)域?qū)＜覒?yīng)該積極地參與 OLAP 設(shè)計(jì)和測試階段，這樣才能提交讓顧客滿意的 OLAP 解決方案。通過本文的閱讀，希望大家都能對(duì)DB2數(shù)據(jù)倉庫OLAP服務(wù)有了大體的了解，對(duì)大家以后的工作能起到一定的作用。
【編輯推薦】
