動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫設(shè)計(jì)與應(yīng)用淺談
數(shù)據(jù)倉(cāng)庫技術(shù)的每次演進(jìn)都以發(fā)掘企業(yè)數(shù)據(jù)中更多價(jià)值作為目標(biāo)。而近期流行的動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫技術(shù)，不僅在靈活性、可視化方面有了長(zhǎng)足進(jìn)步，還能夠?qū)ζ髽I(yè)決策、合作伙伴及客戶服務(wù)提供更為強(qiáng)大的支持。
數(shù)據(jù)倉(cāng)庫發(fā)展歷程
數(shù)據(jù)倉(cāng)庫的發(fā)展歷史具體可以劃分為五個(gè)階段。數(shù)據(jù)倉(cāng)庫系統(tǒng)發(fā)展之初，其主要作用是為企業(yè)內(nèi)部的某些部門提供一些固定的報(bào)表。因此這一階段通產(chǎn)被成為“報(bào)表”階段。在該階段，數(shù)據(jù)倉(cāng)庫的結(jié)構(gòu)可以根據(jù)具體問題進(jìn)行優(yōu)化，即使數(shù)據(jù)查詢?nèi)藛T要求訪問的信息量極其巨大，處理這些資料的效率仍然可以很高。
當(dāng)企業(yè)用戶的關(guān)注點(diǎn)從“發(fā)生了什么”轉(zhuǎn)向“為什么會(huì)發(fā)生”，數(shù)據(jù)倉(cāng)庫進(jìn)入了“分析”階段。在這一階段，決策者開始對(duì)數(shù)據(jù)進(jìn)行分析，實(shí)質(zhì)上是在了解報(bào)表數(shù)據(jù)的真實(shí)涵義。這就需要更詳細(xì)地對(duì)數(shù)據(jù)進(jìn)行多角度分析。為了解決數(shù)據(jù)查詢的瓶頸，出現(xiàn)了聯(lián)機(jī)分析處理（OLAP）環(huán)境。它可以使對(duì)數(shù)據(jù)進(jìn)行多角度分析的反應(yīng)時(shí)間以秒或分鐘來計(jì)算。因?yàn)樵贠LAP環(huán)境中，很多聚合數(shù)據(jù)都是預(yù)先計(jì)算好的，而且數(shù)據(jù)的存儲(chǔ)格式也和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫環(huán)境存在本質(zhì)區(qū)別。
擁有了量化的數(shù)據(jù)支持后，企業(yè)對(duì)經(jīng)營(yíng)的動(dòng)態(tài)情況以及這種情況為什么發(fā)生都會(huì)有所體驗(yàn)，接下來就要將業(yè)務(wù)信息用于預(yù)測(cè)了。數(shù)據(jù)倉(cāng)庫也隨之進(jìn)入“預(yù)測(cè)”階段，即數(shù)據(jù)挖掘階段。數(shù)據(jù)挖掘能夠預(yù)知企業(yè)即將發(fā)生的動(dòng)向，幫助管理者更為積極地管理和實(shí)施企業(yè)戰(zhàn)略。數(shù)據(jù)挖掘?yàn)橛脩籼峁┴S富的數(shù)據(jù)采集工具，以便利用歷史數(shù)據(jù)創(chuàng)建預(yù)測(cè)模型。
數(shù)據(jù)倉(cāng)庫演進(jìn)的第4階段即是動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫。第1到第3階段的數(shù)據(jù)倉(cāng)庫技術(shù)都以支持企業(yè)內(nèi)部戰(zhàn)略性決策為重點(diǎn)。而第4階段則側(cè)重在“戰(zhàn)術(shù)性”的決策支持，為“執(zhí)行企業(yè)戰(zhàn)略的員工”提供支持。我們將這一階段稱為“營(yíng)運(yùn)導(dǎo)向”階段。
動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫技術(shù)在企業(yè)環(huán)境成熟應(yīng)用后，將***企業(yè)“動(dòng)態(tài)性”階段。伴隨著動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫在決策支持領(lǐng)域所扮演的角色越來越重要，企業(yè)實(shí)現(xiàn)決策自動(dòng)化的積極性也在不斷提高。在人工操作效果不明顯時(shí)，為了尋求決策的有效性和連續(xù)性，企業(yè)會(huì)趨向于采取自動(dòng)決策方式。
數(shù)據(jù)倉(cāng)庫“動(dòng)”起來
“動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫”是一種創(chuàng)新理念，但其技術(shù)基礎(chǔ)和架構(gòu)思想還是來自傳統(tǒng)數(shù)據(jù)倉(cāng)庫技術(shù)。關(guān)鍵的區(qū)別是動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫增加了“動(dòng)態(tài)”特性，與傳統(tǒng)數(shù)據(jù)倉(cāng)庫相比，它具有如下特點(diǎn)：
1．動(dòng)態(tài)訪問
動(dòng)態(tài)訪問是指一線用戶可以動(dòng)態(tài)、或?qū)崟r(shí)地訪問所需要的信息。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫用戶只針對(duì)高端管理層，而如果要實(shí)現(xiàn)大量客戶經(jīng)理和客戶代表同時(shí)訪問，是一個(gè)很大的壓力。動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫采用不同于傳統(tǒng)數(shù)據(jù)倉(cāng)庫的技術(shù)手段，擴(kuò)展了數(shù)據(jù)倉(cāng)庫系統(tǒng)的用戶范圍，實(shí)現(xiàn)動(dòng)態(tài)訪問?？梢哉f，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫讓一線員工真正“動(dòng)了起來”。
2．動(dòng)態(tài)數(shù)據(jù)加載
傳統(tǒng)數(shù)據(jù)倉(cāng)庫保存的是歷史的、相對(duì)靜止的、集成的企業(yè)數(shù)據(jù)。其往往是先加載好數(shù)據(jù)，再去支撐業(yè)務(wù)查詢。而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)加載卻可以在加載數(shù)據(jù)的同時(shí)，滿足用戶的查詢請(qǐng)求，而且動(dòng)態(tài)加載的負(fù)荷不影響用戶使用數(shù)據(jù)倉(cāng)庫。不僅如此，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)也是準(zhǔn)實(shí)時(shí)加載的，這樣就可以使用戶能夠訪問幾乎和生產(chǎn)環(huán)境時(shí)效相當(dāng)?shù)臄?shù)據(jù)。
3．動(dòng)態(tài)事件
傳統(tǒng)數(shù)據(jù)倉(cāng)庫只是支持用戶對(duì)企業(yè)歷史數(shù)據(jù)的分析，或者經(jīng)過一些模型對(duì)未來的一些發(fā)展進(jìn)行預(yù)測(cè)。它無法支持一線員工在遇到一些“動(dòng)態(tài)事件”（例如銀行柜臺(tái)向客戶推薦理財(cái)產(chǎn)品）時(shí)，進(jìn)行一些實(shí)時(shí)的業(yè)務(wù)操作。而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫就可以支持一線員工在遇到這些“動(dòng)態(tài)事件”時(shí)，及時(shí)做出響應(yīng)，成功抓住業(yè)務(wù)機(jī)會(huì)，從而大幅提升業(yè)績(jī)。因?yàn)?，從事情發(fā)生到采取行動(dòng)的時(shí)間越短，成功銷售的命中率就越高，所獲的價(jià)值也就越高。
4．動(dòng)態(tài)負(fù)載管理
傳統(tǒng)數(shù)據(jù)倉(cāng)庫在負(fù)載管理方面，沒有什么特殊要求。而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫則包含策略動(dòng)態(tài)負(fù)載管理和操作動(dòng)態(tài)負(fù)載管理。其中，操作動(dòng)態(tài)負(fù)載管理一般是比較簡(jiǎn)單的訪問，不需要看太多的信息；而策略動(dòng)態(tài)負(fù)載管理則需要實(shí)施復(fù)雜的數(shù)據(jù)挖掘。
5．動(dòng)態(tài)企業(yè)集成
傳統(tǒng)數(shù)據(jù)倉(cāng)庫主要用來支持企業(yè)用戶對(duì)數(shù)據(jù)進(jìn)行分析。而動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫則可以將企業(yè)所有系統(tǒng)都很好地整合在一起，形成一個(gè)閉環(huán)，從而實(shí)現(xiàn)流程的自動(dòng)化，而不是一個(gè)獨(dú)立的系統(tǒng)。
6．動(dòng)態(tài)可用性
因?yàn)閯?dòng)態(tài)數(shù)據(jù)庫已經(jīng)不是一個(gè)純粹的后臺(tái)系統(tǒng)，而是業(yè)務(wù)運(yùn)營(yíng)的一部分，因此對(duì)可靠性、穩(wěn)定性的要求更為嚴(yán)格。#p#
動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫設(shè)計(jì)
前面提到，“動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫”在技術(shù)設(shè)施上采用得都是已有技術(shù)，而實(shí)現(xiàn)的難點(diǎn)在于“動(dòng)態(tài)”，即如何實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫的“動(dòng)態(tài)”特性，這也是部署“動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫”系統(tǒng)的關(guān)鍵所在。動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫中包含了傳統(tǒng)數(shù)據(jù)倉(cāng)庫的各種元素，例如元數(shù)據(jù)管理、數(shù)據(jù)分發(fā)、對(duì)外服務(wù)、調(diào)度管理、代碼自動(dòng)化、數(shù)據(jù)質(zhì)量管理等。
要實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫中的動(dòng)態(tài)數(shù)據(jù)加載，有多個(gè)實(shí)施方案供用戶選擇。目前，市場(chǎng)中存在多個(gè)接近實(shí)時(shí)的數(shù)據(jù)同步解決方案。例如，在專有工具方面，可以借助IBM WRS SQL復(fù)制和IBM WRS基于Q的復(fù)制實(shí)現(xiàn)；ETL工具包含Informatica PowerExchange、IBM DataStage加CDC組件；數(shù)據(jù)庫工具包括，甲骨文數(shù)據(jù)庫的復(fù)制技術(shù)、DB2基于CD/CCD的SQL復(fù)制，以及SQL Server的出版社訂閱復(fù)制技術(shù)；另外，數(shù)據(jù)捕獲器與消息中間件的集成可以提供動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫的客戶化集成解決方案。
上述方案基本上是基于現(xiàn)有的數(shù)據(jù)庫復(fù)制技術(shù)進(jìn)行。除此之外，還有一些專業(yè)的數(shù)據(jù)同步軟件，例如GoldenGate就是進(jìn)行數(shù)據(jù)實(shí)時(shí)同步的一個(gè)非常好的工具。有報(bào)道稱，美國(guó)領(lǐng)先衛(wèi)星電視服務(wù)提供商DIRECTV就是采用GoldenGate和Teradata來部署動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫，并獲得成功的。
動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫的應(yīng)用
現(xiàn)階段，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫的實(shí)踐者主要為速遞服務(wù)公司和金融保險(xiǎn)類企業(yè)。軟件解決方案方面，NCR teradata的ADW（Active Data Warehouse）、Sybase IQ能夠?yàn)槠髽I(yè)的動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫應(yīng)用提供比較好的支持。其中，Sybase IQ的特色在于采用了按列存儲(chǔ)的創(chuàng)新技術(shù)和專有的數(shù)據(jù)壓縮技術(shù)。
近期速遞服務(wù)行業(yè)紛紛開始構(gòu)建郵件速遞的實(shí)時(shí)動(dòng)態(tài)查詢系統(tǒng)。作為這一系統(tǒng)的主要支撐技術(shù)，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫將幫助速遞服務(wù)企業(yè)構(gòu)建覆蓋業(yè)務(wù)分析、時(shí)限控制、財(cái)務(wù)結(jié)算等內(nèi)容的業(yè)務(wù)應(yīng)用平臺(tái)。日前，國(guó)內(nèi)某速遞服務(wù)公司就以Teradata平臺(tái)作為其特快專遞系統(tǒng)的硬件平臺(tái)，并采用Teradata ADW解決方案搭建起其第三代速遞跟蹤查詢系統(tǒng)。
系統(tǒng)上線后，該公司的速遞郵件實(shí)時(shí)動(dòng)態(tài)跟蹤查詢系統(tǒng)每天處理超過千萬筆信息，全天郵件查詢量從上線之初的幾十萬件次增加到了上百萬件次，高峰訪問時(shí)段可達(dá)到每小時(shí)十幾萬件次。借助動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫，該公司速遞郵件的收寄、投遞信息在處理完成幾分鐘內(nèi)即可發(fā)送上網(wǎng)，而對(duì)于采用無線手持終端方式上傳的郵件狀態(tài)，可以在幾秒鐘內(nèi)即體現(xiàn)出郵件的***狀態(tài)，大大提高了查詢的時(shí)效性，更好地滿足了用戶的需求。
而在金融行業(yè)，現(xiàn)階段的動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫應(yīng)用主要是主動(dòng)預(yù)防和管控某些業(yè)務(wù)風(fēng)險(xiǎn)，而不是等到風(fēng)險(xiǎn)發(fā)生后再報(bào)告。該過程將原來的被動(dòng)管理轉(zhuǎn)化為現(xiàn)在的主動(dòng)防范。而除了風(fēng)險(xiǎn)控管，企業(yè)還可以通過對(duì)數(shù)據(jù)的分析和整理來判定自己的交易行為或客戶的交易行為是否符合法律法規(guī)的要求。
【編輯推薦】
