關(guān)于數(shù)據(jù)建模之建模方法思考
本文嘗試對(duì)相關(guān)數(shù)據(jù)建模方法進(jìn)行解讀和全面梳理。
百度中關(guān)于數(shù)據(jù)建模的定義是“數(shù)據(jù)建模是一種用于定義和分析數(shù)據(jù)的要求和其需要的相應(yīng)支持的信息系統(tǒng)的過(guò)程。數(shù)據(jù)建模指的是對(duì)現(xiàn)實(shí)世界各類數(shù)據(jù)的抽象組織,確定數(shù)據(jù)庫(kù)需管轄的范圍、數(shù)據(jù)的組織形式等直至轉(zhuǎn)化成現(xiàn)實(shí)的數(shù)據(jù)庫(kù)。將經(jīng)過(guò)系統(tǒng)分析后抽象出來(lái)的概念模型轉(zhuǎn)化為物理模型后,在visio或erwin等工具建立數(shù)據(jù)庫(kù)實(shí)體以及各實(shí)體之間關(guān)系的過(guò)程?!?/p>
說(shuō)起數(shù)據(jù)建模,不能不提數(shù)據(jù)架構(gòu),數(shù)據(jù)建模是數(shù)據(jù)架構(gòu)的核心,數(shù)據(jù)架構(gòu)又是企業(yè)架構(gòu)的一部分。企業(yè)數(shù)據(jù)架構(gòu)整合整個(gè)企業(yè)的數(shù)據(jù)并標(biāo)準(zhǔn)化,是企業(yè)架構(gòu)的一部分,企業(yè)數(shù)據(jù)架構(gòu)是一套規(guī)范和文檔的集合,主要包括企業(yè)數(shù)據(jù)模型:企業(yè)數(shù)據(jù)架構(gòu)的核心;信息的價(jià)值鏈分析:使數(shù)據(jù)與業(yè)務(wù)流程及其他企業(yè)架構(gòu)組件相一致;相關(guān)數(shù)據(jù)交付架構(gòu):包括數(shù)據(jù)庫(kù)架構(gòu)、數(shù)據(jù)整合架構(gòu)、數(shù)據(jù)倉(cāng)庫(kù)/商務(wù)智能架構(gòu)、文檔和內(nèi)容架構(gòu),以及元數(shù)據(jù)架構(gòu)。
關(guān)于企業(yè)架構(gòu)比較著名的是Zachman框架,它旨為信息技術(shù)企業(yè)提供一種可以理解的信息表述。它可以對(duì)企業(yè)信息按照要求分類和從不同角度進(jìn)行表示。也被稱為企業(yè)架構(gòu)和企業(yè)信息系統(tǒng)結(jié)構(gòu)架構(gòu)。Zachman框架提煉和吸收了傳統(tǒng)方法中的一些精髓,它是一款獨(dú)立于信息企業(yè)所使用的工具的平臺(tái)。它可以根據(jù)抽象規(guī)則定義企業(yè)信息的一個(gè)方面.一個(gè)框架采用了一種六行,每行中包含36個(gè)子單元的格式,這六行包括了范圍,商業(yè)模式,系統(tǒng)模式,技術(shù)模式,組件和工作系統(tǒng))其中有六列分別為誰(shuí),什么,什么時(shí)間,什么地點(diǎn),為什么和如何做。
數(shù)據(jù)架構(gòu)是用于定義數(shù)據(jù),指導(dǎo)對(duì)數(shù)據(jù)資產(chǎn)的整合和控制、使數(shù)據(jù)投資與業(yè)務(wù)戰(zhàn)略相匹配的一套整體構(gòu)建規(guī)范,包括正式的數(shù)據(jù)命名、全面的數(shù)據(jù)定義、有效的數(shù)據(jù)結(jié)構(gòu)、精確的數(shù)據(jù)完整性規(guī)則,以及健全的數(shù)據(jù)文檔。--以上來(lái)自《DAMA數(shù)據(jù)管理知識(shí)體系指南中文版》
數(shù)據(jù)模型是定義業(yè)務(wù)實(shí)體以及運(yùn)營(yíng)和指導(dǎo)業(yè)務(wù)所需的那些事實(shí)。數(shù)據(jù)模型是一種分析和設(shè)計(jì)方法,用于定義和分析數(shù)據(jù)需求,設(shè)計(jì)滿足以上需求的邏輯和物理數(shù)據(jù)結(jié)構(gòu)。企業(yè)數(shù)據(jù)模型是反映數(shù)據(jù)需求和設(shè)計(jì)的一系列規(guī)范和相關(guān)圖表,企業(yè)數(shù)據(jù)模型是企業(yè)范圍內(nèi)的整合的、面向主題的數(shù)據(jù)模型,用來(lái)定義關(guān)鍵的數(shù)據(jù)生產(chǎn)者和消費(fèi)者。這里的整合是組織中所有數(shù)據(jù)和規(guī)則都只被描述一次并無(wú)縫地相互配合。這里的面向主題是模型分解為跨多個(gè)業(yè)務(wù)流程和應(yīng)用系統(tǒng)的有共識(shí)的主題域。主題域關(guān)注最至關(guān)重要的業(yè)務(wù)實(shí)體。這里的關(guān)鍵是數(shù)據(jù)對(duì)組織高效運(yùn)作和決策制定至關(guān)重要。--以上來(lái)自《DAMA數(shù)據(jù)管理知識(shí)體系指南中文版》。注意這里的提到的整合和面向主題和數(shù)據(jù)倉(cāng)庫(kù)中有所不同。
在DAMA中關(guān)于企業(yè)數(shù)據(jù)模型是分層次的,核心是主題域,其下是概念視圖和邏輯視圖,并且企業(yè)數(shù)據(jù)模型是自上而下構(gòu)建的。
主題域模型,是一系列主要主題域的列表,共同表達(dá)企業(yè)最關(guān)鍵領(lǐng)域。企業(yè)數(shù)據(jù)模型通過(guò)主題域來(lái)組織其余的模型層次;主題域是數(shù)據(jù)管理制度和數(shù)據(jù)治理的重要工具,定義了基于主題域的數(shù)據(jù)管理制度團(tuán)隊(duì)的責(zé)任范圍。
主題(Subject)是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個(gè)抽象概念,每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。在邏輯意義上,它是對(duì)應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。例如“銷售分析”就是一個(gè)分析領(lǐng)域,因此這個(gè)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的主題就是“銷售分析”。
面向主題的數(shù)據(jù)組織方式,就是在較高層次上對(duì)分析對(duì)象數(shù)據(jù)的一個(gè)完整并且一致的描述,能刻畫(huà)各個(gè)分析對(duì)象所涉及的企業(yè)各項(xiàng)數(shù)據(jù),以及數(shù)據(jù)之間的聯(lián)系。
電商主題域
電信運(yùn)營(yíng)商主題域
電網(wǎng)主題域
上圖均為從網(wǎng)絡(luò)上收集的主題域,可以看出企業(yè)主題的構(gòu)建是個(gè)極其復(fù)雜的系統(tǒng)工程,企業(yè)主題是分層,比如國(guó)網(wǎng)將企業(yè)主題分為12個(gè)主題域,在其下又包含65個(gè)二級(jí)主題域;再則,主題域構(gòu)建的來(lái)源在哪里呢?首先是企業(yè)內(nèi)部需求驅(qū)動(dòng),但如果在短期內(nèi)構(gòu)建呢?企業(yè)內(nèi)部需求顯然是來(lái)不及的,這時(shí)候要考慮引入國(guó)際標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn),當(dāng)然財(cái)務(wù)的有財(cái)務(wù)標(biāo)準(zhǔn),GIS的有GIS標(biāo)準(zhǔn),設(shè)備的有設(shè)備的標(biāo)準(zhǔn),整合起來(lái)還是有很大困難的,但至少也比從頭到尾全部構(gòu)建來(lái)的快,另外一個(gè)捷徑是借鑒其他同類企業(yè)的標(biāo)準(zhǔn)了。
企業(yè)概念數(shù)據(jù)模型,企業(yè)數(shù)據(jù)模型的下一個(gè)層級(jí)是一系列針對(duì)每個(gè)主題域的概念數(shù)據(jù)模型圖表。是定義業(yè)務(wù)實(shí)體及這些業(yè)務(wù)實(shí)體之間的關(guān)系,業(yè)務(wù)實(shí)體是主要組成部分,是企業(yè)熟悉并感興趣的那些事物、人員、地點(diǎn)的概念和類別。業(yè)務(wù)實(shí)體的一個(gè)例子是實(shí)例。概念數(shù)據(jù)模型圖一般不描述業(yè)務(wù)實(shí)體的數(shù)據(jù)屬性,概念數(shù)據(jù)模型可能會(huì)包括實(shí)體之間多對(duì)多的業(yè)務(wù)關(guān)系,可以促進(jìn)人們對(duì)業(yè)務(wù)的理解,以及有利于語(yǔ)義上的一致性,可以作為框架指導(dǎo)開(kāi)發(fā)整合的信息系統(tǒng),既包括交易處理系統(tǒng),也包括商務(wù)智能分析系統(tǒng)。
總體概念模型
客戶概念模型
企業(yè)邏輯數(shù)據(jù)模型是在概念模型之下,增加了更多細(xì)節(jié)來(lái)反映每個(gè)實(shí)體的關(guān)鍵數(shù)據(jù)屬性,企業(yè)邏輯模型識(shí)別每個(gè)業(yè)務(wù)實(shí)體實(shí)例所需的數(shù)據(jù),關(guān)鍵數(shù)據(jù)屬性代表了通用的數(shù)據(jù)需求以及那些被廣泛共享的數(shù)據(jù)屬性的標(biāo)準(zhǔn)定義,關(guān)鍵的數(shù)據(jù)屬性是指如果缺失則導(dǎo)致企業(yè)無(wú)法正常運(yùn)作的屬性。企業(yè)邏輯模型視圖反映企業(yè)視角,是中立的且不依賴于任何特定的需求用途和應(yīng)用背景,企業(yè)邏輯數(shù)據(jù)模型只應(yīng)該包括所有業(yè)務(wù)定義的詞匯表,和其他相關(guān)聯(lián)業(yè)務(wù)實(shí)體機(jī)器數(shù)據(jù)屬性的元數(shù)據(jù)。
在概念模型基礎(chǔ)上,再進(jìn)行企業(yè)級(jí)邏輯數(shù)據(jù)模型的建設(shè),但企業(yè)級(jí)邏輯數(shù)據(jù)模型一般都包含幾千上萬(wàn)的個(gè)業(yè)務(wù)實(shí)體及其復(fù)雜的關(guān)系,這對(duì)于從概念模型到邏輯模型的構(gòu)建是個(gè)巨大的挑戰(zhàn)。
后文再探討一下物理模型,范式模型和維度建模以及數(shù)倉(cāng)建模的相關(guān)方法。
本文轉(zhuǎn)載自微信公眾號(hào)「 追夢(mèng)IT人」,可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系 追夢(mèng)IT人公眾號(hào)。