一、什么是ETL?

ETL是數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load ）的簡寫，它是將OLTP系統(tǒng)中的數(shù)據(jù)經(jīng)過抽取，并將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行轉(zhuǎn)換、整合，得出一致性的數(shù)據(jù)，然后加載到數(shù)據(jù)倉庫中。簡而言之ETL是完成從 OLTP系統(tǒng)到OLAP系統(tǒng)的過程。

二、數(shù)據(jù)倉庫架構(gòu)

數(shù)據(jù)倉庫是基于OLTP系統(tǒng)的數(shù)據(jù)源，為了便于多維分析和 多角度展現(xiàn)將其數(shù)據(jù)按特定的模式進(jìn)行存儲(chǔ)而建立的關(guān)系型數(shù)據(jù)庫，它不同于多維數(shù)據(jù)庫，數(shù)據(jù)倉庫中的數(shù)據(jù)是細(xì)節(jié)的，集成的，數(shù)據(jù)倉庫是面向主題的，是以O(shè)LAP系統(tǒng)為分析目的。

數(shù)據(jù)倉庫包括星型架構(gòu)與雪花型架構(gòu)，其中星型架構(gòu)中間為事實(shí)表，四周為維度表， 類似星星；雪花型架構(gòu)中間為事實(shí)表，兩邊的維度表可以再有其關(guān)聯(lián)子表，而在星型中只允許一張表作為維度表與事實(shí)表關(guān)聯(lián)，雪花型一維度可以有多張表，而星型不可以。

考慮到效率時(shí)，星型聚合快，效率高，不過雪花型結(jié)構(gòu)明確，便于與OLTP系統(tǒng)交互。在實(shí)際項(xiàng)目中，綜合運(yùn)用星型架構(gòu)與雪花型架構(gòu)。

三、ETL構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉庫五步法

（一）確定主題

即確定數(shù)據(jù)分析或前端展現(xiàn)的某一方面的分析主題，例如我們分析某年某月某一地區(qū)的啤酒銷售情況，就是一個(gè)主題。主題要體現(xiàn)某一方面的各分析角度（維度）和統(tǒng)計(jì)數(shù)值型數(shù)據(jù)（量度），確定主題時(shí)要綜合考慮，一個(gè)主題在數(shù)據(jù)倉庫中即為一個(gè)數(shù)據(jù)集市，數(shù)據(jù)集市體現(xiàn)了某一方面的信息，多個(gè)數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉庫。

（二）確定量度

在確定了主題以后，考慮要分析的技術(shù)指標(biāo)，諸如年銷售額此類，一般為數(shù)值型數(shù)據(jù)，或者將該數(shù)據(jù)匯總，或者將該數(shù)據(jù)取次數(shù)，獨(dú)立次數(shù)或取最大最小值等，這樣的數(shù)據(jù)稱之為量度。量度是要統(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)（KPI）等的計(jì)算。

（三）確定事實(shí)數(shù)據(jù)粒度

在確定了量度之后要考慮到該量度的匯總情況和不同維度下量度的聚合情況，考慮到量度的聚合程度不同，將采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。

例如將按照時(shí)間對(duì)銷售額進(jìn)行匯總，目前的數(shù)據(jù)最小記錄到天，即數(shù)據(jù)庫中記錄了每天的交易額，那么不能在ETL時(shí)將數(shù)據(jù)進(jìn)行按月或年匯總，需要保持到天，以便于后續(xù)對(duì)天進(jìn)行分析。而且不必?fù)?dān)心數(shù)據(jù)量和數(shù)據(jù)沒有提前匯總帶來的問題，因?yàn)樵诤罄m(xù)的建立CUBE時(shí)已經(jīng)將數(shù)據(jù)提前匯總了。

（四）確定維度

維度是要分析的各個(gè)角度，例如希望按照時(shí)間，或者按照地區(qū)，或者按照產(chǎn)品進(jìn)行分析，那么這里的時(shí)間、地區(qū)、產(chǎn)品就是相應(yīng)的維度，基于不同的維度可以看到各量度的匯總情況，我們可以基于所有的維度進(jìn)行交叉分析。

這里首先要確定維度的層次（Hierarchy）和級(jí)別（Level），維度的層次是指該維度的所有級(jí)別，包括各級(jí)別的屬性；維度的級(jí)別是指該維度下的成員。

例如當(dāng)建立地區(qū)維度時(shí)我們將地區(qū)維度作為一個(gè)級(jí)別，層次為省、市、縣三層，考慮到維度表要包含盡量多的信息，所以建立維度時(shí)要符合“矮胖原則”，即維度表要盡量寬，盡量包含所有的描述性信息，而不是統(tǒng)計(jì)性的數(shù)據(jù)信息。

還有一種常見的情況，就是父子型維度，該維度一般用于非葉子節(jié)點(diǎn)含有成員等情況，例如公司員工的維度，在統(tǒng)計(jì)員工的工資時(shí)，部門主管的工資不能等于下屬成員工資的簡單相加，必須對(duì)該主管的工資單獨(dú)統(tǒng)計(jì)，然后該主管部門的工資等于下屬員工工資加部門主管的工資，那么在建立員工維度時(shí)，需要將員工維度建立成父子型維度，這樣在統(tǒng)計(jì)時(shí)，主管的工資會(huì)自動(dòng)加上，避免了都是葉子節(jié)點(diǎn)才有數(shù)據(jù)的情況。

另外，在建立維度表時(shí)要充分使用代理鍵，代理鍵是數(shù)值型的ID號(hào)碼，好處是代理鍵唯一標(biāo)識(shí)了每一維度成員信息，便于區(qū)分，更重要的是在聚合時(shí)由于數(shù)值型匹配，JOIN效率高，便于聚合，而且代理鍵對(duì)緩慢變化維度有更重要的意義，它起到了標(biāo)識(shí)歷史數(shù)據(jù)與新數(shù)據(jù)的作用，在原數(shù)據(jù)主鍵相同的情況下，代理鍵起到了對(duì)新數(shù)據(jù)與歷史數(shù)據(jù)非常重要的標(biāo)識(shí)作用。

有時(shí)也會(huì)遇到維度緩慢變化的情況，比如增加了新的產(chǎn)品，或者產(chǎn)品的ID號(hào)碼修改了，或者產(chǎn)品增加了一個(gè)新的屬性，此時(shí)某一維度的成員會(huì)隨著新的數(shù)據(jù)的加入而增加新的維度成員，這樣要考慮到緩慢變化維度的處理，對(duì)于緩慢變化維度，有三種情況：

1、緩慢變化維度第一種類型：歷史數(shù)據(jù)需要修改。這樣新來的數(shù)據(jù)要改寫歷史數(shù)據(jù)，這時(shí)要使用UPDATE，例如產(chǎn)品的ID號(hào)碼為123，后來發(fā)現(xiàn)ID號(hào)碼錯(cuò)誤了，需要改寫成456，那么在修改好的新數(shù)據(jù)插入時(shí)，維度表中原來的ID號(hào)碼會(huì)相應(yīng)改為456，這樣在維度加載時(shí)要使用第一種類型，做法是完全更 改。

2、緩慢變化維度第二種類型：歷史數(shù)據(jù)保留，新增數(shù)據(jù)也要保留。這時(shí)要將原數(shù)據(jù)更新，將新數(shù)據(jù)插入，需要使用UPDATE / INSERT，比如某一員工2005年在A部門，2006年時(shí)他調(diào)到了B部門。那么在統(tǒng)計(jì)2005年的數(shù)據(jù)時(shí)就應(yīng)該將該員工定位到A部門；而在統(tǒng)計(jì) 2006年數(shù)據(jù)時(shí)就應(yīng)該定位到B部門，然后再有新的數(shù)據(jù)插入時(shí)，將按照新部門（B部門）進(jìn)行處理，這樣做法是將該維度成員列表加入標(biāo)識(shí)列，將歷史的 數(shù)據(jù)標(biāo)識(shí)為“過期”，將目前的數(shù)據(jù)標(biāo)識(shí)為“當(dāng)前的”。

另一種方法是將該維度打上時(shí)間戳，即將歷史數(shù)據(jù)生效的時(shí)間段作為它的一個(gè)屬性，在與原始表匹配生成事 實(shí)表時(shí)將按照時(shí)間段進(jìn)行關(guān)聯(lián)，這樣的好處是該維度成員生效時(shí)間明確。

3、緩慢變化維度第三種類型：新增數(shù)據(jù)維度成員改變了屬性。例如某一維度成員新加入了一列，該列在歷史數(shù)據(jù)中不能基于它瀏覽，而在目前數(shù)據(jù)和將來數(shù)據(jù)中可以按照它瀏覽，那么此時(shí)需要改變維度表屬性，即加入新的列，那么我們將使用存儲(chǔ)過程或程序生成新的維度屬性，在后續(xù)的數(shù)據(jù)中將基于新的屬性進(jìn)行查看。

（五）創(chuàng)建事實(shí)表

在確定好事實(shí)數(shù)據(jù)和維度后，接下來考慮加載事實(shí)表。

在公司的大量數(shù)據(jù)堆積如山時(shí)，我們想看看里面究竟是什么，結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄，一筆筆交易記錄… 那么這些記錄是將要建立的事實(shí)表的原始數(shù)據(jù)，即關(guān)于某一主題的事實(shí)記錄表。

做法是將原始表與維度表進(jìn)行關(guān)聯(lián)，生成事實(shí)表。注意在關(guān)聯(lián)時(shí)有為空的數(shù)據(jù)時(shí)（數(shù)據(jù)源臟），需要使用外連接，連接后將各維度的代理鍵取出放于事實(shí)表中，事實(shí)表除了各維度代理鍵外，還有各量度數(shù)據(jù)，這將來自原始表，事實(shí)表中將存在維度代理鍵和各量度，而不應(yīng)該存在描述性信息，即符合“瘦高原則”，即要求事實(shí)表數(shù)據(jù)條數(shù)盡量多（粒度最?。枋鲂孕畔⒈M量少。

如果考慮到擴(kuò)展，可以將事實(shí)表加一唯一標(biāo)識(shí)列，以為了以后擴(kuò)展將該事實(shí)作為雪花型維度，不過不需要時(shí)一般建議不用這樣做。

事實(shí)數(shù)據(jù)表是數(shù)據(jù)倉庫的核心，需要精心維護(hù)，在JOIN后將得到事實(shí)數(shù)據(jù)表，一般記錄條數(shù)都比較大，需要為其設(shè)置復(fù)合主鍵和索引，以為了數(shù)據(jù)的完整性和基于數(shù)據(jù)倉庫的查詢性能優(yōu)化，事實(shí)數(shù)據(jù)表與維度表一起放于數(shù)據(jù)倉庫中，如果前端需要連接數(shù)據(jù)倉庫進(jìn)行查詢，還需要建立一些相關(guān)的中間匯總表或物化視圖，以方便查詢。

4ETL中高級(jí)技巧的運(yùn)用

（一）準(zhǔn)備區(qū)的運(yùn)用

在構(gòu)建數(shù)據(jù)倉庫時(shí)，如果數(shù)據(jù)源位于一服務(wù)器上，數(shù)據(jù)倉庫在另一服務(wù)器端，考慮到數(shù)據(jù)源Server端訪問頻繁，并且數(shù)據(jù)量大，需要不斷更新，所以可以建立準(zhǔn)備區(qū)數(shù)據(jù)庫。

先將數(shù)據(jù)抽取到準(zhǔn)備 區(qū)中，然后基于準(zhǔn)備區(qū)中的數(shù)據(jù)進(jìn)行處理，這樣處理的好處是防止了在原OLTP系統(tǒng)中中頻繁訪問，進(jìn)行數(shù)據(jù)運(yùn)算或排序等操作。

例如我們可以按照天將數(shù)據(jù)抽取到準(zhǔn)備區(qū)中，基于數(shù)據(jù)準(zhǔn)備區(qū)，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、整合，將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一致性處理。數(shù)據(jù)準(zhǔn)備區(qū)中將存在原始抽取表，一些轉(zhuǎn)換中間表和臨時(shí)表以及ETL日志表等。

（二）時(shí)間戳的運(yùn)用

時(shí)間維度對(duì)于某一事實(shí)主題來說十分重要，因?yàn)椴煌臅r(shí)間有不同的統(tǒng)計(jì)數(shù)據(jù)信息，那么按照時(shí)間記錄的信息將發(fā)揮很重要的作用。在ETL中，時(shí)間戳有其特殊的作用，在上面提到的緩慢變化維度中，可以使用時(shí)間戳標(biāo)識(shí)維度成員；在記錄數(shù)據(jù)庫和數(shù)據(jù)倉庫的操作時(shí)，也將使用時(shí)間戳標(biāo)識(shí)信息。

例如在進(jìn)行數(shù)據(jù)抽取時(shí)，按照時(shí)間戳對(duì)OLTP系統(tǒng)中的數(shù)據(jù)進(jìn)行抽取，比如在午夜0：00取前一天的數(shù)據(jù)，按照OLTP系統(tǒng)中的時(shí)間戳取GETDATE到GETDATE減一天，這樣得到前一天數(shù)據(jù)。

（三）日志表的運(yùn)用

在對(duì)數(shù)據(jù)進(jìn)行處理時(shí)，難免會(huì)發(fā)生數(shù)據(jù)處理錯(cuò)誤，產(chǎn)生出錯(cuò)信息，那么如何獲得出錯(cuò)信息并及時(shí)修正呢? 

方法是使用一張或多張Log日志表，將出錯(cuò)信息記錄下來，在日志表中將記錄每次抽取的條數(shù)，處理成功的條數(shù)，處理失敗的條數(shù)，處理失敗的數(shù)據(jù)，處理時(shí)間等等，這樣當(dāng)數(shù)據(jù)發(fā)生錯(cuò)誤時(shí)，很容易發(fā)現(xiàn)問題所在，然后對(duì)出錯(cuò)的數(shù)據(jù)進(jìn)行修正或重新處理。

（四）使用調(diào)度

在對(duì)數(shù)據(jù)倉庫進(jìn)行增量更新時(shí)必須使用調(diào)度，即對(duì)事實(shí)數(shù)據(jù)表進(jìn)行增量更新處理，在使用調(diào)度前要考慮到事實(shí)數(shù)據(jù)量，需要多長時(shí)間更新一次，比如希望按天進(jìn)行查看，那么最好按天進(jìn)行抽取，如果數(shù)據(jù)量不大，可以按照月或半年對(duì)數(shù)據(jù)進(jìn)行更新，如果有緩慢變化維度情況，調(diào)度時(shí)需要考慮到維度表更新情況，在更新事實(shí)數(shù)據(jù)表之前要先更新維度表。

調(diào)度是數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)，要考慮縝密，在ETL的流程搭建好后，要定期對(duì)其運(yùn)行，所以調(diào)度是執(zhí)行ETL流程的關(guān)鍵步驟，每一次調(diào)度除了寫入Log日志表的數(shù)據(jù)處理信息外，還要使用發(fā)送Email或報(bào)警信息等，這樣也方便的技術(shù)人員對(duì)ETL流程的把握，增強(qiáng)了安全性和數(shù)據(jù)處理的準(zhǔn)確性。

ETL構(gòu)建數(shù)據(jù)倉庫需要簡單的五步，掌握了這五步的方法將構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)倉庫，不過每一步都有很深的需要研究與挖掘，尤其在實(shí)際項(xiàng)目中，要綜合考慮，例如如果數(shù)據(jù)源的臟數(shù)據(jù)很多，在搭建數(shù)據(jù)倉庫之前首先要進(jìn)行數(shù)據(jù)清洗，以剔除掉不需要的信息和臟數(shù)據(jù)。

總之，ETL是數(shù)據(jù)倉庫的核心，掌握了ETL構(gòu)建數(shù)據(jù)倉庫的五步法，就掌握了搭建數(shù)據(jù)倉庫的根本方法。不過，不能盲目教條，基于不同的項(xiàng)目，需要進(jìn)行具體分析，如父子型維度和緩慢變化維度的運(yùn)用等。在數(shù)據(jù)倉庫構(gòu)建中，ETL關(guān)系到整個(gè)項(xiàng)目的數(shù)據(jù)質(zhì)量，所以馬虎不得，必須將其擺到重要位置，將ETL這一大廈根基筑牢。

五、ETL與SQL的區(qū)別及聯(lián)系

如果ETL和SQL來說，肯定是SQL效率高的多。但是雙方各有優(yōu)勢，先說ETL，ETL主要面向的是建立數(shù)據(jù)倉庫來使用的。ETL更偏向數(shù)據(jù)清洗，多數(shù)據(jù)源數(shù)據(jù)整合，獲取增量，轉(zhuǎn)換加載到數(shù)據(jù)倉庫所使用的工具。

比如有兩個(gè)數(shù)據(jù)源，一個(gè)是數(shù)據(jù)庫的表，另外一個(gè)是Excel數(shù)據(jù)，需要合并這兩個(gè)數(shù)據(jù)，通常這種東西在SQL語句中比較難實(shí)現(xiàn)。但是ETL卻有很多現(xiàn)成的組件和驅(qū)動(dòng)，幾個(gè)組件就搞定了。

還有比如跨服務(wù)器，并且服務(wù)器之間不能建立連接的數(shù)據(jù)源，比如公司系統(tǒng)分為一期和二期，存放的數(shù)據(jù)庫是不同的，數(shù)據(jù)結(jié)構(gòu)也不相同，數(shù)據(jù)庫之間也不能建立連接，這種情況下，ETL就顯得尤為重要和突出。通過固定的抽取，轉(zhuǎn)換，加載到數(shù)據(jù)倉庫中，即可很容易實(shí)現(xiàn)。

那么SQL呢？SQL事實(shí)上只是固定的腳本語言，但是執(zhí)行效率高，速度快。不過靈活性不高，很難跨服務(wù)器整合數(shù)據(jù)。所以SQL更適合在固定數(shù)據(jù)庫中執(zhí)行大范圍的查詢和數(shù)據(jù)更改，由于腳本語言可以隨便編寫，所以在固定數(shù)據(jù)庫中能夠?qū)崿F(xiàn)的功能就相當(dāng)強(qiáng)大，不像ETL中功能只能受組件限制，組件有什么功能，才能實(shí)現(xiàn)什么功能。

所以具體在什么時(shí)候使用ETL和SQL就很明顯了，當(dāng)需要多數(shù)據(jù)源整合建立數(shù)據(jù)倉庫，并進(jìn)行數(shù)據(jù)分析的時(shí)候，使用ETL。如果是固定單一數(shù)據(jù)庫的數(shù)據(jù)層次處理，就使用SQL。當(dāng)然，ETL也是離不開SQL的。

六、ETL算法和工具簡介

常用的ETL工具主要有三大主流工具，分別是Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation。還有其他開源工具，如PDI(Kettle)等。

ETL是DW系統(tǒng)的基礎(chǔ)：

• DW系統(tǒng)以事實(shí)發(fā)生數(shù)據(jù)為基礎(chǔ)，自產(chǎn)數(shù)據(jù)較少。
• 一個(gè)企業(yè)往往包含多個(gè)業(yè)務(wù)系統(tǒng)，均可能成為DW數(shù)據(jù)源。
• 業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量良莠不齊，必須學(xué)會(huì)去偽存真。
• 業(yè)務(wù)系統(tǒng)數(shù)據(jù)紛繁復(fù)雜，要整合進(jìn)數(shù)據(jù)模型。
• 源數(shù)據(jù)之間關(guān)系也紛繁復(fù)雜，源數(shù)據(jù)在加工進(jìn)DW系統(tǒng)時(shí)，有些必須遵照一定的先后次序關(guān)系。

?源數(shù)據(jù)的分類：

• 流水事件表：此類源表用于記錄交易等動(dòng)作的發(fā)生，在源系統(tǒng)中會(huì)新增、大部分不會(huì)修改和刪除，少量表存在刪除情況。如定期存款登記簿。
• 常規(guī)狀態(tài)表：此類源表用于記錄數(shù)據(jù)信息的狀態(tài)。在源系統(tǒng)中會(huì)新增、修改，也存在刪除的情況。如客戶信息表。
• 代碼參數(shù)表：此類源表用于記錄源系統(tǒng)中使用到的數(shù)據(jù)代碼和參數(shù)。

數(shù)據(jù)文件的類型：

• 數(shù)據(jù)文件大多數(shù)以1天為固定的周期從源系統(tǒng)加載到數(shù)據(jù)倉庫。數(shù)據(jù)文件包含增量，全量以及待刪除的增量。
• 增量數(shù)據(jù)文件：數(shù)據(jù)文件的內(nèi)容為數(shù)據(jù)表的增量信息，包含表內(nèi)新增及修改的記錄。
• 全量數(shù)據(jù)文件：數(shù)據(jù)文件的內(nèi)容為數(shù)據(jù)表的全量信息，包含表內(nèi)的所有數(shù)據(jù)。
• 帶刪除的增量：數(shù)據(jù)文件的內(nèi)容為數(shù)據(jù)表的增量信息，包含表內(nèi)新增、修改及刪除的記錄，通常刪除的記錄以字段DEL_IND='D'標(biāo)識(shí)該記錄。
• ETL標(biāo)準(zhǔn)算法可劃分為：歷史拉鏈算法、追加算法(事件表)、Upsert算法(主表)及全刪全加算法(參數(shù)表)。

ETL標(biāo)準(zhǔn)算法選擇：?

• 歷史拉鏈：根據(jù)業(yè)務(wù)分析要求，對(duì)數(shù)據(jù)變化都要記錄，需要基于日期的連續(xù)歷史軌跡;
• 追加(事件表)：根據(jù)業(yè)務(wù)分析要求，對(duì)數(shù)據(jù)變化都要記錄，不需要基于日期的連續(xù)歷史軌跡;
• Upsert(主表)：根據(jù)業(yè)務(wù)分析要求，對(duì)數(shù)據(jù)變化不需要都要記錄，當(dāng)前數(shù)據(jù)對(duì)歷史數(shù)據(jù)有影響;
• 全刪全加算法(參數(shù)表)：根據(jù)業(yè)務(wù)分析要求，對(duì)數(shù)據(jù)變化不需要都要記錄，當(dāng)前數(shù)據(jù)對(duì)歷史數(shù)據(jù)無影響;

歷史拉鏈法：所謂拉鏈，就是記錄歷史，記錄一個(gè)事務(wù)從開始，一直到當(dāng)前狀態(tài)的所有變化信息(參數(shù)新增開始結(jié)束日期)。

追加算法：一般用于事件表，事件之間相對(duì)獨(dú)立，不存在對(duì)歷史信息進(jìn)行更新。

Upsert算法：時(shí)update和insert組合體，一般用于對(duì)歷史信息變化不需要進(jìn)行跟蹤保留、只需其最新狀態(tài)且數(shù)據(jù)量有一定規(guī)模的表，如客戶資料表。

全刪全加算法：一般用于數(shù)據(jù)量不大的參數(shù)表，把歷史數(shù)據(jù)全部刪除，然后重新全量加載。

處理復(fù)雜度：歷史拉鏈，Upsert,Append，全刪全加。

加載性能：全刪全加，Append，Upsert，歷史拉鏈。

近源模型層主要算法：APPEND算法，常規(guī)拉鏈算法，全量帶刪除拉鏈算法。

整合模型層算法：APPEND算法，MERGE算法，常規(guī)拉鏈算法，基于增量數(shù)據(jù)的刪除拉鏈算法，基于全量數(shù)據(jù)的刪除拉鏈算法，經(jīng)濟(jì)型常規(guī)拉鏈算法，經(jīng)濟(jì)型基于增量數(shù)據(jù)的刪除拉鏈算法，經(jīng)濟(jì)型基于全量數(shù)據(jù)的刪除拉鏈算法，PK_NOT_IN_APPEND算法，源日期字段自拉鏈算法。

技術(shù)緩沖到近源模型層的數(shù)據(jù)流算法-----APPEND算法

此算法通常用于流水事件表，適合這類算法的源表在源系統(tǒng)中不會(huì)更新和刪除，而只會(huì)發(fā)生一筆添加一筆，所以只需每天將交易日期為當(dāng)日最新數(shù)據(jù)取過來直接附加到目標(biāo)表即可，此類表在近源模型層的字段與技術(shù)緩沖層、源系統(tǒng)表基本上完全一致，不會(huì)額外增加物理化處理字段，使用時(shí)也與源系統(tǒng)表的查詢方式相同。

技術(shù)緩沖到近源模型層的數(shù)據(jù)流算法-----常規(guī)拉鏈算法

此算法通常用于無刪除操作的常規(guī)狀態(tài)表，適合這類算法的源表在源系統(tǒng)中會(huì)新增、修改，但不刪除，所以需每天獲取當(dāng)日末最新數(shù)據(jù)(增量或全增量均可)，先找出真正的增量數(shù)據(jù)(新增和修改)，用它們將目標(biāo)表中屬性發(fā)生修改的開鏈數(shù)據(jù)(有效數(shù)據(jù))進(jìn)行關(guān)鏈操作(即END_DT關(guān)閉到當(dāng)前業(yè)務(wù)日期)，然后再將最新的增量數(shù)據(jù)作為開鏈數(shù)據(jù)插入到目標(biāo)表即可。

此類表再近源模型層比技術(shù)緩沖層、源系統(tǒng)的相應(yīng)表額外增加兩個(gè)物理化處理字段START_DT(開始日期)和END_DT(結(jié)束日期)，使用時(shí)需要先選定視覺日期，通過START_DT和END_DT去卡視覺日期，即START_DT<='視覺日期'AND END_DT>'視覺日期'。

技術(shù)緩沖到近源模型層的數(shù)據(jù)流算法-----全量帶刪除拉鏈算法

此算法通常用于有刪除操作的常規(guī)狀態(tài)類表，并且要求全量的數(shù)據(jù)文件，用以對(duì)比出刪除增量;適合這類算法的源表在源系統(tǒng)中會(huì)新增，修改，刪除，每天將當(dāng)日末最新全量數(shù)據(jù)取過來外，分別找出真正的增量數(shù)據(jù)(新增，修改)和刪除增量數(shù)據(jù)，用它們將目標(biāo)表中屬性發(fā)生修改的開鏈數(shù)據(jù)(有效數(shù)據(jù))進(jìn)行關(guān)鏈操作(即END_DT關(guān)閉到當(dāng)前業(yè)務(wù)日期)，然后再將最新增量數(shù)據(jù)中真正的增量及刪除數(shù)據(jù)作為開鏈數(shù)據(jù)插入到目標(biāo)表即可，注意刪除記錄的刪除標(biāo)志DEL_IND會(huì)設(shè)置為‘D’。

此類表在近源模型層比技術(shù)緩沖層，源系統(tǒng)的相應(yīng)表額外增加三個(gè)物理化處理字段START_DT(開始日期)，ENT_DT(結(jié)束日期)，DEL_IND(刪除標(biāo)準(zhǔn))。使用方式分兩類：一時(shí)一般查詢使用，此時(shí)需要先選定視角日期，通過START_DT和END_DT去卡視角日期，即START_DT<='視角日期' AND END_DT>‘視角日期’，同時(shí)加上條件DEL_IND <> 'D';另一種是下載或獲取當(dāng)日增量數(shù)據(jù)，此時(shí)就是需要START_DT<='視角日期' AND END_DT>'視角日期' 一個(gè)條件即可，不需要加DEL_IND <> 'D'的條件。

近源模型層到整合模型層的數(shù)據(jù)流算法----APPEND算法

此算法通常用于流水事件表，適合這類算法的源表在源系統(tǒng)中不會(huì)更新和刪除，而只會(huì)發(fā)生一筆添加一筆，所以只需每天將交易日期為當(dāng)日的最新數(shù)據(jù)取過來直接附加到目標(biāo)表即可。

通常建一張名為VT_NEW_編號(hào)的臨時(shí)表，用于將各組當(dāng)日最新數(shù)據(jù)轉(zhuǎn)換加到VT_NEW_編號(hào)后，再一次附加到最終目標(biāo)表。

近源模型層到整合模型層的數(shù)據(jù)流算法----MERGE INTO算法

此算法通常用于無刪除操作的常規(guī)狀態(tài)表，一般是無需保留歷史而只保留當(dāng)前最新狀態(tài)的表，適合這類算法的源表在源系統(tǒng)中會(huì)新增，修改，但不刪除，所以需獲取當(dāng)日末最新數(shù)據(jù)(增量或全量均可)，用于MERGE IN或UPSERT目標(biāo)表。為了效率及識(shí)別真正增量的要求，通常先識(shí)別出真正的增量數(shù)據(jù)(新增及修改數(shù)據(jù))，然后再用這些真正的增量數(shù)據(jù)向目標(biāo)表進(jìn)行MERGE INTO操作。

通常建兩張臨時(shí)表，一個(gè)名為VT_NEW_編號(hào)，用于將各組當(dāng)日最新數(shù)據(jù)轉(zhuǎn)換加到VT_NEW_編號(hào)。另一張名為VT_INC_編號(hào)，將VT_NEW_編號(hào)與目標(biāo)表中昨日的數(shù)據(jù)進(jìn)行對(duì)比后找出真正的增量數(shù)據(jù)(新增和修改)放入VT_INC_編號(hào)，然后再用VT_INC_編號(hào)對(duì)最終目標(biāo)表進(jìn)行MERGE INTO或UPSERT。

近源模型層到整合模型層的數(shù)據(jù)流算法----常規(guī)拉鏈算法

此算法通常用于無刪除操作的常規(guī)狀態(tài)表，適合這類算法的源表在源系統(tǒng)中會(huì)新增、修改，但不刪除，所以需每天獲取當(dāng)日末最新數(shù)據(jù)(增量或全增量均可)，先找出真正的增量數(shù)據(jù)(新增和修改)，用它們將目標(biāo)表中屬性發(fā)生修改的開鏈數(shù)據(jù)(有效數(shù)據(jù))進(jìn)行關(guān)鏈操作(即END_DT關(guān)閉到當(dāng)前業(yè)務(wù)日期)，然后再將最新增量數(shù)據(jù)作為開鏈數(shù)據(jù)插入到目標(biāo)表即可。

通常建兩張臨時(shí)表，一個(gè)名為VT_NEW_編號(hào)，用于將各組當(dāng)日最新數(shù)據(jù)轉(zhuǎn)換加到VT_NEW_編號(hào)。另一張名為VT_INC_編號(hào)，將VT_NEW_編號(hào)與目標(biāo)表中昨日的數(shù)據(jù)進(jìn)行對(duì)比后找出真正的增量數(shù)據(jù)(新增和修改)放入VT_INC_編號(hào)，然后再將最終目標(biāo)表的開鏈數(shù)據(jù)中的PK出現(xiàn)在VT_INT_編號(hào)中進(jìn)行關(guān)鏈處理，然后將VT_INC_編號(hào)中的所有數(shù)據(jù)作為開鏈數(shù)據(jù)插入最終目標(biāo)表即可。

近源模型層到整合模型層的數(shù)據(jù)流算法--基于增量數(shù)據(jù)刪除拉鏈算法

此算法通常用于有刪除操作的常規(guī)狀態(tài)表，并且要求刪除數(shù)據(jù)是以DEL_IND='D'刪除增量的形式提供;適合這類算法的源表再源系統(tǒng)中會(huì)新增、修改、刪除，除每天獲取當(dāng)日末最新數(shù)據(jù)(增量或全量均可)外，還要獲取當(dāng)日刪除的數(shù)據(jù)，根據(jù)找出的真正增量數(shù)據(jù)(新增和修改)以及刪除增量數(shù)據(jù)，用它們將目標(biāo)表中屬性發(fā)生修改的開鏈數(shù)據(jù)(有效數(shù)據(jù))進(jìn)行關(guān)鏈操作(即END_DT關(guān)閉到當(dāng)前業(yè)務(wù)時(shí)間)，然后再將增量(不含刪除數(shù)據(jù))作為開鏈數(shù)據(jù)插入到目標(biāo)表中即可。

通常建三張臨時(shí)表，一個(gè)名為VT_NEW_編號(hào)，用于將各組當(dāng)日最新數(shù)據(jù) (不含刪除數(shù)據(jù))轉(zhuǎn)換加載到VT_NEW_編號(hào)。第二張表名為VT_INC_編號(hào)，用VT_NEW_編號(hào)與目標(biāo)表中的昨日的數(shù)據(jù)進(jìn)行對(duì)比后找出真正的增量數(shù)據(jù)放入VT_INC_編號(hào)。第三張表名為VT_DEL_編號(hào)，將刪除增量數(shù)據(jù)轉(zhuǎn)換加載到VT_DEL_編號(hào)。最后再將最終目標(biāo)表的開鏈數(shù)據(jù)中PK出現(xiàn)在VT_INC_編號(hào)或VT_DEL_編號(hào)中的進(jìn)行關(guān)鏈處理，最后將VT_INC_編號(hào)中的所有數(shù)據(jù)作為開鏈數(shù)據(jù)插入最終目標(biāo)表即可。

近源模型層到整合模型層的數(shù)據(jù)流算法--基于全量數(shù)據(jù)刪除拉鏈算法

此算法通常用于有刪除操作的常規(guī)狀態(tài)表，并且要求提供全量數(shù)據(jù)，用以對(duì)比出刪除增量。適合這類算法的源表在源系統(tǒng)中會(huì)新增、修改、每天將當(dāng)日末的最新全量數(shù)據(jù)取過來外，分別找出真正的增量數(shù)據(jù)(新增、修改)和刪除增量數(shù)據(jù)，用它們將目標(biāo)表中屬性發(fā)生修改的開鏈數(shù)據(jù)(有效記錄)進(jìn)行關(guān)鏈操作(即END_DT關(guān)閉到當(dāng)前業(yè)務(wù)時(shí)間)，然后再將最新數(shù)據(jù)中真正的增量數(shù)據(jù)(不含刪除數(shù)據(jù))作為開鏈數(shù)據(jù)插入到目標(biāo)表即可。

通常建兩張臨時(shí)表，一個(gè)名為VT_NEW_編號(hào)，用于將各組當(dāng)日最新全量數(shù)據(jù)轉(zhuǎn)換到VT_NEW_編號(hào)。另一張表名為VT_INC_編號(hào),將VT_NEW_編號(hào)與目標(biāo)表中昨日的數(shù)據(jù)進(jìn)行對(duì)比后找出真正的增量數(shù)據(jù)(新增、修改)和刪除增量數(shù)據(jù)放入VT_INC_編號(hào)，注意將其中的刪除增量數(shù)據(jù)的END_DT置以最小日期(借用);最后再將最終目標(biāo)表的開鏈數(shù)據(jù)中PK出現(xiàn)再VT_INC_編號(hào)或VT_DEL_編號(hào)中的進(jìn)行關(guān)鏈處理，然后將VT_INC_編號(hào)中所有的END_DT不等于最小日期數(shù)據(jù)(非刪除數(shù)據(jù))作為開鏈數(shù)據(jù)插入最終目標(biāo)表即可。

近源模型層到整合模型層的數(shù)據(jù)流算法--經(jīng)濟(jì)型常規(guī)拉鏈算法

此算法基本等同與常規(guī)拉算法，只是在最后一步只將屬性非空即非0的記錄才作為開鏈數(shù)據(jù)插入目標(biāo)表。

近源模型層到整合模型層的數(shù)據(jù)流算法--經(jīng)濟(jì)型基于增量數(shù)據(jù)刪除拉鏈算法

此算法基本等同于基于增量數(shù)據(jù)刪除拉鏈算法，只是在最后一步只將屬性非空及非0的記錄才作為開鏈數(shù)據(jù)插入目標(biāo)表。

近源模型層到整合模型層的數(shù)據(jù)流算法--經(jīng)濟(jì)型基于全量數(shù)據(jù)刪除拉鏈算法

此算法基本等同于基于全量數(shù)據(jù)刪除拉鏈算法，只是在最后一步只將屬性非空及非0的記錄才作為開鏈數(shù)據(jù)插入目標(biāo)表。

近源模型層到整合模型層的數(shù)據(jù)流算法--PK_NOT_IN_APPEND算法

此算法是對(duì)每一組只將PK在當(dāng)前VT_NEW_編號(hào)表中未出現(xiàn)的數(shù)據(jù)再插入VT_NEW_編號(hào)表，最后再將PK未出現(xiàn)在目標(biāo)表中的數(shù)據(jù)插入目標(biāo)表，以保證只進(jìn)那些PK未進(jìn)過的數(shù)據(jù)。

近源模型層到整合模型層的數(shù)據(jù)流算法--以源日期字段自拉鏈算法

此算法是源表中有日期字段標(biāo)識(shí)當(dāng)前記錄的生效日期，本算法通過對(duì)同主鍵記錄按這個(gè)生效日期排序后，一次首尾相連行形成一條自然拉鏈的算法。?