數(shù)十年來，由于可從數(shù)據(jù)庫提取信息、重新格式化轉(zhuǎn)換數(shù)據(jù)，并將數(shù)據(jù)加載到數(shù)據(jù)倉庫，ETL一直是企業(yè)基礎(chǔ)架構(gòu)的關(guān)鍵組件。隨著云、SaaS和大數(shù)據(jù)的出現(xiàn)，新數(shù)據(jù)源和數(shù)據(jù)流的急劇增加，迫切需要更強大和更復(fù)雜的數(shù)據(jù)集成工具出現(xiàn)。新一代ETL工具可以實時獲取數(shù)據(jù)，處理數(shù)十億交易以及支持任何來源的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)(無論是內(nèi)部部署還是云中);同時，這些工具還具備可擴展性、靈活性、容錯性和安全性，具備傳統(tǒng)內(nèi)部部署解決方案無法實現(xiàn)的所有功能。 

ETL簡史

ETL出現(xiàn)于20世紀(jì)70年代，當(dāng)時大型企業(yè)開始聚合和存儲來自多個數(shù)據(jù)源的信息，這些數(shù)據(jù)源包括內(nèi)部工資系統(tǒng)、銷售系統(tǒng)、庫存系統(tǒng)等。自然需要整合這些數(shù)據(jù)，為開發(fā)ETL工具鋪平道路。

數(shù)據(jù)倉庫在20世紀(jì)80年代流行起來，這種類型的數(shù)據(jù)庫可以集成來自多個來源的數(shù)據(jù)。 問題在于許多數(shù)據(jù)倉庫只匹配特定供應(yīng)商的ETL工具。因此，很多企業(yè)經(jīng)歷了多ETL工具的很長一段過渡期。

隨著時間的推移，數(shù)據(jù)源、數(shù)據(jù)類型以及ETL供應(yīng)商的數(shù)量均急劇增加，ETL工具的價格開始逐漸降低，這讓很多中端市場也可以使用ETL工具自行解決問題，幫助公司建立現(xiàn)代化的數(shù)據(jù)授權(quán)的企業(yè)。

現(xiàn)代企業(yè)部署ETL工具的三種方式

當(dāng)ETL工具的成本可以被更多企業(yè)接受之后，開源ETL工具的發(fā)展也開始加速。現(xiàn)代企業(yè)部署ETL工具的方式無非有三種：

1. 根據(jù)自身情況選擇合適的開源ETL工具，整個過程需要更多的功能、靈活性與技術(shù)支持。(感興趣的可以查看開源解決方案清單《主流開源ETL工具清單及優(yōu)劣說明!》)
2. 與現(xiàn)有供應(yīng)商合作，選擇一種能夠很好處理當(dāng)前多樣數(shù)據(jù)流和數(shù)據(jù)源問題的方案，當(dāng)然，這些供應(yīng)商一般就是大品牌的廠商，比如IBM、微軟等，成本較高;
3. 選擇一些現(xiàn)代的ETL商用工具，這些工具往往是一些新興企業(yè)支持的，可能也會有不錯的開源版本。重要的是，這些工具往往是更切合企業(yè)在云計算、大數(shù)據(jù)環(huán)境下的需求，這些方案通常是基于云端的，并且可以提供端到端的ETL支持。(感興趣的可以閱讀上一篇文章《現(xiàn)代ETL工具與傳統(tǒng)解決方案清單附對比》，了解可用的工具清單。

開源ETL解決方案的優(yōu)缺點!

ETL需要從不同的系統(tǒng)中提取數(shù)據(jù)并將其轉(zhuǎn)換為符合數(shù)據(jù)倉庫格式要求的結(jié)果，再將其加載到數(shù)據(jù)倉庫中。

1. 提取—提取是從一個或多個來源(在線，實體，傳統(tǒng)數(shù)據(jù)庫，Salesforce或其他許多來源)檢索數(shù)據(jù)的過程。檢索數(shù)據(jù)后，ETL將其加載到一個臨時區(qū)域并為下一階段做好準(zhǔn)備。
2. 轉(zhuǎn)換—轉(zhuǎn)換是一個關(guān)鍵功能，因為它為數(shù)據(jù)集成鋪平了道路，就像之前有不同渠道的零售商一樣，轉(zhuǎn)換可能涉及重新格式化，但有時這一步驟還有其他類型的操作，比如貨幣金額從美元到歐元的轉(zhuǎn)換計算。
3. 加載—成功將傳入數(shù)據(jù)插入到目標(biāo)數(shù)據(jù)庫、數(shù)據(jù)存儲或數(shù)據(jù)倉庫中。 

開源解決方案可能只足以解決上述三個功能其中之一，但是大部分開源解決方案提供了全部功能。如果企業(yè)對自己的技術(shù)能力足夠自信，可以考慮開源ETL解決方案，因為現(xiàn)在不少開源解決方案不過是商用方案的功能限制版本，并不是真正社區(qū)驅(qū)動的項目，即便出現(xiàn)問題也可以聯(lián)系到專業(yè)的廠商團隊幫忙解決。

對于非關(guān)鍵型或小型項目，開源ETL工具是很合適的選擇，成本低且企業(yè)可接受非關(guān)鍵型任務(wù)上的較低出錯率。但是，開源解決方案最大的問題是可能無法解決當(dāng)今依賴數(shù)據(jù)決策的企業(yè)的復(fù)雜動態(tài)問題，真正的解決方案不僅需要處理當(dāng)前存在的大量數(shù)據(jù)源和數(shù)據(jù)類型，還需要處理每天都在新增的數(shù)據(jù)源和數(shù)據(jù)類型。開源ETL解決方案因為更新不及時很可能讓數(shù)據(jù)海嘯瞬時壓倒，這一點倒是和不少傳統(tǒng)方案不謀而合。但是，成本和性能從來都是等價的，低成本的選擇需要企業(yè)有較大的包容量，并且不少開源方案其實已經(jīng)有了很多成功案例可參考。

現(xiàn)代ETL工具：更快，上云，易擴展!

傳統(tǒng)的內(nèi)部部署ETL捆綁了一系列令人頭痛的問題。例如，它們通常是內(nèi)部構(gòu)建的，很快就會變得過時或缺乏重要功能;維護費用昂貴且耗時;只支持批處理(而不是實時處理)，并且不能很好擴展。

相比之下，現(xiàn)代ETL(如Alooma)工具可以在各種數(shù)據(jù)源和數(shù)據(jù)流中捕捉、轉(zhuǎn)換和存儲數(shù)百萬(或數(shù)十億)事務(wù)的數(shù)據(jù)。這可以讓數(shù)據(jù)真正為企業(yè)帶來價值，比如分析歷史記錄以優(yōu)化銷售流程，實時調(diào)整價格和庫存，利用ML / AI創(chuàng)建預(yù)測模型，開發(fā)新的收入流，轉(zhuǎn)向云端等。

現(xiàn)代ETL工具的主要優(yōu)點是：

• 不拘泥于格式且靈活，足以快速輕松地集成新的數(shù)據(jù)源。
• 能夠?qū)崟r處理海量數(shù)據(jù)，實現(xiàn)閃電般的速度分析。
• 易于擴展，因為它利用了彈性云。
• 全托管
• 安全

現(xiàn)代ETL工具和開源方案的邊界正在逐漸模糊，成本大多介于開源和傳統(tǒng)之間，但是，這類方案一開始就是奔著日益增長的、基于網(wǎng)絡(luò)的大數(shù)據(jù)流量所創(chuàng)建的，因此對企業(yè)在云計算和大數(shù)據(jù)時代出現(xiàn)的新需求具備極佳的適應(yīng)能力，但這類解決方案的能力到底如何，我們會在后續(xù)的文章中繼續(xù)跟進。

結(jié)語

傳統(tǒng)商用解決方案：適用關(guān)鍵型任務(wù)、成本高、服務(wù)好、擴展性差，不適合海量復(fù)雜數(shù)據(jù)源的環(huán)境。傳統(tǒng)工具最大的限制是被設(shè)計成批處理模式，甚至僅有批處理模式，很難整合跨平臺數(shù)據(jù)源。查找和解決問題過程十分耗時，需要研發(fā)人員逐個排查。

開源ETL工具：適用非關(guān)鍵型和小型項目，成本低，服務(wù)分情況，社區(qū)驅(qū)動的解決方案服務(wù)一般，只能依靠社區(qū)力量;企業(yè)驅(qū)動的解決方案可尋求廠商幫助。對海量數(shù)據(jù)的應(yīng)變能力一般，需要企業(yè)內(nèi)部具備一定研發(fā)實力。

現(xiàn)代ETL工具：成本介于上述兩者之間，其中含有個別開源方案，適用于海量復(fù)雜的數(shù)據(jù)源環(huán)境，擴展性良好。部分方案內(nèi)置錯誤問題響應(yīng)、監(jiān)控及報告流程，部分需要通過簡單編碼實現(xiàn)，后續(xù)服務(wù)要根據(jù)廠商而定，定制化強。