達(dá)夢(mèng)DMETL與其它主流ETL對(duì)比 整體性能優(yōu)勢(shì)明顯
達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)(DM Extract、Transform、Loading,縮寫DMETL)是國(guó)內(nèi)知名數(shù)據(jù)庫廠商達(dá)夢(mèng)數(shù)據(jù)庫有限公司在上十年數(shù)據(jù)處理經(jīng)驗(yàn)的基礎(chǔ)上,研制開發(fā)的具有自主版權(quán)的、商品化的數(shù)據(jù)交換與處理平臺(tái)。DMETL創(chuàng)新地將傳統(tǒng)的ETL工具與分布式消息平臺(tái)相結(jié)合,實(shí)現(xiàn)了對(duì)數(shù)據(jù)抽取、傳輸、整合、以及裝載的一站式支持,是構(gòu)建數(shù)據(jù)中心、數(shù)據(jù)倉庫、數(shù)據(jù)交換和數(shù)據(jù)同步等數(shù)據(jù)集成類應(yīng)用的理想平臺(tái),同時(shí)也可以作為數(shù)據(jù)加工處理工具由業(yè)務(wù)人員直接使用。
經(jīng)過與市場(chǎng)上其他主流ETL工具測(cè)試對(duì)比之后發(fā)現(xiàn),DMETL從功能性能上已經(jīng)完全能夠滿足用戶需求,并且在易用性方便更具有獨(dú)特的優(yōu)勢(shì)。
1.測(cè)試對(duì)象
1) SSIS:SQL Server Integration Services。微軟的數(shù)據(jù)集成工具
2) KETTLE:主流開源ETL工具
3) POERCENTER:業(yè)界領(lǐng)先的ETL工具,已被oracle公司收購
4) DMETL:達(dá)夢(mèng)數(shù)據(jù)交換平臺(tái)
2.測(cè)試環(huán)境
1) ETL工具主要運(yùn)行環(huán)境
IP:223.254.112.1
CPU Intel 雙核 E2160 主頻1.8G
內(nèi)存 2G
操作系統(tǒng) MS server2003
2) 數(shù)據(jù)源服務(wù)器A主要環(huán)境
IP:223.254.102.21
CPU Intel雙核 E5300 主頻2.6G
內(nèi)存 2G
操作系統(tǒng) MS XP
數(shù)據(jù)庫:SQLSERVER,ORACLE
3) 數(shù)據(jù)目的服務(wù)器B主要環(huán)境
223.254.110.136
CPU Intel雙核 E5400 主頻2.7G
內(nèi)存 4G
操作系統(tǒng) MS server2003
數(shù)據(jù)庫:SQLSERVER,ORACLE
3.功能對(duì)比
(注:√—支持 ×—不支持)
4.性能對(duì)比
四種ETL工具在10W條和1000W條不同數(shù)據(jù)量下進(jìn)行性能測(cè)試。
數(shù)據(jù)容量(10W記錄)=945*100000/(1024*1024)=90.1M
數(shù)據(jù)容量(1000W記錄)=945*10000000/(1024*1024)=9012.2M
1) DMETL性能測(cè)試記錄
2) SSIS 性能測(cè)試記錄
3) KETTLE性能測(cè)試記錄
4) INFORMATIC POERCENTER性能測(cè)試記錄
5) 性能測(cè)試數(shù)據(jù)匯總
(單位:條/秒)
5.結(jié)論
性能上INFORMATIC POWERCENTER總體性能***;DMETL性能比較穩(wěn)健,優(yōu)于KETTLE和微軟的SSIS。
功能上DMETL和INFORMATIC POWERCENTER兩者最為豐富,KETTLE次之,SSIS較弱。
易用性方面DMETL是***的,SSIS次之,KETTLE和INFORMATIC POWERCENTER使用最為復(fù)雜。