物聯(lián)網(wǎng)時代的數(shù)據(jù)庫如何選型?
隨著DT 時代的來臨,物聯(lián)網(wǎng)(Internet of Thing, IoT)成為當(dāng)今具有發(fā)展?jié)摿Φ募夹g(shù)潮流之一,它通過信息傳感設(shè)備把所有物品與互聯(lián)網(wǎng)融合,互相溝通或交換信息,構(gòu)成了新一代信息技術(shù)的重要組成部分,其目的是期望能更加便利地滿足人們?nèi)粘I钚枰N锫?lián)網(wǎng)已經(jīng)構(gòu)成了新一代信息技術(shù)的重要組成部分,成為DT時代的重要發(fā)展階段。
根據(jù)Gartner的報告顯示,2017年全球物聯(lián)網(wǎng)領(lǐng)域有超過80多億個聯(lián)網(wǎng)設(shè)備,預(yù)計至2020年全球聯(lián)網(wǎng)的設(shè)備規(guī)模量會更大。物聯(lián)網(wǎng)領(lǐng)域正呈現(xiàn)出一種快速增長態(tài)勢,相應(yīng)的各類智能硬件產(chǎn)業(yè)規(guī)模也不斷提升。
目前物聯(lián)網(wǎng)所覆蓋的領(lǐng)域眾多,包括智能運輸、智能建筑、數(shù)字化醫(yī)療、工業(yè)自動化、石化、金融、移動POS、供應(yīng)鏈、氣象、電力、農(nóng)業(yè)、林業(yè)、環(huán)境保護、公共安全、軍事、遙感探測、煤炭、水務(wù)、消防等領(lǐng)域。
物聯(lián)網(wǎng)的數(shù)據(jù)特征:
那么究竟如何來選擇合適的數(shù)據(jù)庫來滿足海量數(shù)據(jù)的實時性要求呢?
下面通過一張圖來簡單回顧下各種數(shù)據(jù)庫的特點
從這張對比圖不難看出這些基于存儲的數(shù)據(jù)庫各有其自己的優(yōu)勢和缺陷,Hbase 屬于 NO SQL ,雖然適合于高并發(fā)查詢,但它不直接支持SQL 查詢,HIVE 數(shù)據(jù)庫 更適合批處理大量數(shù)據(jù),無法實現(xiàn)聯(lián)機事務(wù)處理(OLTP),MYSQL 屬于傳統(tǒng)的 RDS, 其系統(tǒng)的擴展性較差,不適合海量數(shù)據(jù)大批量處理,Redis 屬于內(nèi)存數(shù)據(jù)庫系統(tǒng), 過分依賴于內(nèi)存計算, 系統(tǒng)的擴展性和安全性較差。
那么是否有一款數(shù)據(jù)庫既能支持海量數(shù)據(jù)離線分析處理 (OLAP),又能支持在線實時訪問(OLTP?答案是確定的,存在,就是HTAP數(shù)據(jù)庫。 它能很好地解決這些問題,并且?guī)椭鷮崿F(xiàn)實時計算數(shù)據(jù)快速落地,并很好地對接前端進行的可視化展示 ,提供業(yè)務(wù)人員決策分析等。
下面就來聊聊在當(dāng)今DT 時代背景下, HTAP 數(shù)據(jù)庫究竟是一款什么樣的數(shù)據(jù)庫?
由Gartner提出了HTAP數(shù)據(jù)庫概念,Hybrid transaction/analytical processing (HTAP),WIKI百科上這樣定義:
HTAP數(shù)據(jù)庫需要同時支持OLTP和OLAP場景?;趧?chuàng)新的計算存儲框架,也就是在一份數(shù)據(jù)上保證事務(wù)的同時支持實時分析,省去了費時的ETL過程。傳統(tǒng)的IP架構(gòu)有一些事務(wù)處理需要聯(lián)機分析和分開處理,HTAP數(shù)據(jù)庫的出現(xiàn)則是能夠在一份數(shù)據(jù)上同時支撐業(yè)務(wù)系統(tǒng)運行和做OLAP場景,這樣也能夠避免在傳統(tǒng)架構(gòu)中,在線與離線數(shù)據(jù)庫之間大量的數(shù)據(jù)交互。
針對物聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用,具有海量的傳感器數(shù)據(jù),要求實時更新和查詢,對數(shù)據(jù)庫的性能要求很高。使用HTAP數(shù)據(jù)庫,能夠快速獲得數(shù)據(jù)庫的讀寫性能,它具有OLTP關(guān)系數(shù)據(jù)庫的多維度查詢能力,以及OLAP數(shù)據(jù)庫的復(fù)雜分析能力,期望能夠快速的分析數(shù)據(jù)的價值,數(shù)據(jù)實時處理能提供更快的響應(yīng)速度,從數(shù)據(jù)中挖掘有價值的信息。
天云大數(shù)據(jù)是國內(nèi)較早涉足大數(shù)據(jù)領(lǐng)域的研究和實施的大數(shù)據(jù)解決方案國內(nèi)廠商,憑借其多年來在大數(shù)據(jù)分布式計算集群的經(jīng)驗累積,及多家大型銀行核心交易系統(tǒng)的實踐驗證,推出了擁有百萬原生代碼規(guī)模的HTAP數(shù)據(jù)庫產(chǎn)品:Hubble(在wiki百科上可查詢Hubble到與Alibaba\Oracle\SAP等公司并列作為HTAP數(shù)據(jù)庫代表廠商),可以真正意義上實現(xiàn)混合交易分析處理。該數(shù)據(jù)庫是既可支持聯(lián)機事務(wù)處理(OLTP),又可支持聯(lián)機分析處理(OLAP)的一款國產(chǎn)數(shù)據(jù)庫。
Hubble數(shù)據(jù)庫作為HTAP 數(shù)據(jù)庫,具有大數(shù)據(jù)平臺Hadoop 可擴展性,以足夠的速度處理海量數(shù)據(jù)的能力,相信HUBBLE 數(shù)據(jù)庫運用在物聯(lián)網(wǎng)領(lǐng)域中,會是一個不錯的選擇, 并且在這一領(lǐng)域能處理日益增長的傳感器數(shù)據(jù), 為企業(yè)創(chuàng)造價值。






