自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

初創(chuàng)公司Citus Data將CitusDB擴展到Hadoop

云計算 Hadoop
大數(shù)據(jù)已經(jīng)打開了企業(yè)數(shù)據(jù)分析以及選擇性數(shù)據(jù)存儲的視野。那么這兩項的結(jié)合往往意味著需要學習新的語言,使用多工具處理,而且在分析平臺上還可能需要犧牲一部分性能。

數(shù)據(jù)庫初創(chuàng)公司Citus Data在本周二實現(xiàn)了Hadoop數(shù)據(jù)上的快速SQL查詢,這并不算什么大事,因為它們還有更大的目標。Citus Data已超越Postgres將其高速、分析數(shù)據(jù)庫CitusDB擴展到Hadoop上,接著可能擴張到MongoDB以及其它你已經(jīng)想到的數(shù)據(jù)庫產(chǎn)品。GigaOM的記者Derrick Harris認為,它是所有人都需要的唯一分析型數(shù)據(jù)庫,它能夠數(shù)據(jù)的查詢,無論存儲任何環(huán)境之中——關(guān)系型數(shù)據(jù)庫、Hadoop、MongoDB、 Amazon S3或者還有其他的地方。

大數(shù)據(jù)已經(jīng)打開了企業(yè)數(shù)據(jù)分析以及選擇性數(shù)據(jù)存儲的視野。那么這兩項的結(jié)合往往意味著需要學習新的語言,使用多工具處理,而且在分析平臺上還可能需要犧牲一部分性能。

Citus Data公司的旗艦產(chǎn)品就是CitusDB,它通常建立在PostgreSQL之上,第一代的目的就是為關(guān)系型數(shù)據(jù)設計像谷歌Dremel這種規(guī)模和速度的數(shù)據(jù)庫。由于其中的一項功能“foreign data wrappers”,所以它能夠在多種數(shù)據(jù)類型(像CSV, log以及JSON files,而且這些數(shù)據(jù)類型在原生的Postgres上是并不匹配的)上運行SQL。所以當CitusDB除了Postgres之外,還官方支持Hadoop文件分布式系統(tǒng)(HDFS),這就意味著絕不僅限于這些。

Matt Ocko是數(shù)據(jù)收集的負責人,也是Citus Data早期的投資者之一,他認為數(shù)據(jù)庫從技術(shù)來來講應該支持任何使用ODBC驅(qū)動的數(shù)據(jù)源,甚至能夠直接從存儲的數(shù)據(jù)中直接查詢?nèi)罩疚募J聦嵣?,Citus正在致力對MongoDB的支持——這種能力現(xiàn)在已經(jīng)在測試版上了。Ocko強調(diào)了CitusDB像“網(wǎng)”一樣的能力,它能夠連接各種數(shù)據(jù)源,而不需要用戶進行獨立的查詢,然后再手動地連接數(shù)據(jù)。他舉了一個例子,使用CitusDB跨Postgres和Hadoop做join查詢。

另外一點就是,CitusDB不僅具有良好的靈活性而且很快。Ocko說到CitusDB已經(jīng)超越甲骨文Exadata machine上引以為豪的一個TPC-H基準測試(數(shù)據(jù)直接存儲在硬盤上)。上文中提及的運行在亞馬遜EC2云上的Postgres-Hadoop查詢僅僅在幾秒鐘之內(nèi)就完成了。

Citus的聯(lián)合創(chuàng)始人Umur Cubukcu告訴Derrick,CitusDB之所以如此之快是因為它的架構(gòu):取代將數(shù)據(jù)在網(wǎng)絡中傳輸,它將焦點聚集到數(shù)據(jù)位置的計算,并且在資源間具有強大的負載平衡能力。比如,需要一個很慢節(jié)點上儲存的資源去完成完成一個任務,取代一味的等待它會去其它的節(jié)點上尋求相同的資源。

以Hadoop舉例,MapReduce把計算帶給了數(shù)據(jù),但是每一個Job需要對整個數(shù)據(jù)集進行掃描。這就是早期的Hadoop上的SQL查詢工具Hive現(xiàn)在仍然很慢的原因。曾經(jīng)在Cloudera工作的Citus的軟件工程師Carl Steinbach表示,CitusDB比Hive查詢數(shù)據(jù)類型的速度快3到20倍。在一個典型的互動環(huán)境中,短查詢的實際的速度可能還會更快。但是他同時指出,這些并不是Hive真正的設計目的所在。

 

 

然而,CitusDB真正的競爭對手是SQL-On-Hadoop的項目,產(chǎn)品還有很多初創(chuàng)公司。下個月“Structure: Data”有一系列的話題為圍繞于此展開,屆時Aster Data,Platfora,Cloudera(Impala),Apache Drill,Drawn to Scale以及Hadapt都會展現(xiàn)各自的風采。

這些都是令人印象深刻的技術(shù)(至少在理論上,它們?nèi)匀惶幵诎l(fā)展階段),Citus可能會不小心的忽視他們。但是除了可以查詢多個數(shù)據(jù)源之外,Citus仍然還有自己獨特的產(chǎn)品,這是其他的公司所不具備的。“當你在談論一個企業(yè)級的數(shù)據(jù)庫的時候”Steinbach表示,“那么談論的內(nèi)容絕對不僅僅是一個查詢執(zhí)行引擎。”

責任編輯:王程程 來源: GigaOM
相關(guān)推薦

2015-08-13 13:44:21

優(yōu)化多核

2022-03-23 16:28:18

微軟NVIDIAGPU

2017-05-26 23:09:47

2023-03-08 14:14:51

微軟ChatGPT

2009-11-12 15:19:54

2009-11-12 15:30:44

2009-02-26 10:50:04

NetApp虛擬化VMware ESX

2021-01-01 09:46:43

微軟Windows 10Windows

2022-11-10 08:02:41

GitOpsDevOpsKubernetes

2009-02-25 16:50:00

2022-11-01 08:00:00

2023-03-03 14:08:51

網(wǎng)絡安全首席信息安全官

2020-06-05 14:30:03

CephCPU 線程

2023-03-16 14:17:56

無線技術(shù)5G

2024-01-23 12:57:00

模型數(shù)據(jù)

2023-11-16 16:33:43

谷歌人工智能

2024-06-13 11:44:43

2024-07-30 11:20:00

圖像視覺

2024-05-24 15:53:20

視覺圖像

2020-06-16 11:12:26

醫(yī)療物聯(lián)網(wǎng)IOT
點贊
收藏

51CTO技術(shù)棧公眾號