Doris聯(lián)姻Apache 頂級(jí)開(kāi)源社區(qū)迎來(lái)百度新成員
近日,全球著名開(kāi)源社區(qū)Apache基金會(huì)宣布“百度開(kāi)源的Doris項(xiàng)目全票通過(guò)進(jìn)入Apache孵化器”。這是百度繼ECharts后第二個(gè)進(jìn)入Apache基金會(huì)的項(xiàng)目,充分彰顯了百度“開(kāi)源速度”。
Doris是百度開(kāi)發(fā)的面向在線報(bào)表和分析的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),可以對(duì)標(biāo)于商業(yè)的 MPP 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),比如Greenplum、Vertica、Teradata 等。
Doris 前身是百度Palo,自2017年8月在Github上開(kāi)源以來(lái),收獲700多個(gè)Star,目前性能和易用性方面已達(dá)到業(yè)界領(lǐng)先水平。同時(shí),Doris 在百度內(nèi)部應(yīng)用于200多個(gè)產(chǎn)品線,在公有云和ToB業(yè)務(wù)中也獲得了高度認(rèn)可,外部已有包括小米、瓜子在內(nèi)的十多家公司使用。
Doris 主要基于 C++ 和 Java 開(kāi)發(fā),集成了 Google Mesa 和 Apache Impala 的技術(shù)。其中Mesa 是一個(gè)高度可擴(kuò)展的分析數(shù)據(jù)存儲(chǔ)系統(tǒng),用于存儲(chǔ)與 Google 互聯(lián)網(wǎng)廣告業(yè)務(wù)相關(guān)的關(guān)鍵測(cè)量數(shù)據(jù)。Impala是一種基于Hadoop數(shù)據(jù)處理環(huán)境的現(xiàn)代 MPP SQL 引擎。
Doris項(xiàng)目負(fù)責(zé)人馬如悅介紹到:“在 Mesa 與 Impala 進(jìn)行組合的基礎(chǔ)上,Doris 被設(shè)計(jì)為一個(gè)不依賴(lài)于其他系統(tǒng)的簡(jiǎn)單且單一緊密耦合的系統(tǒng),并實(shí)現(xiàn)了MySQL協(xié)議,使得用戶(hù)可以像使用 MySQL 一樣無(wú)門(mén)檻的過(guò)渡到Doris,包括各種報(bào)表應(yīng)用都可以通過(guò)MySQL協(xié)議連接 Doris,同時(shí)獲得高并發(fā)低延遲點(diǎn)查詢(xún)性能,而且還能進(jìn)行高吞吐量的即席分析查詢(xún)。Doris 不僅提供大批量數(shù)據(jù)加載,而且還提供近乎實(shí)時(shí)的小批量,甚至流數(shù)據(jù)加載。此外Doris還具備高可用性,可靠性,容錯(cuò)性和可擴(kuò)展性。”
Doris博采眾長(zhǎng),并在此基礎(chǔ)上進(jìn)行了大膽創(chuàng)新,形成了自己獨(dú)特的優(yōu)勢(shì),其特點(diǎn)主要包括:1)完全兼容MySQL協(xié)議;2)采用列式存儲(chǔ)、對(duì)數(shù)據(jù)以高壓縮比進(jìn)行壓縮存儲(chǔ)、向量化執(zhí)行、LLVM優(yōu)化等先進(jìn)技術(shù),因此獲得了極高的查詢(xún)效率;3)支持多種存儲(chǔ)模型:同時(shí)支持類(lèi)似于Mesa將列分為Key和Value的存儲(chǔ)模型,同時(shí)支持Unique Key和Dup Key的存儲(chǔ)模型。用戶(hù)可以根據(jù)自己的業(yè)務(wù)場(chǎng)景,選用不同的存儲(chǔ)模型;4)支持兩層分區(qū);5)支持多種數(shù)據(jù)導(dǎo)入方式;6)安全資源隔離擴(kuò)容縮容;7)備份和恢復(fù);8)支持web監(jiān)控和管理;
百度開(kāi)源推進(jìn)組負(fù)責(zé)人譚中意也表示:“百度抱著參與、回饋、影響社區(qū)的態(tài)度進(jìn)行各種開(kāi)源活動(dòng),充分尊重和理解開(kāi)源社區(qū)的規(guī)則和精神,而繼 ECharts 成為 Apache 基金會(huì)的孵化項(xiàng)目后,百度繼續(xù)捐獻(xiàn)Doris項(xiàng)目給apache 基金會(huì),百度會(huì)繼續(xù)跟各個(gè)開(kāi)源社區(qū)進(jìn)行更加廣泛和深入的合作。”
Doris項(xiàng)目Champion及導(dǎo)師、Apache基金會(huì)副總裁Dave Fisher表示:“很榮幸,也很高興作為Champion參與Doris在 Apache基金會(huì)的孵化過(guò)程,這是我們第二次看到百度捐獻(xiàn)優(yōu)秀的項(xiàng)目到Apache基金會(huì),我們很高興看到百度在開(kāi)源方面的巨大進(jìn)步和突破。Doris作為面向在線報(bào)表和分析的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),具有獨(dú)特的實(shí)現(xiàn)優(yōu)勢(shì)和較為豐富的使用前景,加入Apache基金會(huì)進(jìn)一步表明Doris擁抱開(kāi)源的決心,在遵循‘the Apache Way’的基礎(chǔ)上,打造一個(gè)更為中立、開(kāi)放、多元的社區(qū)文化,讓更多人享受Doris項(xiàng)目帶來(lái)的技術(shù)革命。”