自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

火山引擎ByteHouse發(fā)布白皮書 揭秘企業(yè)級(jí)ClickHouse優(yōu)化與改進(jìn)過程

新聞
日前,火山引擎ByteHouse 發(fā)布白皮書《從ClickHouse到ByteHouse》,解讀字節(jié)跳動(dòng)萬臺(tái)節(jié)點(diǎn)ClickHouse背后的技術(shù)實(shí)現(xiàn)。

ClickHouse 開源于 2016 年,憑借性能方面的突出優(yōu)勢,在分析型數(shù)據(jù)庫領(lǐng)域發(fā)展可謂風(fēng)生水起。目前,國內(nèi)外許多頭部大廠都在深度使用 ClickHouse 技術(shù)。

作為 ClickHouse 深度用戶,字節(jié)跳動(dòng)擁有國內(nèi)規(guī)模最大的 ClickHouse 集群。目前,字節(jié)跳動(dòng)數(shù)據(jù)節(jié)點(diǎn)總數(shù)超過1.8萬個(gè),管理總數(shù)據(jù)量超過 700PB,最大的單個(gè)集群部署規(guī)模約為2400余個(gè)節(jié)點(diǎn)。

《從ClickHouse到ByteHouse》白皮書客觀分析了當(dāng)前 ClickHouse 作為一款優(yōu)秀的開源 OLAP 數(shù)據(jù)庫所展示出來的技術(shù)性能特點(diǎn)與其典型的應(yīng)用場景。

但是將 ClickHouse 引入企業(yè)級(jí)生產(chǎn)環(huán)境中,仍然存在許多實(shí)際問題。這也是火山引擎ByteHouse團(tuán)隊(duì)撰寫《從ClickHouse到ByteHouse》白皮書核心出發(fā)點(diǎn):深度還原字節(jié)跳動(dòng)在大規(guī)模引入 ClickHouse 于業(yè)務(wù)實(shí)際生產(chǎn)環(huán)境所遇到的問題與解法,希望能給企業(yè)用戶帶來一些參考與啟發(fā)。

白皮書顯示,當(dāng)字節(jié)跳動(dòng)內(nèi)部有越來越多的場景逐步深入使用ClickHouse之后,字節(jié)跳動(dòng)也遇到了集群穩(wěn)定性、應(yīng)用場景使用限制等問題。因此,字節(jié)跳動(dòng)對ClickHouse做了大量的深度優(yōu)化與自研改造的工作,慢慢沉淀出了ByteHouse。

《從ClickHouse到ByteHouse》白皮書重點(diǎn)介紹了, ByteHouse 在 ClickHouse 上所做的三個(gè)重要方面優(yōu)化與升級(jí):自研表引擎、查詢優(yōu)化器、彈性可擴(kuò)展。

在自研表引擎模塊,盡管ClickHouse 提供 MergeTree Family、Memory、File、Interface 等幾十種不同的表引擎,但是在字節(jié)內(nèi)部實(shí)際使用中,還是明顯感覺到了一些表引擎不足以滿足業(yè)務(wù)的使用需求,于是進(jìn)行了相應(yīng)的優(yōu)化。白皮書則重點(diǎn)介紹 HaMergeTree 、HaUniqueMergeTree、HaKafka 三種表引擎。

在查詢優(yōu)化器模塊,ByteHouse對Optimizer進(jìn)行了一年多的改造投入,全面升級(jí)產(chǎn)品能力。白皮書詳細(xì)列舉了ByteHouse在查詢優(yōu)化器上的改造與優(yōu)化功能。

為了追求極致性能,ClickHouse 采用的是計(jì)算和存儲(chǔ)節(jié)點(diǎn)強(qiáng)耦合的架構(gòu),不能根據(jù)各自實(shí)際需求分開擴(kuò)容, 而且在節(jié)點(diǎn)擴(kuò)展后數(shù)據(jù)無法自動(dòng)重新分布的問題給ClickHouse擴(kuò)展帶來很多運(yùn)維的麻煩。ByteHouse 在改進(jìn)與優(yōu)化ClickHouse的過程中,也重點(diǎn)基于該架構(gòu)進(jìn)行了調(diào)整。白皮書重點(diǎn)介紹了,ByteHouse 在存儲(chǔ)和計(jì)算上的拆解解耦,實(shí)現(xiàn)彈性可擴(kuò)展的技術(shù)優(yōu)化方案。

與此同時(shí),《從ClickHouse到ByteHouse》白皮書還重點(diǎn)列舉在廣告、金融、工業(yè)互聯(lián)網(wǎng)三大行業(yè)的實(shí)踐案例,這些都屬于 OLAP 的典型應(yīng)用行業(yè),并從技術(shù)與企業(yè)落地等角度給出了當(dāng)下企業(yè)在OLAP數(shù)據(jù)引擎選型的三個(gè)核心關(guān)注點(diǎn)。

目前,ByteHouse已通過火山引擎提供商業(yè)化服務(wù),為客戶帶來極致性能、架構(gòu)領(lǐng)先的企業(yè)級(jí)分析型數(shù)據(jù)庫服務(wù)與技術(shù)支持。


責(zé)任編輯:黃顯東
相關(guān)推薦

2020-05-12 17:51:53

區(qū)塊鏈區(qū)塊鏈安全

2021-11-11 21:35:48

數(shù)字化

2011-11-23 14:17:21

移動(dòng)應(yīng)用

2020-05-29 09:24:39

浪潮

2017-09-06 16:15:47

存儲(chǔ)

2023-04-26 12:36:20

Thoughtwor數(shù)據(jù)工程

2015-03-11 14:27:45

戴爾云計(jì)算DELL

2018-10-15 23:22:41

互聯(lián)網(wǎng)

2018-10-16 17:23:10

云數(shù)據(jù)

2018-08-09 16:45:14

白皮書

2018-12-21 18:44:10

數(shù)字企業(yè)

2011-12-13 14:27:45

Vmware

2018-10-15 14:57:14

華為

2022-03-21 16:22:45

云原生火山引擎IDC

2023-10-30 15:51:43

ByteHouse大數(shù)據(jù)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)