[[350836]]

 ClickHouse 是 Yandex（俄羅斯最大的搜索引擎）開(kāi)源的一個(gè)用于實(shí)時(shí)數(shù)據(jù)分析的基于列存儲(chǔ)的數(shù)據(jù)庫(kù)，其處理數(shù)據(jù)的速度比傳統(tǒng)方法快 100-1000 倍。ClickHouse 的性能超過(guò)了目前市場(chǎng)上可比的面向列的 DBMS，每秒鐘每臺(tái)服務(wù)器每秒處理數(shù)億至十億多行和數(shù)十千兆字節(jié)的數(shù)據(jù)。

一、ClickHouse 是什么？

ClickHouse：是一個(gè)用于聯(lián)機(jī)分析(OLAP)的列式數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)。

我們首先理清一些基礎(chǔ)概念

•  OLTP：是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，主要操作增刪改查，強(qiáng)調(diào)事務(wù)一致性，比如銀行系統(tǒng)、電商系統(tǒng)
•  OLAP：是倉(cāng)庫(kù)型數(shù)據(jù)庫(kù)，主要是讀取數(shù)據(jù)，做復(fù)雜數(shù)據(jù)分析，側(cè)重技術(shù)決策支持，提供直觀簡(jiǎn)單的結(jié)果

接著我們用圖示，來(lái)理解一下列式數(shù)據(jù)庫(kù)和行式數(shù)據(jù)庫(kù)區(qū)別

在傳統(tǒng)的行式數(shù)據(jù)庫(kù)系統(tǒng)中（MySQL、Postgres和MS SQL Server），數(shù)據(jù)按如下順序存儲(chǔ)：

在列式數(shù)據(jù)庫(kù)系統(tǒng)中（ClickHouse），數(shù)據(jù)按如下的順序存儲(chǔ)：

兩者在存儲(chǔ)方式上對(duì)比：

以上是ClickHouse基本介紹，更多可以查閱官方手冊(cè)。

二、業(yè)務(wù)問(wèn)題

業(yè)務(wù)端現(xiàn)有存儲(chǔ)在Mysql中，5000萬(wàn)數(shù)據(jù)量的大表及兩個(gè)輔表，單次聯(lián)表查詢(xún)開(kāi)銷(xiāo)在3min+，執(zhí)行效率極低。經(jīng)過(guò)索引優(yōu)化、水平分表、邏輯優(yōu)化，成效較低，因此決定借助ClickHouse來(lái)解決此問(wèn)題

最終通過(guò)優(yōu)化，查詢(xún)時(shí)間降低至1s內(nèi)，查詢(xún)效率提升200倍！

希望通過(guò)本文，可以幫助大家快速掌握這一利器，并能在實(shí)踐中少走彎路。

三、ClickHouse實(shí)踐

1.Mac下的Clickhouse安裝

我是通過(guò)docker安裝，查看教程。也可以下載CK編譯安裝，相對(duì)麻煩一些。

2.數(shù)據(jù)遷移：從Mysql到ClickHouse

ClickHouse支持Mysql大多數(shù)語(yǔ)法，遷移成本低，目前有五種遷移方案：

•  create table engin mysql，映射方案數(shù)據(jù)還是在Mysql
•  insert into select from，先建表，在導(dǎo)入
•  create table as select from，建表同時(shí)導(dǎo)入
•  csv離線導(dǎo)入
•  streamsets

選擇第三種方案做數(shù)據(jù)遷移： 

CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')  

3.性能測(cè)試對(duì)比

4.數(shù)據(jù)同步方案

1)臨時(shí)表

新建temp中間表，將Mysql數(shù)據(jù)全量同步到ClickHouse內(nèi)temp表，再替換原ClickHouse中的表，適用數(shù)據(jù)量適度，增量和變量頻繁的場(chǎng)景

2)synch

開(kāi)源的同步軟件推薦：synch 原理是通過(guò)Mysql的binlog日志，獲取sql語(yǔ)句，再通過(guò)消息隊(duì)列消費(fèi)task

5.ClickHouse為什么快？

•  只需要讀取要計(jì)算的列數(shù)據(jù)，而非行式的整行數(shù)據(jù)讀取，降低IO cost
•  同列同類(lèi)型，有十倍壓縮提升，進(jìn)一步降低IO
•  clickhouse根據(jù)不同存儲(chǔ)場(chǎng)景，做個(gè)性化搜索算法

四、遇到的坑

1.ClickHouse與mysql數(shù)據(jù)類(lèi)型差異性

用Mysql的語(yǔ)句查詢(xún)，發(fā)現(xiàn)報(bào)錯(cuò)：

解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉(zhuǎn)一下，統(tǒng)一無(wú)符號(hào)類(lèi)型關(guān)聯(lián)

2.刪除或更新是異步執(zhí)行，只保證最終一致性

查詢(xún)CK手冊(cè)發(fā)現(xiàn)，即便對(duì)數(shù)據(jù)一致性支持最好的Mergetree，也只是保證最終一致性：

如果對(duì)數(shù)據(jù)一致性要求較高，推薦大家做全量同步來(lái)解決

五、總結(jié)

通過(guò)ClickHouse實(shí)踐，完美的解決了Mysql查詢(xún)瓶頸，20億行以下數(shù)據(jù)量級(jí)查詢(xún)，90%都可以在1s內(nèi)給到結(jié)果，隨著數(shù)據(jù)量增加，ClickHouse同樣也支持集群，大家如果感興趣，可以積極嘗試 : )