PingCAP 發(fā)布TiDB 5.0 打造完整 HTAP 能力的分布式數(shù)據(jù)庫
原創(chuàng)【51CTO.com原創(chuàng)稿件】 PingCAP 是一家企業(yè)級開源分布式數(shù)據(jù)庫廠商,成立六年來,所開發(fā)的分布式關(guān)系型數(shù)據(jù)庫 TiDB 已經(jīng)被全球超過1500家企業(yè)用于線上生產(chǎn)環(huán)境,包括像銀行、電信、醫(yī)院等傳統(tǒng)企業(yè),也有騰訊、美團、新浪微博、嗶哩嗶哩等互聯(lián)網(wǎng)企業(yè)。
近日,PingCAP 正式發(fā)布面向企業(yè)級核心場景的 TiDB 5.0 版本,通過引入 MPP (Massively Parallel Processing,即大規(guī)模并行處理)架構(gòu)成為具備完整 HTAP 能力的分布式數(shù)據(jù)庫,為高成長企業(yè)和數(shù)字化創(chuàng)新場景提供一棧式數(shù)據(jù)服務(wù)平臺。
企業(yè)級數(shù)據(jù)庫就要“省心、放心、不擔心”
在PingCAP成立之初,目標就是要開發(fā)一款通用型數(shù)據(jù)庫,因為基礎(chǔ)軟件必須通用才能有更高的天花板。所以,TiDB的研發(fā)從零開始,每行代碼都是PingCAP的工程師寫出來的,因此核心代碼(自主可控率)是100%。
早期,TiDB是一個救命型的產(chǎn)品,第一個用戶是一家游戲公司。在這家游戲公司決定廣告應該投放在什么渠道時,數(shù)據(jù)庫查詢出現(xiàn)了瓶頸。TiDB的出現(xiàn),讓這家游戲公司在不用修改代碼的情況下,就完成了查詢速度從20分鐘到10秒鐘的飛躍。而這個客戶的需求其實就是實時分析需求,也為后來PingCAP發(fā)展HTAP做了鋪墊。
在有了第一家客戶后,PingCAP開始逐漸積累了眾多互聯(lián)網(wǎng)企業(yè)客戶。但很多客戶最關(guān)注的是企業(yè)的產(chǎn)品有沒有應用在金融行業(yè)的核心系統(tǒng)中,于是,PingCAP又繼續(xù)發(fā)展到金融等傳統(tǒng)行業(yè)。然而,每個人對于企業(yè)級數(shù)據(jù)庫的理解不一,服務(wù)過大型傳統(tǒng)企業(yè)、閉源的、收費昂貴的軟件,就真的是企業(yè)級么?
在PingCAP聯(lián)合創(chuàng)始人兼CTO黃東旭看來,用戶一定是想用一個穩(wěn)定、數(shù)據(jù)不出錯并且是整合的數(shù)據(jù)庫,因此真正的企業(yè)級數(shù)據(jù)庫應該是“省心,放心,不擔心”。業(yè)務(wù)代碼盡可能不修改,不學習新東西就可以搞定業(yè)務(wù)問題,用起來省心;數(shù)據(jù)不出錯、不丟失、性能無抖動、維護不愁人,用起來放心;業(yè)務(wù)高速增長,數(shù)據(jù)庫可以輕松應對帶來的復雜性和挑戰(zhàn),用起來不擔心。
TiDB 5.0 修煉內(nèi)功
HTAP (Hybrid Transactional/Analytical Processing,即混合事務(wù) / 分析處理)數(shù)據(jù)庫能夠在一份數(shù)據(jù)源上同時支撐在線事務(wù)處理(OLTP)和在線分析處理(OLAP)場景,避免了傳統(tǒng)架構(gòu)中在線與離線數(shù)據(jù)庫之間大量的數(shù)據(jù)交互。Gartner 認為, HTAP 數(shù)據(jù)庫將成為數(shù)據(jù)庫領(lǐng)域的重要發(fā)展趨勢,一個集成的數(shù)據(jù)平臺將會加速數(shù)字化轉(zhuǎn)型。
TiDB 早在 1.0 版本就實現(xiàn)了 OLTP Scale(在線事務(wù)處理的規(guī)模化擴展),4.0 版本已經(jīng)實現(xiàn)初步的 HTAP 能力。黃東旭指出,TiDB 5.0更多的是在修煉內(nèi)功,其中最大的一個特點就是補全MPP,使得TiDB成為具備完整 HTAP 能力的分布式數(shù)據(jù)庫。這個功能的加入標志著TiDB終于成為一個橫跨OLTP在線交易業(yè)務(wù)和OLAP數(shù)據(jù)倉庫的具備全功能數(shù)據(jù)分析的數(shù)據(jù)庫,這也是第一個開源的企業(yè)級的real-time HTAP數(shù)據(jù)庫。
5.0 版本在原有 HTAP 引擎 TiFlash 的基礎(chǔ)上引入 MPP 架構(gòu),提供與存儲匹配的分布式計算引擎,進一步提升海量數(shù)據(jù)下的并行計算與分析能力。通過與 TiDB-Server 共享 SQL 前端,實現(xiàn)解析器(Parser)和優(yōu)化器的共享,TiDB 向業(yè)務(wù)提供一體化的入口,能夠自動選擇單機執(zhí)行或 MPP 模式,并且將事務(wù)型和分析型的負載隔離,使得雙方在高并發(fā)量壓力下互不干擾。
此外,TiDB 5.0 基于分布式架構(gòu),支持云原生與多云,可以彈性擴展吞吐或存儲,輕松應對高并發(fā)、海量數(shù)據(jù)場景,實現(xiàn)一棧式數(shù)據(jù)服務(wù)。企業(yè)級用戶和互聯(lián)網(wǎng)用戶都可以通過一套 TiDB 系統(tǒng)構(gòu)建數(shù)字場景應用,而不必關(guān)注底層架構(gòu)。SaaS 廠商和獨立軟件開發(fā)商都可以通過簡化的 TiDB 技術(shù)棧獲得敏捷開發(fā)、易于運維的數(shù)據(jù)底座。
TiDB 5.0 在性能方面取得了巨大的進步,通過提供聚簇索引、異步提交事務(wù)功能, 在 Sysbench 和 TPC-C 等 OLTP 基準測試中,獲得均值 50% 的性能提升。同時,TiDB 5.0 通過優(yōu)化調(diào)度過程中對 I/O、網(wǎng)絡(luò)、CPU、內(nèi)存等資源的占用,大幅減少因為資源被搶占而出現(xiàn)的 QPS(每秒查詢量) 抖動問題,在 TPC-C OLTP 的基準測試中,衡量 TPC-C tpmC 抖動標準差的值小于等于 2%。TiFlash MPP 在 OLAP 方面更是獲得了同等配置下數(shù)倍于 GreenPlum 的性能優(yōu)勢。
未來發(fā)展
據(jù)了解,PingCAP 成立之初就以開源作為核心戰(zhàn)略,高度活躍的開源社區(qū)為 TiDB 產(chǎn)品發(fā)展帶來了飛輪效應,TiDB 還是一個生態(tài)友好型的數(shù)據(jù)庫,TiDB 5.0 集成了更豐富的大數(shù)據(jù)生態(tài),新增 Kafka 連接器 、支持 S3 存儲服務(wù),并提供多個數(shù)據(jù)遷移、導入與共享組件,方便用戶在自己的異構(gòu)環(huán)境使用 TiDB。
黃東旭指出,5.0 是 TiDB 的里程碑,標志著 TiDB 成為一個完整能力的 Real-Time HTAP 分布式數(shù)據(jù)庫。但是里程碑不是終點,所有的基礎(chǔ)軟件都會在云基礎(chǔ)設(shè)施的背景下被重新發(fā)明一遍,PingCAP 已經(jīng)準備好重新出發(fā),讓數(shù)據(jù)庫回歸原本的樣子。
【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】