2022下半年盤點(diǎn):20+主流數(shù)據(jù)庫(kù)重大更新及技術(shù)要點(diǎn)匯總
云原生、分布式發(fā)展如火如荼
2022年,數(shù)據(jù)庫(kù)行業(yè)發(fā)展迅速,并呈現(xiàn)出若干鮮明特點(diǎn)。各數(shù)據(jù)庫(kù)廠商及產(chǎn)品均取得長(zhǎng)足進(jìn)步,在部分重點(diǎn)技術(shù)領(lǐng)域有所突破,其中以國(guó)產(chǎn)化、云及原生、分布式為代表的廠商及產(chǎn)品表現(xiàn)突出。從技術(shù)方向上看,以分布式、Serverless、HTAP、云與云原生、生態(tài)開放等代表性技術(shù),成為了各產(chǎn)品發(fā)展重點(diǎn)。
在分布式數(shù)據(jù)庫(kù)領(lǐng)域,經(jīng)過(guò)數(shù)年發(fā)展,分布式數(shù)據(jù)庫(kù)在基本功能、穩(wěn)定性、性能等方面已趨于完善,今年各家產(chǎn)品在小規(guī)?;?、高可用、易用性、生態(tài)兼容方面著力發(fā)展。
在云與云原生領(lǐng)域,一方面部分國(guó)產(chǎn)數(shù)據(jù)庫(kù)在上云方面走出更為扎實(shí)的步伐,并開始涉足海外;另一方面云廠商產(chǎn)品開始從托管類競(jìng)爭(zhēng),過(guò)渡到自有產(chǎn)品競(jìng)爭(zhēng),更加強(qiáng)調(diào)云原生能力,突出在承載規(guī)模、彈性能力及高性價(jià)比方面。
尤其值得關(guān)注的Serverless方向,通過(guò)與云底座更緊密結(jié)合,數(shù)據(jù)庫(kù)服務(wù)形式開始嘗試從資源型售賣轉(zhuǎn)變?yōu)榉?wù)型售賣,在多變業(yè)務(wù)負(fù)載等場(chǎng)景有著不錯(cuò)的落地場(chǎng)景。各家從早期的Serverless一代產(chǎn)品,逐步演進(jìn)過(guò)渡到二代,更為強(qiáng)調(diào)細(xì)粒度、高敏態(tài)等能力。相信在未來(lái),Serverless方向?qū)⒊蔀楦骷腋?jìng)爭(zhēng)的主力戰(zhàn)場(chǎng)。
在HTAP方向下,經(jīng)過(guò)數(shù)年發(fā)展相關(guān)理念已逐步得到用戶認(rèn)同,各廠商產(chǎn)品開始將HTAP能力作為基礎(chǔ)能力看待;但在技術(shù)路線及能力標(biāo)準(zhǔn)方面,尚無(wú)統(tǒng)一認(rèn)識(shí),還在快速發(fā)展中。在數(shù)據(jù)庫(kù)開發(fā)領(lǐng)域,強(qiáng)調(diào)開發(fā)體驗(yàn)實(shí)現(xiàn)簡(jiǎn)潔開發(fā)、良好兼容體驗(yàn)成為各家的共識(shí);在打好基礎(chǔ)的情況下,如何好用、易用成為關(guān)注重點(diǎn)。
除上述技術(shù)熱點(diǎn)外,數(shù)據(jù)分析領(lǐng)域的湖倉(cāng)一體,NoSQL領(lǐng)域中圖、時(shí)序產(chǎn)品的企業(yè)級(jí)特性,AI與數(shù)據(jù)庫(kù)結(jié)合等方向,也是較為火熱的發(fā)展方向。
從企業(yè)角度來(lái)看,也呈現(xiàn)出若干鮮明特點(diǎn)。國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商經(jīng)過(guò)多年發(fā)展已逐步成熟,一方面受到來(lái)自政策、資本層面等諸多利好因素促進(jìn)發(fā)展迅猛,一方面嘗試拓展更多領(lǐng)域,涉足海外。云廠商發(fā)展特點(diǎn)一方面通過(guò)構(gòu)建新一代云原生、Serverless能力,重塑產(chǎn)品能力;另一方面針對(duì)客群向ToB、ToG端變化趨勢(shì),突出在產(chǎn)品生態(tài)能力及垂直解決方案方面的投入。新興廠商則在垂直領(lǐng)域(如HTAP、NoSQL、兼容性)深耕,尋找差異化競(jìng)爭(zhēng)路線。
數(shù)據(jù)庫(kù)產(chǎn)品半年度盤點(diǎn)
主流數(shù)據(jù)庫(kù)的版本升級(jí)與更新亮點(diǎn)
在如此百花爭(zhēng)鳴的2022下半年,dbaplus社群攜手一眾數(shù)據(jù)庫(kù)行業(yè)專家,匯總、梳理并提煉出主流數(shù)據(jù)庫(kù)近半年的版本更迭、性能優(yōu)化、功能提升等關(guān)鍵信息,希望對(duì)大家了解數(shù)據(jù)庫(kù)發(fā)展趨勢(shì),以及數(shù)據(jù)庫(kù)選型工作有所幫助和啟發(fā)。
本期要點(diǎn)
DB-Engines數(shù)據(jù)庫(kù)排行榜
一、RDBMS
Oracle發(fā)布23c Beta版本
MySQL 2022年下半年重大更新及技術(shù)要點(diǎn)分析
PostgreSQL發(fā)布15.0版本
OceanBase發(fā)布3.2.4及4.0 Beta版本
二、NoSQL
Redis 7.0.3至7.0.7版本重要修復(fù)內(nèi)容說(shuō)明
RocksDB發(fā)布7.6.0版本
Neo4j 5版本發(fā)布
三、NewSQL
TiDB發(fā)布6.5 LTS版本和3個(gè)DMR版本
四、時(shí)序數(shù)據(jù)庫(kù)
TimescaleDB發(fā)布2.9.1版本
YMatrix發(fā)布5.0版本
五、大數(shù)據(jù)生態(tài)圈
Elastic下半年發(fā)布3大版本
Flink發(fā)布1.16.0版本
ClickHouse共發(fā)布6個(gè)版本
六、國(guó)產(chǎn)數(shù)據(jù)庫(kù)
SequoiaDB發(fā)布v5.2版本
QianBase?發(fā)布MPP-6.0.0版本和TP-14.2版本
ArkDB 2022年下半年更新技術(shù)要點(diǎn)
OushuDB發(fā)布5.0版本
AntDB發(fā)布7.0及7.2版本
七、云數(shù)據(jù)庫(kù)
華為云2022下半年重大更新總結(jié)
阿里云2022下半年重大更新總結(jié)
騰訊云2022下半年重大更新總結(jié)
京東云2022下半年重大更新總結(jié)
青云2022下半年重大更新總結(jié)
PieCloudDB發(fā)布社區(qū)版和企業(yè)版
推出dbaplus Newsletter的想法
DB-Engines數(shù)據(jù)庫(kù)排行榜
以下取自2022年12月的數(shù)據(jù),具體信息可以參考http://db-engines.com/en/ranking/,數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素:
- Google及Bing搜索引擎的關(guān)鍵字搜索數(shù)量;
- Google Trends的搜索數(shù)量;
- Indeed網(wǎng)站中的職位搜索量;
- LinkedIn中提到關(guān)鍵字的個(gè)人資料數(shù);
- Stackoverflow上相關(guān)的問題和關(guān)注者數(shù)。
RDBMS
Oracle發(fā)布23c Beta版本
在2022年10月18日的Oracle CloudWorld大會(huì)上,Oracle 宣布了Oracle Database 23c Beta 版,這一版本支持所有數(shù)據(jù)類型、任意工作負(fù)載和多種開發(fā)風(fēng)格。其中一個(gè)亮點(diǎn)是提出了JSON Relational Duality 能力,在數(shù)據(jù)庫(kù)領(lǐng)域?qū)㈥P(guān)系型和對(duì)象型兩種架構(gòu)的優(yōu)勢(shì)合二為一,既避免了關(guān)系型從開發(fā)人員角度看需要理解的復(fù)雜星型模型,又避免了從文檔對(duì)象型模式固有的冗余存儲(chǔ)、數(shù)據(jù)更新的高代價(jià)和困難的并發(fā)控制能力。
Oracle Database 23c,代號(hào)為“App Simple”,專注于簡(jiǎn)化應(yīng)用程序開發(fā)。它提供跨越任何數(shù)據(jù)執(zhí)行交易和查詢,以及在任何數(shù)據(jù)組合上運(yùn)行任何工作負(fù)載的獨(dú)特能力,其特有架構(gòu)可支持容器、事件、REST、低代碼、SaaS等。
Oracle Database 23c 提供了300+個(gè)新特性和增強(qiáng)功能,可為使用 JSON、圖形或微服務(wù)編寫的應(yīng)用程序?qū)崿F(xiàn)突破性的開發(fā)人員生產(chǎn)力,同時(shí)還增強(qiáng)了 SQL 以使其更易于使用,并將 JavaScript 添加為存儲(chǔ)過(guò)程語(yǔ)言。值得注意的是,Oracle Database 23 正式版本預(yù)計(jì)2023年發(fā)布。
Oracle 23c 重要新特性摘要:
- JSON 關(guān)系二元性(JSON Relational Duality)
- 可操作屬性圖
- 微服務(wù)支持
- SQL 域(SQL Domains)
- 自動(dòng)物化視圖
- 使用機(jī)器學(xué)習(xí)增強(qiáng)實(shí)時(shí)統(tǒng)計(jì)
- 無(wú)鎖列值保留
- 滾動(dòng)補(bǔ)丁
- 實(shí)時(shí) SQL 計(jì)劃管理
- K8s 和 Podman 上的 RAC
- 開發(fā)者角色
- SQL 防火墻(SQL Firewall)
- OKafka
- Javascript存儲(chǔ)過(guò)程
- PDB級(jí)別的只讀備庫(kù)(Read-Only Per-PDB Standbys)
- 單表支持4096列
- Azure AD Oauth2 集成
- 多種數(shù)據(jù)類型和 SQL 增強(qiáng):增加布爾數(shù)據(jù)類型;在SQL 方面添加了不帶FROM子句的SELECT 查詢;基于別名的GROUP BY;表關(guān)連的直接更新;Unicode-14 支持等諸多新特性
MySQL 2022年下半年重大更新及技術(shù)要點(diǎn)分析
一、下半年重大更新總結(jié):
2022年下半年,MySQL 8.0發(fā)布了2個(gè)版本,8.0.30和8.0.31,有不少值得關(guān)注的新特性和bug修復(fù),MySQL HeatWave在 AWS 上推出,AWS用戶現(xiàn)在可以使用一個(gè)MySQL服務(wù)就可以運(yùn)行事務(wù)處理、實(shí)時(shí)分析和機(jī)器學(xué)習(xí),以下是簡(jiǎn)要介紹:
1、GIPK(Generated Invisible Primary Keys)
當(dāng)開啟GIPK模式后,可以允許沒有顯式定義主鍵的InnoDB表,自動(dòng)生成不可見的主鍵,生成的主鍵名稱為'my_row_id'并且無(wú)法更改。
2、replica_parallel_workers=0棄用
現(xiàn)在這樣做會(huì)引發(fā)警告。要在沒有警告的情況下獲得相同的結(jié)果(即使用單線程),請(qǐng)改為設(shè)置 replica_parallel_workers=1
3、XA事務(wù)與復(fù)制
以前,當(dāng)復(fù)制拓?fù)渲械姆?wù)器節(jié)點(diǎn)在執(zhí)行 XA PREPARE、XA COMMIT 或 XA ROLLBACK 時(shí)意外停止時(shí),無(wú)法保證恢復(fù)。現(xiàn)在,無(wú)論MySQL 使用經(jīng)典復(fù)制或 MySQL 組復(fù)制,均可在整個(gè)拓?fù)渲斜3忠恢碌?XA 事務(wù)狀態(tài)傳播,這樣所有服務(wù)器始終處于同一狀態(tài)。
4、innodb_doublewrite 系統(tǒng)變量的新設(shè)置
innodb_doublewrite 系統(tǒng)變量有兩個(gè)新設(shè)置,DETECT_ONLY 和 DETECT_AND_RECOVER。使用 DETECT_ONLY 設(shè)置僅用于檢測(cè)不完整的頁(yè)面寫入。DETECT_AND_RECOVER 設(shè)置等同于現(xiàn)有的 ON 設(shè)置。
5、動(dòng)態(tài)配置Redo日志容量
InnoDB 現(xiàn)在支持重做日志容量的動(dòng)態(tài)配置。從 MySQL 8.0.30 開始,InnoDB 在數(shù)據(jù)目錄下的#innodb_redo 目錄下維護(hù)了 32 個(gè)重做日志文件。之前InnoDB默認(rèn)在data目錄下創(chuàng)建兩個(gè)redo log文件。
6、修復(fù)啟用AHI的bug
修復(fù)了構(gòu)建哈希索引時(shí),在高并發(fā)實(shí)例上啟用自適應(yīng)哈希索引 (AHI) 會(huì)導(dǎo)致臨時(shí) AHI 搜索latch爭(zhēng)用的bug。
7、并行索引構(gòu)建
InnoDB 現(xiàn)在支持并行索引構(gòu)建,這提高了索引構(gòu)建性能。
8、MySQL優(yōu)化器對(duì)集合操作的內(nèi)部管理得到改進(jìn)
包括如下:
當(dāng)您嘗試以下查詢時(shí)不會(huì)拋出舊的 ER_NOT_SUPORTED_YET錯(cuò)誤:
MySQL 現(xiàn)在遵循 SQL 標(biāo)準(zhǔn)中指定的語(yǔ)義,因此外部limit不能覆蓋內(nèi)部較少的limit。這意味著表達(dá)式 (SELECT … LIMIT 3) LIMIT 5 最多可以返回三行。
UNION DISTINCT 和 UNION ALL 現(xiàn)在可以以任意組合嵌套。
9、Rewriter插件可根據(jù)重寫器規(guī)則表重寫 SQL 查詢
以前,所有查詢都需要重寫,包括來(lái)自任何用戶的查詢,無(wú)論權(quán)限如何,包括內(nèi)部系統(tǒng)查詢,此 MySQL 版本提供了一種機(jī)制,允許插件跳過(guò)某些查詢的重寫,例如由系統(tǒng)線程執(zhí)行的查詢和來(lái)自指定用戶的查詢。
10、監(jiān)視在線緩沖池大小調(diào)整操作的狀態(tài)變量
提供了兩個(gè)新的狀態(tài)變量,用于監(jiān)視在線緩沖池大小調(diào)整操作。Innodb_buffer_pool_resize_status_code 狀態(tài)變量報(bào)告指示在線緩沖池大小調(diào)整操作階段的狀態(tài)代碼。Innodb_buffer_pool_resize_status_progress 狀態(tài)變量報(bào)告一個(gè)百分比值,指示每個(gè)階段的進(jìn)度。
二、明年展望:
MySQL HeatWave Lakehouse預(yù)計(jì)明年一季度推出,使客戶能夠處理和查詢對(duì)象存儲(chǔ)中高達(dá)數(shù)百 TB 的各種文件格式(例如 CSV 和 Parquet,以及 Aurora 和 Redshift 備份)數(shù)據(jù)。
PostgreSQL發(fā)布15.0版本
2022下半年,PostgreSQL主要發(fā)布了12、13、14版本系列的修正版本12.12、12.13、13.8、13.9、14.5、14.6及15版本系列正式版本15.0、15.1,其中值得關(guān)注的新特性有:
1、開發(fā)者體驗(yàn)類:發(fā)布有條件執(zhí)行數(shù)據(jù)更新操作的MERGE功能;全面支持JSON的創(chuàng)建、檢索、更新、屬性探知;支持全面的正則表達(dá)式功能和多范圍聚合功能。
2、性能提升類:備份和日志均新增支持Zstandard算法;對(duì)內(nèi)存和磁盤數(shù)據(jù)排序性能提升25%--400%。
3、后臺(tái)管理類:日志引入jsonlog格式,以方便結(jié)構(gòu)化提取、聚合、分析使用;邏輯復(fù)制支持行過(guò)濾和列過(guò)濾操作,可以對(duì)庫(kù)中指定表進(jìn)行發(fā)布和訂閱。
4、開發(fā)者體驗(yàn)類:發(fā)布有條件執(zhí)行數(shù)據(jù)更新操作(INSERT、UPDATE、DELETE)的MERGE功能,以方便開發(fā)者通過(guò)相對(duì)簡(jiǎn)單、更有直觀意義的查詢來(lái)執(zhí)行相應(yīng)的數(shù)據(jù)更新操作;支持最新SQL/JSON標(biāo)準(zhǔn),全面支持JSON的創(chuàng)建、檢索、更新、屬性探知;支持全面的正則表達(dá)式功能,包括regexp_count 、 regexp_instr 、 regexp_like 和 regexp_substr 等功能;新的range_agg多范圍multirange聚合功能。
5、性能提升類:備份和日志均新增支持Zstandard算法,包括原來(lái)支持的GZ4,LZ4算法,現(xiàn)備份和日志操作均支持上述壓縮算法,以方便開發(fā)者配置不同的場(chǎng)景使用不同算法;對(duì)內(nèi)存和磁盤數(shù)據(jù)排序性能提升顯著,使用標(biāo)準(zhǔn)benchmark測(cè)試,性能提升25%--400%;相應(yīng)地同步提升了窗口函數(shù)如row_number()、rank()、dense_rank()、SELECT DISTINCT等操作的性能。
6、后臺(tái)管理類:系統(tǒng)日志引入jsonlog格式,以方便其他應(yīng)用軟件可以結(jié)構(gòu)化地提取、聚合、分析日志;邏輯復(fù)制現(xiàn)支持行過(guò)濾和列過(guò)濾,同時(shí)也可以指定表進(jìn)行發(fā)布和訂閱;\dconfig指令可以一鍵檢查系統(tǒng)參數(shù)中,所有與系統(tǒng)缺省值不同的參數(shù)配置,大大方便管理人員。
OceanBase發(fā)布3.2.4及4.0 Beta版本
2022年7月至今,OceanBase數(shù)據(jù)庫(kù)先后發(fā)布了3.2.4、4.0版本,企業(yè)版及社區(qū)版共計(jì)新增特性及功能164項(xiàng)。其中值得關(guān)注的新特性有:
1、單機(jī)分布式一體化架構(gòu):自適應(yīng)日志流、支持超大事務(wù)、RTO 時(shí)間降低到 8s 以內(nèi)、NTP 服務(wù)依賴優(yōu)化、支持分區(qū)數(shù)量能力上限等版本基礎(chǔ)核心能力構(gòu)建。
2、小型化及小規(guī)格部署能力:降低分布式數(shù)據(jù)庫(kù)的硬件門檻,減少數(shù)據(jù)庫(kù)自身的資源開銷,最小支持在4C8G環(huán)境下穩(wěn)定運(yùn)行,小規(guī)格單機(jī)部署亦具備完整功能。通過(guò)平滑擴(kuò)縮容,用戶可由單機(jī)平滑擴(kuò)容到多機(jī),多機(jī)亦可平滑縮容到單機(jī)。
3、高可用能力:實(shí)現(xiàn)RTO <8秒,通過(guò)自動(dòng)選主協(xié)議以及全面的探活機(jī)制,進(jìn)一步將機(jī)器故障最壞場(chǎng)景下系統(tǒng)恢復(fù)時(shí)間降低到8s以內(nèi),幫助業(yè)務(wù)系統(tǒng)更快恢復(fù),最大程度減少業(yè)務(wù)影響,給業(yè)務(wù)帶來(lái)持續(xù)可用的能力。
4、內(nèi)核能力增強(qiáng):在多租戶的核心能力方面, 首次將 IOPS 納入隔離體系,并將集群級(jí)別粒度的備份能力細(xì)化拆分到租戶級(jí)別粒度,最小可支持按租戶級(jí)別的備份及恢復(fù)。支持主鍵變更、列類型變更等用戶期待已久的DDL能力,LOB 規(guī)格上限擴(kuò)展,支持表鎖和死鎖檢測(cè)等。
5、兼容性增強(qiáng):支持 DDL 語(yǔ)句的外鍵約束,支持視圖列信息展示,支持 DML 觸發(fā)器,支持更多 SQL MODE 和函數(shù)等。擴(kuò)展支持 SEQUENCE 對(duì)象,支持存儲(chǔ)程序,支持 SQL 文本中的預(yù)處理,支持自增列作為分區(qū)鍵。其中,Oracle模式新增系統(tǒng)包 DBMS_SCHEDULER,系統(tǒng)包函數(shù)補(bǔ)充完善。MySQL模式支持地理信息系統(tǒng)(GIS),兼容 MySQL Binlog 解析,新增系統(tǒng)包 DBMS_RESOURCE_MANAGER,便于用戶創(chuàng)建和維護(hù)資源使用組、資源管理計(jì)劃。
6、性能大幅提升:SYSBENCH 性能優(yōu)化,綜合讀寫性能(Read Write)1024 并發(fā)測(cè)試性能相比于 3.1 版本提升 1 倍。TPC-H 查詢性能優(yōu)化,100GB 數(shù)據(jù)量順序執(zhí)行 22 條 SQL,整體性能相比于 3.1 版本提升 5 倍。
7、HTAP能力:正式支持用戶級(jí)TP/AP資源隔離,幫助用戶對(duì)資源隔離進(jìn)行更細(xì)微的控制。如某個(gè)用戶執(zhí)行不同 SQL 使用不同的資源規(guī)格進(jìn)行隔離,通過(guò)細(xì)粒度的應(yīng)用方式幫助業(yè)務(wù)分配和隔離資源,減少業(yè)務(wù)之間的互相影響。
8、運(yùn)維能力提升:支持全鏈路追蹤,支持 SESSION 狀態(tài)的監(jiān)控和診斷(ASH),標(biāo)準(zhǔn)化視圖優(yōu)化,支持 Schema History 回收功能,支持自動(dòng)清空回收站功能等。
此外,2022年8月10日宣布全球開服OceanBase Cloud,隨著 4.0 的發(fā)布,OceanBase Cloud 覆蓋范圍將擴(kuò)展至更小規(guī)格。通過(guò)云上全托管的數(shù)據(jù)庫(kù),為用戶提供從初創(chuàng)企業(yè)、高增長(zhǎng)企業(yè)、成長(zhǎng)至成熟企業(yè)的全周期服務(wù)及云上創(chuàng)新能力。
NoSQL
Redis 7.0.3至7.0.7版本重要修復(fù)內(nèi)容說(shuō)明
2022下半年,Redis主要發(fā)布了7.0.3至7.0.7五個(gè)版本,從release notes中看,主要是修復(fù)了一些BUG,其中值得關(guān)注的新改進(jìn)/新修復(fù)有:
1、性能和資源利用率改進(jìn):
地理命令加速(#11535、#11522、#11552、#11579)
優(yōu)化命令返回雙精度值,主要影響 zset 命令(#11093)
在禁用客戶端驅(qū)逐時(shí)優(yōu)化客戶端內(nèi)存使用跟蹤操作 (#11348)
優(yōu)化大型 ZRANGESTORE 上的 zset 轉(zhuǎn)換 (#10789)
優(yōu)化在大型集群上發(fā)送 PING 的性能 (#10624)
允許在集群模式下更快地重啟 Redis (#10912)
2、CLI 工具的變化:
redis-benchmark 避免從CONFIG GET得到NOPERM而中止(#11096)
支持將缺少的集群端口添加到 redis-cli --cluster (#10344)
3、INFO 字段和內(nèi)省更改:
將缺失的分片 pubsub keychannel 計(jì)數(shù)添加到 CLIENT LIST (#10895)
在 INFO STATS 中添加缺失的 pubsubshard_channels 字段 (#10929)
4、Redis 7.0 版本中修復(fù)的問題:
修復(fù) Redis 7.0.6 在地理命令的距離回復(fù)中的回歸 (#11631)
TLS:在連接關(guān)閉時(shí)通知客戶端(#10931)
集群:修復(fù)握手和集群分片調(diào)用期間的崩潰 (#10942)
TLS:修復(fù)大量回復(fù)的問題 (#10909)
redis-server 命令行允許在同一個(gè)參數(shù)中傳遞配置名稱和值 (#10866)
支持不帶值的 --save 命令行參數(shù)以實(shí)現(xiàn)向后兼容性 (#10866)
修復(fù) TLS 錯(cuò)誤處理以避免超時(shí)連接丟失 (#11563)
修復(fù)對(duì) cluster-announce-*-port 的運(yùn)行時(shí)更改以在本地節(jié)點(diǎn)上生效 (#10745)
修復(fù) AUTH 設(shè)置為“keys”的 MIGRATE 獲取錯(cuò)誤的key名導(dǎo)致 MOVED 或 ACL 錯(cuò)誤(#11253)
修復(fù)驅(qū)逐與無(wú)惰性結(jié)合且 maxmemory-eviction-tenacity 設(shè)置為 100 時(shí)的掛起 (#11237)
修復(fù)了副本可能由于手動(dòng)故障轉(zhuǎn)移而嘗試將自己設(shè)置為其主服務(wù)器時(shí)的崩潰 (#11263)
修復(fù)啟用集群的副本節(jié)點(diǎn)可能將其主節(jié)點(diǎn)的主機(jī)名永久設(shè)置為“?”的錯(cuò)誤 (#10696)
5、其他一般改進(jìn):
帳戶分片 pubsub 通道內(nèi)存消耗 (#10925)
允許在加載和陳舊模式下執(zhí)行ECHO (#10853)
集群:當(dāng)節(jié)點(diǎn)只有一些key的時(shí)候,在遷移節(jié)點(diǎn)上拋出 -TRYAGAIN 而不是 -ASK 以實(shí)現(xiàn)multi-key命令 (#9526)
RocksDB發(fā)布7.6.0版本
RocksDB 7.6.0 現(xiàn)已發(fā)布,RocksDB 是一個(gè)來(lái)自 Facebook 的可嵌入的支持持久化的 key-value 存儲(chǔ)系統(tǒng),也可作為 C/S 模式下的存儲(chǔ)數(shù)據(jù)庫(kù),基于 LevelDB 構(gòu)建。更新內(nèi)容如下:
1、新的功能
添加 prepopulate_blob_cache 到 ColumnFamilyOptions;
支持使用 blob 緩存的二級(jí)緩存。在創(chuàng)建 Blob 緩存時(shí),用戶可以通過(guò)配置 LRUCacheOptions 中的 secondary_cache 來(lái)設(shè)置二級(jí) Blob 緩存;
當(dāng) blob 緩存和 block 緩存的 backing 緩存不同時(shí),計(jì)費(fèi) blob 緩存的內(nèi)存使用量;
改進(jìn) subcompaction 范圍劃分,使其可能更均勻。subcompaction 的更均勻分布將提高某些工作負(fù)載的壓縮吞吐量;
2、Public API changes
刪除了對(duì) RateLimiter 的 Customizable 支持并刪除了它的 CreateFromString () 和 Type () 函數(shù);
CompactRangeOptions::exclusive_manual_compaction 現(xiàn)在默認(rèn)為 false。這確保了 RocksDB 默認(rèn)不會(huì)引入人為的并行限制;
3、Bug 修復(fù)
修復(fù)從 7.4.0 開始的錯(cuò)誤,即在一個(gè) DB 上的任何 DropColumnFamily 之后,一些 fsync 操作可能被跳過(guò),直到它被重新打開。這可能會(huì)導(dǎo)致斷電時(shí)的數(shù)據(jù)丟失;
修復(fù)一個(gè)錯(cuò)誤,當(dāng)用戶配置一個(gè)包圍它的結(jié)構(gòu)時(shí),GenericRateLimiter 可能會(huì)使用 SetBytesPerSecond () 動(dòng)態(tài)地恢復(fù)設(shè)置的帶寬,例如,使用 GetOptionsFromString () 配置一個(gè)引用現(xiàn)有 RateLimiter 對(duì)象的選項(xiàng);
修復(fù) GenericRateLimiter 中的 race conditions;
修復(fù) FIFOCompactionPicker::PickTTLCompactiontotal_size 計(jì)算可能導(dǎo)致下溢的錯(cuò)誤;
4、性能改進(jìn)
與其在每次讀取操作中構(gòu)建 FragmentedRangeTombstoneList,現(xiàn)在它被構(gòu)建一次并存儲(chǔ)在不可變的 memtable s 中。這提高了從不可變的 memtables 中查詢 range tombstones 的速度。
將迭代器與集成的 BlobDB 實(shí)現(xiàn)結(jié)合使用時(shí),現(xiàn)在會(huì)在迭代器的位置更改時(shí)立即釋放 Blob cache handles。
如果設(shè)置了 optimize_multiget_for_io ReadOption flag,MultiGet 現(xiàn)在可以通過(guò)從多級(jí)讀取 SST 文件中的 data blocks 來(lái)并行執(zhí)行更多 IO。
Neo4j 5版本發(fā)布
Neo4j 5版本在性能、可擴(kuò)展性和操作敏捷性方面實(shí)現(xiàn)了重大改進(jìn),具體更新內(nèi)容包括:
1、查詢性能
Neo4j 工程師的運(yùn)行時(shí)優(yōu)化使 K-Hop 查詢變得更快。內(nèi)部基準(zhǔn)測(cè)試表明,對(duì)于 8-hop 查詢,Neo4j 5 的性能與其前身相比提高了 1000 倍。
Cypher clauses CONTAINS 和 ENDS WITH 廣泛用于按文本屬性過(guò)濾結(jié)果。Neo4j 5 中基于 trigrams 的新 TEXT 索引實(shí)現(xiàn)使它們的速度提高了數(shù)百倍。
公告稱,“結(jié)合其他內(nèi)部改進(jìn)和更優(yōu)化的查詢計(jì)劃,這些新功能使 Neo4j 5 成為我們有史以來(lái)最快的實(shí)現(xiàn)”。
Neo4j 5 還使編寫復(fù)雜的模式匹配查詢變得更加容易。Cypher 現(xiàn)在具有 label 和關(guān)系類型表達(dá)式的語(yǔ)法,允許用戶在各個(gè) label 和關(guān)系類型之間指定 Disjunction(OR)、Negation(NOT)和 Conjunction(AND)運(yùn)算符。
Aura 和 self-managed Neo4j 用戶可以獲得性能和語(yǔ)言改進(jìn)。
2、Sharding and Fabric
從版本 4 開始,Neo4j 可以使用 Fabric 從數(shù)據(jù)庫(kù)分片中讀取數(shù)據(jù),就好像它們是單個(gè)圖一樣。在 Neo4j 5 中,現(xiàn)在你可以使用 Cypher 的 Composite database 命令即時(shí)創(chuàng)建 Fabric 數(shù)據(jù)庫(kù)。當(dāng)你想要?jiǎng)?chuàng)建跨多個(gè)數(shù)據(jù)庫(kù)的查詢以打破隱藏洞察力和阻礙協(xié)作的孤島時(shí),F(xiàn)abric 也會(huì)派上用場(chǎng)。在 Neo4j 5 中,它已得到增強(qiáng),可以跨駐留在多個(gè)集群中的數(shù)據(jù)執(zhí)行聯(lián)合查詢。
3、Autonomous Clustering
如果你的受眾正在增長(zhǎng),那么你需要 Autonomous Clustering。從版本 3 開始,用戶就可以運(yùn)行多個(gè) Neo4j 數(shù)據(jù)庫(kù)并將它們橫向擴(kuò)展以每秒處理數(shù)萬(wàn)次查詢,并且仍然以客戶想要和應(yīng)得的毫秒延遲執(zhí)行。
然而,Neo4j 5 中的 Autonomous Clustering 將管理負(fù)擔(dān)完全從操作者轉(zhuǎn)移到了軟件上。你所要做的就是聲明你需要多少個(gè)主副本或輔助副本以及你希望如何在集群中管理這些副本,你的愿望就是 Neo4j 的 Cypher 命令。顧名思義,Autonomous Clustering 極大地減少了為響應(yīng)吞吐量變化而橫向擴(kuò)展或減少托管這些數(shù)據(jù)庫(kù)的服務(wù)器數(shù)量所需的人工工作,并充分利用你的基礎(chǔ)架構(gòu)的彈性。
4、Agile Operations
Neo4j Ops Manager 是一個(gè) UI 控制臺(tái),它為操作員提供了更多的管理控制權(quán)和跨數(shù)據(jù)庫(kù)、實(shí)例和集群的操作指標(biāo)的鳥瞰圖。
“為了向現(xiàn)代 DevOps 實(shí)踐和向云的轉(zhuǎn)變致敬,從 Neo4j 5 開始,你將在 Aura 發(fā)布的同時(shí)收到最新和最偉大的創(chuàng)新。此外,Neo4j 5 具有簡(jiǎn)化的升級(jí)體驗(yàn),使你能夠通過(guò)任意版本升級(jí)跳過(guò)次要版本,并在 autonomous clusters 中支持零停機(jī)滾動(dòng)升級(jí)?!?/p>
所有這些改進(jìn)使得在本地或你選擇的云上運(yùn)行 Neo4j 圖形數(shù)據(jù)庫(kù)工作負(fù)載變得更加容易和高效,確保 feature parity 和與 Aura 的兼容性,因此你可以在 Aura 中開發(fā)和測(cè)試并在自我管理的實(shí)例上運(yùn)行生產(chǎn)(反之亦然)。如果你已經(jīng)是 Aura 用戶,則不必?fù)?dān)心管理負(fù)擔(dān)或你的數(shù)據(jù)庫(kù)是否能夠處理額外的負(fù)載。性能、可擴(kuò)展性和易操作性都已融入了 Aura。
NewSQL
TiDB發(fā)布6.5 LTS版本和3個(gè)DMR版本
一、下半年重大更新總結(jié):
2022 下半年,TiDB 在規(guī)?;?lián)機(jī)交易和實(shí)時(shí)分析兩大領(lǐng)域?qū)崿F(xiàn)快速的迭代創(chuàng)新,發(fā)布了 6.5 LTS 版本和 6.2、6.3、6.4 三個(gè) DMR 版本,累計(jì)優(yōu)化和更新功能超過(guò) 100 多項(xiàng)。11 月 1 日,TiDB Cloud Serverless Tier beta 版正式發(fā)布,秒級(jí)就可以創(chuàng)建一個(gè) HTAP 數(shù)據(jù)庫(kù)并獲得流暢的開發(fā)體驗(yàn)。
在近半年發(fā)布的 TiDB 新版本中,值得關(guān)注的功能亮點(diǎn)主要包括:
1、更成熟的內(nèi)核:TiDB 針對(duì)內(nèi)核重要特性集合用力打磨,提供更為順滑的體驗(yàn)。v6.1 分區(qū)表 GA 并加入了動(dòng)態(tài)裁剪,后續(xù)版本陸續(xù)加入分區(qū)交換、兼容 Linear Hash 分區(qū)、針對(duì)分區(qū)的優(yōu)化器加強(qiáng)等,v6.5 引入分區(qū)重組,支持分區(qū)合并與分區(qū)分裂;JSON 對(duì)于需要靈活 Schema 的場(chǎng)景非常重要,v6.2 到 v6.5 版本,引入了完整的 MySQL 5.7 兼容函數(shù)、JSON 生成列、JSON+ 表達(dá)式索引支持、生態(tài)工具兼容支持、TiFlash JSON 支持加強(qiáng)等;在線 DDL 是 TiDB 重要設(shè)計(jì)優(yōu)勢(shì),新版本在 DDL 串行的基礎(chǔ)上支持 DDL 并發(fā),使用 Metadata Lock 改進(jìn) DDL 對(duì) DML 的干擾,索引構(gòu)建性能在 v6.5 中實(shí)現(xiàn) 10 倍提升。
2、多樣化災(zāi)備能力:TiDB 打造多樣化的災(zāi)備能力,助力業(yè)務(wù)連續(xù)性的提升。PiTR 在 v6.2 GA 并在后續(xù)版本中實(shí)現(xiàn)了多個(gè)方面的持續(xù)增強(qiáng):減少備份文件大小和數(shù)量,實(shí)現(xiàn)跨云復(fù)制,穩(wěn)定性增強(qiáng),v6.5 新增細(xì)粒度 PiTR 等。通過(guò)全量 + 增強(qiáng)備份恢復(fù)數(shù)據(jù)庫(kù),相比 Flashback,PiTR 不受 GC 時(shí)間長(zhǎng)短影響,提供對(duì)集群、數(shù)據(jù)庫(kù)、表級(jí)別的數(shù)據(jù)恢復(fù)的能力,全量 + 增量設(shè)計(jì)減少所需的快照備份頻次,減少對(duì)集群性能的影響?;趥浞莼謴?fù)的災(zāi)備方面,BR 快照備份支持?jǐn)帱c(diǎn)續(xù)傳;基于 CDC 的災(zāi)備方面,TiCDC 吞吐性能得到大幅提升,達(dá)到單表 30M 每秒,提供下游集群一致性讀取的能力。
3、產(chǎn)品易用性提升:TiDB 近半年發(fā)布的版本提供更多新特性來(lái)提升易用性:AND 操作下的索引歸并讀取,過(guò)往版本加入了在 OR 條件下的 Index Merge,v6.5 加入 AND 運(yùn)算下 Index Merge 支持;TiFlash 支持 INSERT INTO SELECT,將 TiFlash 算完的報(bào)表進(jìn)行回寫以應(yīng)對(duì)高并發(fā)讀?。籿6.5 引入完整的批次自動(dòng)拆分機(jī)制,提供完整的大事務(wù)自動(dòng)拆分支持。
4、豐富的應(yīng)用開發(fā)者生態(tài):TiDB 注重應(yīng)用開發(fā)者生態(tài)的構(gòu)建,v6.1 以來(lái),TiDB 加入了更好的常見 Framework 兼容,與更多的上下游生態(tài)廠商實(shí)現(xiàn)產(chǎn)品生態(tài)的對(duì)接,例如 Vercel、HashiCorp、Retool 等。除了之前已經(jīng)支持的 Apache Flink 和 Kafka 等流處理框架,v6.5 版本中 TiCDC 支持向 Object Storage 寫入。
時(shí)序數(shù)據(jù)庫(kù)
TimescaleDB發(fā)布2.9.1版本
TimescaleDB 發(fā)布的2.9.1版本增加了對(duì)分布式超表(多節(jié)點(diǎn) TimescaleDB)的支持,并添加了一些新特性和功能增強(qiáng),讓用戶對(duì)數(shù)據(jù)的控制更加清晰和靈活。此版本包含自 2.9.0 版本以來(lái)的錯(cuò)誤修復(fù),是升級(jí)的高優(yōu)先級(jí),官方建議盡快升級(jí)。
Bug 修復(fù):
修復(fù) CAgg 對(duì) CAgg bucket 大小的驗(yàn)證問題(#5072);
修復(fù)了對(duì)具有重命名列的 caggs 啟用壓縮的問題(#5101);
修復(fù)在 Windows 上針對(duì) PG15 的構(gòu)建(#5106);
修復(fù) postgres 服務(wù)器在 background worker 退出時(shí)重啟的問題(#5117);
修復(fù)更新腳本中 job_errors 的權(quán)限問題(#5121)。
YMatrix發(fā)布5.0版本
2022下半年,YMatrix (原MatrixDB )完成 4.6.及4.7 兩個(gè)小版本迭代,并正式發(fā)布了全新YMatrix 5.0 版本。值得關(guān)注的更新有:
1、全場(chǎng)景性能提升:時(shí)序?qū)懭胄阅苓_(dá) 1.52 億數(shù)據(jù)點(diǎn)/秒,對(duì)比TimescaleDB查詢耗時(shí)縮短5.1 倍;基于SSB 測(cè)試基準(zhǔn)比 Clickhouse 快 27%;對(duì)比Greenplum,在多表關(guān)聯(lián)分析場(chǎng)景上實(shí)現(xiàn)了數(shù)倍的性能提升;對(duì)比Spark,在機(jī)器學(xué)習(xí)場(chǎng)景上的性能是其 8 倍;在 Intel 實(shí)驗(yàn)室的 TPC-B 國(guó)際標(biāo)準(zhǔn)測(cè)試中,主鍵查詢 tps 高達(dá) 160 萬(wàn)。
2、全新數(shù)據(jù)庫(kù)架構(gòu):引入 etcd 集群來(lái)管理數(shù)據(jù)庫(kù)集群狀態(tài),實(shí)現(xiàn)了數(shù)據(jù)庫(kù)集群主節(jié)點(diǎn)(Master)和主節(jié)點(diǎn)備用節(jié)點(diǎn)(Standby)的自動(dòng)故障切換,同時(shí)加強(qiáng)了數(shù)據(jù)節(jié)點(diǎn)(Segment)的主(Primary)從(Mirror)副本自動(dòng)故障切換。
3、新增向量化執(zhí)行引擎:專門為面向列的存儲(chǔ)引擎(如 MARS2,AOCO)打造的高性能執(zhí)行引擎。對(duì)于常見查詢,相比面向行處理的傳統(tǒng)執(zhí)行引擎可獲得1到2個(gè)數(shù)量級(jí)的性能提升。
4、MARS2 存儲(chǔ)性能大幅優(yōu)化:優(yōu)化壓縮策略及分區(qū)表寫入,顯著降低內(nèi)存使用量;優(yōu)化查詢過(guò)濾效果,減少不必要的 I/O 消耗。
5、新增編碼鏈壓縮算法:支持多種編碼、壓縮算法,可靈活組合各類算法,以充分提升壓縮率;支持按列自定義編碼、壓縮算法組合。
6、新增平滑擴(kuò)容功能:支持不停機(jī)完成擴(kuò)容任務(wù),支持自定義數(shù)據(jù)節(jié)點(diǎn)集合(Segment Set),實(shí)現(xiàn)對(duì)部分表的重分布。
7、新增數(shù)據(jù)遷移工具 mxshift:支持全量遷移, 反向遷移和增量遷移。
8、圖形化界面升級(jí):增加查詢監(jiān)控、寫入測(cè)試和查詢測(cè)試功能。
大數(shù)據(jù)生態(tài)圈
Elastic下半年發(fā)布3大版本
Elastic 截至再2022年12月底發(fā)布了3個(gè)大版本,從8.3.x~8.5.x,每個(gè)大版本之間包括幾個(gè)小版本問題修復(fù);7.17.x依然在繼續(xù)支持持續(xù)更新,屬于過(guò)渡性升級(jí)版本,主要側(cè)重對(duì)已知問題修復(fù),也包括與8.x版本兼容性升級(jí)2022年下半年最重要得是推出了TSDB時(shí)序數(shù)據(jù)特性能力。
圖示:Elasticsearch 2022 下半年版本發(fā)布
8.3.x ~ 8.5.x版本的增強(qiáng)與提升:
1、ingest pipeline 數(shù)據(jù)處理性能提升
Elasticsearch Ingest 是一個(gè)內(nèi)部專用的數(shù)據(jù)處理功能模塊,支持比較多的豐富特性,也支持多個(gè)獨(dú)立索引合并大寬表的處理,算是一個(gè)輕量級(jí)的ETL,本次性能優(yōu)化提升不少,同比降低了10%CPU消耗,也提升了不少數(shù)據(jù)處理吞吐能力。
2、synthetic source 源數(shù)據(jù)合成重建
Elasticsearch 為了存儲(chǔ)原始數(shù)據(jù),設(shè)計(jì)了 source 來(lái)存儲(chǔ), 為了解決設(shè)計(jì)排序與聚合統(tǒng)計(jì),又設(shè)計(jì)了doc_values 存儲(chǔ)對(duì)應(yīng)的列,這造成了數(shù)據(jù)重復(fù)存儲(chǔ),現(xiàn)在通過(guò)混合方式,重建構(gòu)建 source,部分?jǐn)?shù)據(jù)可以來(lái)自列式doc_values,這會(huì)顯著節(jié)約索引存儲(chǔ)占用。
3、time series data stream 時(shí)序數(shù)據(jù)流
Elasticsearch 8.5.0 正式發(fā)布了時(shí)序數(shù)據(jù)特性,同步過(guò)去同類型數(shù)據(jù)節(jié)約了44%(官方介紹)的存儲(chǔ)空間;當(dāng)下時(shí)序數(shù)據(jù)庫(kù)領(lǐng)域,產(chǎn)品眾多,競(jìng)爭(zhēng)激烈,有專用的時(shí)序數(shù)據(jù)庫(kù),有混合時(shí)序特性的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù),也有混合時(shí)序特性的新型NOSQL數(shù)據(jù)庫(kù),有的強(qiáng)調(diào)存儲(chǔ)空間壓縮率,有的強(qiáng)調(diào)讀寫性能,有的是為了增強(qiáng)自身產(chǎn)品生態(tài)。Elasticsearch的 時(shí)序數(shù)據(jù)特性在時(shí)序數(shù)據(jù)庫(kù)領(lǐng)域不是最強(qiáng),若結(jié)合 Elasticsearch 平臺(tái)已有的各種特性能力,又是一款具有非常大的挑戰(zhàn)性的產(chǎn)品特性,在多數(shù)大中型規(guī)模以下應(yīng)用場(chǎng)景,幾乎可以不考慮其存儲(chǔ)成本問題,生態(tài)的豐富性完全可以抵消這部分,這是很多其它專用時(shí)序數(shù)據(jù)庫(kù)所不能的。
4、OpenJDK 19.x
JDK最近幾年發(fā)布新特性與版本都很快,業(yè)界當(dāng)前應(yīng)用最廣泛依然是JDK8、JDK11,更高版本的無(wú)論是應(yīng)用系統(tǒng)還是中間件都很少, Elasticsearch 當(dāng)前已經(jīng)升級(jí)到 OpenJDK 19.x,為了更好的性能或者更多的特性,Elasticsearch 敢為天下先,為廣大Java領(lǐng)域的開發(fā)者提供了很好的學(xué)習(xí)參考。
Flink發(fā)布1.16.0版本
1、引入 SQL Gateway,支持用戶方便的提交 Flink SQL 作業(yè);
2、繼續(xù)完善Hive SQL 的兼容性(達(dá)到94.1%),且SQL Gateway支持兼容HiveServer2協(xié)議,Hive作業(yè)和Hive生態(tài)遷移到Flink更加容易;
3、支持通過(guò)Join Hint指定Join的策略,干預(yù)不合理的執(zhí)行計(jì)劃;
4、批SQL作業(yè)支持自適應(yīng)HashJoin策略,避免作業(yè)異常,提交作業(yè)運(yùn)行穩(wěn)定性;
5、引入了預(yù)測(cè)執(zhí)行機(jī)制,解決問題機(jī)器導(dǎo)致批Flink作業(yè)處理慢的問題,提高作業(yè)運(yùn)行穩(wěn)定性;
6、引入了混合 Shuffle 模式,使得Flink批作業(yè)資源利用更加合理,并提升 Shuffle 效率;
7、進(jìn)一步改進(jìn)了 Blocking Shuffle 的可用性和性能,并引入兩種壓縮率更高的壓縮算減少存儲(chǔ)空間;
8、支持動(dòng)態(tài)分區(qū)拆解,提高了批SQL作業(yè)讀分區(qū)表的執(zhí)行效率;
9、進(jìn)一步完善了Changelog Statebackend,達(dá)到生產(chǎn)可用;
10、改進(jìn)了RocksDB StateBackend Rescaling的性能,并改進(jìn)其監(jiān)控體驗(yàn),提高可運(yùn)維性;
11、支持配置透支緩沖區(qū),減少 Checkpoint 的間隔;
12、支持配置從 Aligned Checkpoint切換到 Unaligned Checkpoint 的時(shí)間點(diǎn);
13、支持對(duì)部分流SQL作業(yè)非確定性問題的提交時(shí)自動(dòng)檢測(cè)和修正;
14、改進(jìn)流 SQL 維表 Join 能力,提供異步、緩存、重試等技術(shù);
15、進(jìn)一步補(bǔ)全PyFlink API、Connector 的能力和完善“線程“模型功能,功能及性能達(dá)到全面生產(chǎn)可用;
16、展了多個(gè) DDL 語(yǔ)法以幫助用戶更好的使用 SQL;
17、引入DataStream#cache API,支持緩存 Transformation 的執(zhí)行結(jié)果。
ClickHouse共發(fā)布6個(gè)版本
2022年下半年,ClickHouse主要發(fā)布了6個(gè)release 版本,其中值得關(guān)注的特性有:
1、多種Join算法支持
V22.5開始提供parallel_hash,對(duì)于大型連接特別有用,在這種情況下,高并行度可以將查詢執(zhí)行時(shí)間減少 80% 以上;
V22.7 提供full_sorting_merge;
V22.12 提供 grace_join,一種基于Grace Hash的非內(nèi)存限制的Join算法。
2、ReplicatedMergeTree支持INSERT失敗重試
當(dāng)ClickHouse Keeper 或 ZooKeeper 的連接暫時(shí)丟失時(shí),或者長(zhǎng)時(shí)間運(yùn)行的INSERT操作失敗時(shí)。數(shù)據(jù)塊現(xiàn)在將被重試,以防止整個(gè)INSERT查詢失敗,重試次由insert_keeper_max_retries參數(shù)控制。
3、輕量級(jí)刪除
V22.8 開始提供實(shí)驗(yàn)性的輕量級(jí)刪除功能,支持DELETE FROM [db.]table [WHERE expr]語(yǔ)法。它是一種異步的 mutation 操作,把刪除的數(shù)據(jù)用掩碼標(biāo)記,在查詢的時(shí)候過(guò)濾,在分區(qū)合并的時(shí)候徹底刪除。
4、Final查詢的并行執(zhí)行提升
V22.7開始,F(xiàn)inal查詢將data parts拆分并將它們分布在多個(gè)線程中,以提升FINAL查詢更多的數(shù)據(jù)并行性。
5、Too many parts 檢查條件放寬
V22.10開始,ClickHouse放寬了Too many parts檢查。默認(rèn)情況下,如果分區(qū)中活動(dòng)部件的數(shù)量超過(guò) 300(可通過(guò)配置parts_to_throw_insert),ClickHouse 將拋出異常。而現(xiàn)在,通過(guò)設(shè)置max_avg_part_size_for_too_many_parts(默認(rèn)值:10 GiB),允許非常大的分區(qū) (100+ TB)存在,而不會(huì)拋出任何錯(cuò)誤。
6、支持從數(shù)據(jù)湖查詢
V22.11 開始提供 Apache Hudi 和 Delta Lake 的表引擎和表函數(shù),用于從“數(shù)據(jù)湖”查詢和攝取數(shù)據(jù)。
7、云存儲(chǔ)支持
繼續(xù)S3后,V22.11支持阿里云OSS的支持,提供OSS表引擎和表函數(shù)。
8、日期類型支持的范圍擴(kuò)展
V22.8開始Date32和DateTime64支持從1900年到2299 年的日期,在以前的版本中,支持的時(shí)間間隔僅從1925年到2283年。
9、提供官方版本的NodeJS客戶端
繼Java、Python和GO的官方語(yǔ)言客戶端之后,現(xiàn)在提供了官方的NodeJS客戶端。
10、內(nèi)置簡(jiǎn)單圖表工具和監(jiān)控Dashboard
V22.7 提供內(nèi)置的Play UI,可以繪制一些基本圖表;
V22.9 提供了內(nèi)置的監(jiān)控Dashboard,監(jiān)控ClickHouse Server的基本運(yùn)行指標(biāo)。
國(guó)產(chǎn)數(shù)據(jù)庫(kù)
SequoiaDB發(fā)布v5.2版本
2022下半年,巨杉數(shù)據(jù)庫(kù)主要發(fā)布了v5.2版本,通過(guò)對(duì)實(shí)時(shí)能力的提升,讓全量數(shù)據(jù)的價(jià)值從「內(nèi)部離線」向「實(shí)時(shí)對(duì)客」進(jìn)一步釋放。其中值得關(guān)注的新特性有:
1、查詢更實(shí)時(shí),所有數(shù)據(jù)可毫秒級(jí)訪問
面向結(jié)構(gòu)化數(shù)據(jù),SequoiaDB v5.2版本提供深度的Join優(yōu)化及列存微分區(qū)技術(shù),在多個(gè)查詢場(chǎng)景下,性能達(dá)到了毫秒級(jí)實(shí)時(shí)返回;分析場(chǎng)景中,性能更獲得了10倍以上提升,讓數(shù)據(jù)湖的查詢分析更實(shí)時(shí)。
2、存取更實(shí)時(shí),吞吐量提升30%以上
面向非結(jié)構(gòu)化數(shù)據(jù),巨杉通過(guò)「分片并發(fā)」及「可變分區(qū)大小」的技術(shù),相比原有版本,SequoiaDB v5.2版本吞吐量提升30%以上,讓數(shù)據(jù)湖的非結(jié)構(gòu)化數(shù)據(jù)存取更實(shí)時(shí)。
3、診斷更實(shí)時(shí),業(yè)務(wù)問題分鐘級(jí)定位
巨杉數(shù)據(jù)庫(kù)發(fā)布SAC運(yùn)維管理工具的重要特性更新,運(yùn)行監(jiān)控方面提供了全GUI的性能及故障分析能力,SAC基于分布式架構(gòu)的實(shí)時(shí)診斷,可實(shí)現(xiàn)業(yè)務(wù)問題分鐘級(jí)定位。
4、全量數(shù)據(jù)生命周期管理,提升人效及能效
部署架構(gòu)方面,支持多配置硬件的混合部署,針對(duì)高并發(fā)數(shù)據(jù)與低并發(fā)數(shù)據(jù),做到按需調(diào)度;面向橫跨結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),提供一體化的開發(fā)及管理能力,提升人效及能效,在成本可控的前提下,實(shí)現(xiàn)全量數(shù)據(jù)實(shí)時(shí)可用。
QianBase?發(fā)布MPP-6.0.0版本和TP-14.2版本
2022下半年,QianBaseTP單機(jī)版主要發(fā)布了14.2版本,在產(chǎn)品的功能性、兼容性和數(shù)據(jù)安全方面進(jìn)行了提升,主要內(nèi)容如下:
1、DDL閃回,提供表級(jí)別的DDL閃回功能,對(duì)于用戶誤用drop table命令導(dǎo)致表被刪除的情況,可以從“回收站”閃回,大大提升了數(shù)據(jù)表安全的可操作性;
2、connect by 層次查詢,將分層數(shù)據(jù)按照層次關(guān)系展示;
3、DML閃回,提供表級(jí)別的DML閃回查詢功能;
4、提升Oracle的函數(shù)兼容性,包含但不局限于日期/時(shí)間函數(shù),轉(zhuǎn)換函數(shù),字符串函數(shù)等),數(shù)據(jù)類型等;
5、支持OnlineDDL功能,在線修改列字段類型,不影響業(yè)務(wù)運(yùn)行;
6、支持TP高可用集群部署,支持主備和一主多備;
7、db/schema/table/user級(jí)別的備份與恢復(fù);
8、支持國(guó)密算法的透明加密功能,極大的增強(qiáng)了數(shù)據(jù)安全性。
2022下半年,QianBaseMPP主要發(fā)布了6.0.0版本,在產(chǎn)品的功能性、安全性和高可用方面進(jìn)行了提升,主要內(nèi)容如下:
1、AO表支持主鍵和唯一索引,解決數(shù)據(jù)并發(fā)/批量插入時(shí),存在鍵值數(shù)據(jù)重復(fù)的問題;
2、多字符分隔符,TXT及CSV數(shù)據(jù)文件批量導(dǎo)入數(shù)據(jù)庫(kù)時(shí),支持多字符的行分隔符和列分隔符;
3、支持中文檢索,中英文混合檢索,可自建用戶字典;
4、強(qiáng)制訪問控制,提供不同密級(jí)數(shù)據(jù)混合存放在同表,對(duì)用戶寫讀數(shù)據(jù)進(jìn)行逐行的人為過(guò)濾和檢查,滿足"上讀下寫等更新"的安全原則;
5、審計(jì)功能,通過(guò)后臺(tái)記錄用戶執(zhí)行的DDL/DML操作,追蹤用戶執(zhí)行的操作和結(jié)果,并使用標(biāo)準(zhǔn)SQL表記錄,方便進(jìn)行數(shù)據(jù)過(guò)濾;
6、AO表透明加密支持國(guó)密SM4算法,AO表開啟明加密后,以塊為單位在寫入磁盤文件前自動(dòng)加密,文件中存的是密文,從文件讀入內(nèi)存后自動(dòng)解密;
7、用戶認(rèn)證國(guó)密支持了SM3算法,用戶配置SM3認(rèn)證方式之后,創(chuàng)建用戶的密碼將會(huì)以國(guó)密SM3算法對(duì)明文密碼進(jìn)行加密;
8、master宕機(jī)自動(dòng)切換standby。
ArkDB 2022年下半年更新技術(shù)要點(diǎn)
1、ArkDB兼容到mysql-8.0.31版本;
2、通過(guò)mysql-test提升ArkDB穩(wěn)定性;
3、更新共享存儲(chǔ)服務(wù)端的版本,并且修改了兼容度;
4、在mysql-test測(cè)試中,加入了對(duì)sysbench的兼容及引入,可以通過(guò)sysbench來(lái)做壓力測(cè)試了;
5、修復(fù)ArkDB事務(wù)在多次start的情況下,導(dǎo)致的REDO日志不完全,從而引起的從庫(kù)MVCC失效的問題;
6、修復(fù)熱點(diǎn)頁(yè)面再次被修改并加入到臟頁(yè)鏈表,導(dǎo)致ArkDB斷言錯(cuò)誤的問題;
7、修改在ArkDB主從切換時(shí),有可能被提前刷盤導(dǎo)致從庫(kù)讀到太新數(shù)據(jù)的問題;
8、修復(fù)REDO日志中有些記錄不能成對(duì)出現(xiàn)導(dǎo)致復(fù)制時(shí)從庫(kù)的邏輯出現(xiàn)異常的問題;
9、修改在主庫(kù)生成REDO日志時(shí),沒有將涉及到的Page頁(yè)面排序去重導(dǎo)致的從庫(kù)異常問題;
10、修改由于undo/btree配比不對(duì)導(dǎo)致主從復(fù)制變慢的問題;
11、ArkDB數(shù)據(jù)統(tǒng)計(jì)功能,修復(fù)兼容性問題;
12、Arkolap引擎增加了對(duì)分布式節(jié)點(diǎn)、多源節(jié)點(diǎn)的支持;
13、Arkolap增加內(nèi)部連接池,優(yōu)化性能;
14、其他若干問題修復(fù)。
OushuDB發(fā)布5.0版本
OushuDB 5.0通過(guò)多種創(chuàng)新的技術(shù),可支持超高并發(fā)、超大規(guī)模集群以及存算分離,解決了傳統(tǒng)數(shù)據(jù)庫(kù)由于復(fù)雜查詢并發(fā)的限制、集群規(guī)模的限制或者支持的表數(shù)目的限制等等而導(dǎo)致的分庫(kù)分表,從而可以真正的實(shí)現(xiàn)湖倉(cāng)一體,避免數(shù)據(jù)孤島,滿足湖倉(cāng)一體的ANCHOR標(biāo)準(zhǔn):
1、多活主節(jié)點(diǎn)支持超高并發(fā)
傳統(tǒng)數(shù)據(jù)庫(kù)大多只支持一主多備主節(jié)點(diǎn),主節(jié)點(diǎn)可以同時(shí)支持讀和寫查詢,備節(jié)點(diǎn)要么不支持寫,只做為備份節(jié)點(diǎn)使用,要么只支持讀。而OushuDB 5.0的所有主節(jié)點(diǎn)都可以支持讀寫,可以水平擴(kuò)展至很多主節(jié)點(diǎn),增強(qiáng)了HA(高可用)的同時(shí),還可以完全保證事務(wù)的ACID。結(jié)合OushuDB的多虛擬計(jì)算集群和多虛擬計(jì)算存儲(chǔ)集群技術(shù),可以支持超高并發(fā)復(fù)雜查詢,用戶不再需要分庫(kù)分表,從而解決數(shù)據(jù)孤島問題。
2、支持多虛擬存儲(chǔ)集群架構(gòu)
支持多虛擬存儲(chǔ)集群架構(gòu),可以無(wú)縫支持多種類型分布式存儲(chǔ)的多個(gè)集群,包括對(duì)象存儲(chǔ)、HDFS、Magma等,比如一個(gè)大型的OushuDB集群可以支持3個(gè)HDFS集群、1個(gè)對(duì)象存儲(chǔ)集群和1個(gè)Magma存儲(chǔ)集群,不同集群可以支持不同應(yīng)用場(chǎng)景。多虛擬存儲(chǔ)集群架構(gòu)還可以解決單一存儲(chǔ)集群的限制,例如單個(gè)HDFS集群的文件數(shù)限制。此外,多虛擬存儲(chǔ)集群架構(gòu)還可以做到業(yè)務(wù)級(jí)別的IO資源隔離。
3、分區(qū)表性能提升
通過(guò)壓縮等方式,極大的降低了元數(shù)據(jù)的體量,可以支持超大規(guī)模億級(jí)別的分區(qū)表數(shù)目。傳統(tǒng)分析型數(shù)據(jù)庫(kù)在表數(shù)目比較大,比如百萬(wàn)級(jí)別的時(shí)候,性能就會(huì)急劇下降,而OushuDB 5.0很好的解決了這個(gè)問題,提高了性能。
4、Update/delete性能提升
通過(guò)重新設(shè)計(jì)事務(wù)處理系統(tǒng),減少了Update/Delete操作對(duì)元數(shù)據(jù)的讀寫,提升了update/delete性能。比如針對(duì)只更新少量數(shù)據(jù)的場(chǎng)景,性能得到了數(shù)倍的提升。
AntDB發(fā)布7.0及7.2版本
一、2022下半年重大更新總結(jié)
2022年下半年,AntDB數(shù)據(jù)庫(kù)發(fā)布了7.0及7.2版本,其中值得關(guān)注的亮點(diǎn)有:
1、流式處理引擎
AntDB流式處理引擎,徹底將流式計(jì)算與傳統(tǒng)交易、分析型數(shù)據(jù)存儲(chǔ)進(jìn)行融合,用戶可以在數(shù)據(jù)庫(kù)引擎內(nèi),通過(guò)標(biāo)準(zhǔn)SQL自由定義數(shù)據(jù)結(jié)構(gòu)以及實(shí)時(shí)處理邏輯。數(shù)據(jù)在數(shù)據(jù)庫(kù)內(nèi)部的流對(duì)象、表對(duì)象之間自由流轉(zhuǎn)的過(guò)程中,用戶可以隨時(shí)通過(guò)建立索引、流表關(guān)聯(lián)、觸發(fā)器、物化視圖等方式對(duì)數(shù)據(jù)進(jìn)行性能優(yōu)化、數(shù)據(jù)加工、集群監(jiān)控以及業(yè)務(wù)邏輯定制。
開發(fā)人員完全擺脫了使用Java/Scala代碼定義數(shù)據(jù)加工邏輯的復(fù)雜性, “一款產(chǎn)品,滿足多種數(shù)據(jù)加工類型”也大幅度降低了整體技術(shù)框架的復(fù)雜度,提升系統(tǒng)的安全穩(wěn)定性與開發(fā)效率。
2、全新推出超融合架構(gòu)
超融合架構(gòu)是在統(tǒng)一框架下,實(shí)現(xiàn)內(nèi)存計(jì)算、交易、分析、流處理、時(shí)序等多種數(shù)據(jù)處理能力的融合,在HTAP概念上進(jìn)行進(jìn)一步拓展,將時(shí)序存儲(chǔ)、流處理執(zhí)行以及向量化分析等多引擎進(jìn)行統(tǒng)一架構(gòu)封裝,讓同一個(gè)數(shù)據(jù)庫(kù)集群支持多種業(yè)務(wù)模型,大大降低業(yè)務(wù)系統(tǒng)對(duì)多樣化數(shù)據(jù)需求支持的復(fù)雜性。
3、電信級(jí)核心交易能力優(yōu)化提升
原生異地多活分布式彈性架構(gòu),平滑擴(kuò)展、電信級(jí)高可用、同構(gòu)異構(gòu)數(shù)據(jù)庫(kù)數(shù)據(jù)同步、數(shù)據(jù)備份、備份恢復(fù)、高可用及容災(zāi)秒級(jí)切換、高性能高吞吐等關(guān)鍵能力優(yōu)化提升。
二、明年展望
在超融合一體流式引擎的基礎(chǔ)上,AntDB進(jìn)一步提升內(nèi)存計(jì)算、交易、分析、流處理、時(shí)序五大能力的融合深度。產(chǎn)品架構(gòu)上,AntDB將會(huì)繼續(xù)強(qiáng)化多租戶、云原生等能力,在公有云、混合云、私有云使用的存算分離架構(gòu)進(jìn)行進(jìn)一步的支持。
云數(shù)據(jù)庫(kù)
華為云2022下半年重大更新總結(jié)
一、GaussDB重大更新總結(jié)
2022下半年,GaussDB主要發(fā)布了2.22.07.2xx、2.22.08、2.22.09、2.22.10、2.22.11等版本,其中值得關(guān)注的新特性/新功能/新改進(jìn)/新修復(fù)有:
1、Oracle兼容性:支持自定義數(shù)據(jù)類型,新增系統(tǒng)函數(shù)、系統(tǒng)視圖以及高級(jí)包80+;
2、性價(jià)比:支持ECS混合部署、支持8U實(shí)例、ECS支持10GE網(wǎng)卡、在線規(guī)格變更;
3、高可用:Paxos異地容災(zāi)、快照備份、備機(jī)備份、管理面支持兩地三中心、MCS形態(tài)支持流式容災(zāi)、提供跨Region備份恢復(fù)API、云外備份等;
4、運(yùn)維:升級(jí)與底座解耦等;
5、硬件:支持NVMe盤、支持RAID5等。
二、GaussDB(for MySQL)重大更新總結(jié)
2022年6月至今,GaussDB(for MySQL)持續(xù)在產(chǎn)品競(jìng)爭(zhēng)力和用戶體驗(yàn)上進(jìn)行能力迭代,發(fā)布了以下新功能:
1、包周期實(shí)例支持存儲(chǔ)縮容;
2、支持庫(kù)表級(jí)時(shí)間點(diǎn)恢復(fù);
3、支持規(guī)格自動(dòng)變更配置(Autoscaling);
4、支持GaussDB(for MySQL)單節(jié)點(diǎn)重啟;
5、數(shù)據(jù)庫(kù)代理Proxy支持事務(wù)拆分;
6、數(shù)據(jù)庫(kù)代理Proxy支持客戶端IP透?jìng)鳎?/p>
7、支持批量轉(zhuǎn)包周期;
8、支持控制臺(tái)創(chuàng)建和管理數(shù)據(jù)庫(kù)和用戶。
三、GaussDB(for Redis)重大更新總結(jié)及明年展望
2022年,GaussDB(for Redis)發(fā)布多項(xiàng)企業(yè)級(jí)特性,持續(xù)提升用戶使用體驗(yàn)。GaussDB(for Redis)新發(fā)布的核心特性有:
1、企業(yè)級(jí)雙活容災(zāi):支持建立主備容災(zāi)實(shí)例,數(shù)據(jù)實(shí)時(shí)同步,10s RPO;
2、KMS數(shù)據(jù)加密:數(shù)據(jù)加密存儲(chǔ),提供企業(yè)級(jí)安全性保障;
3、ACL賬號(hào)管理:支持DB級(jí)鑒權(quán),200+賬號(hào)數(shù);
4、多租隔離:集群搭載多DB,支持6w+DB數(shù);
5、數(shù)據(jù)遷移增強(qiáng):支持跨云異構(gòu)雙向數(shù)據(jù)同步;
6、前綴搜索性能提升:SCAN match prefix*速度比開源Redis快1000倍;
7、服務(wù)化能力提升:大key診斷、白名單IP免密訪問等。
2023年,GaussDB(for Redis)將重點(diǎn)打造企業(yè)級(jí)特性,做企業(yè)級(jí)的KV數(shù)據(jù)庫(kù)。計(jì)劃推出適用于時(shí)延敏感場(chǎng)景的高性能主從版、適用于游戲客戶的PITR數(shù)據(jù)回滾等全新特性。
四、DRS重大更新總結(jié)
2022年下半年,DRS對(duì)外穩(wěn)固提升項(xiàng)目性能/客戶體驗(yàn)等,對(duì)內(nèi)推陳出新,優(yōu)化升級(jí)API,具體如下:
1、支持Redis單節(jié)點(diǎn)、雙機(jī)主備 – GaussDB(for Redis)遷移公測(cè);
2、支持GaussDB(for Redis) –Redis(Codis)反向回流遷移公測(cè);
3、支持MariaDB -RDS for MariaDB數(shù)據(jù)同步支持公測(cè);
4、DRS Open API接口響應(yīng)速度升級(jí),更多功能映射到Open API;
5、RDS for MySQL -MySQL支持流量回放的支持公測(cè);
6、MySQL -GaussDB(DWS) 數(shù)據(jù)同步DDL支持度增強(qiáng)。
阿里云2022下半年重大更新總結(jié)
一、阿里云數(shù)據(jù)庫(kù)自研產(chǎn)品
1、云原生關(guān)系型數(shù)據(jù)庫(kù)PolarDB
(1)PolarDB for MySQL:
多主架構(gòu)集群版發(fā)布上線;
支持大版本升級(jí)和多主架構(gòu);
Serverless V2和on ECS標(biāo)準(zhǔn)版單節(jié)點(diǎn)公測(cè)。
(2)PolarDB for PostgreSQL:
PolarDB PostgreSQL本次升級(jí)發(fā)布,主要集中在數(shù)據(jù)透明加密、增量備份等企業(yè)級(jí)特性和數(shù)據(jù)分片管理、性能線性擴(kuò)展等分布式特性方面。
(3)PolarDB-X:
一體化分布式數(shù)據(jù)庫(kù)PolarDB-X發(fā)布里程碑的大版本v2.2,主要是金融行業(yè)比較關(guān)注的國(guó)產(chǎn)ARM芯片適配、性價(jià)比優(yōu)化和云原生HTAP等特性升級(jí)。
2、云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB
(1)AnalyticDB PostgreSQL版:
秒級(jí)計(jì)費(fèi)能力全網(wǎng)發(fā)布;
發(fā)布計(jì)劃管理功能|實(shí)現(xiàn)分時(shí)彈性;
7.0版本重磅發(fā)布;
企業(yè)智能數(shù)據(jù)平臺(tái)發(fā)布(公測(cè));
Serverless公測(cè)版本發(fā)布;
實(shí)例數(shù)據(jù)共享功能GA。
(2)AnalyticDB MySQL版:
湖倉(cāng)版在華東1(杭州)等6個(gè)region正式開服;
發(fā)布湖倉(cāng)版二期;
發(fā)布?xì)w檔分析及支持計(jì)算分時(shí)彈性。
3、云原生多模數(shù)據(jù)庫(kù)Lindrom
Lindorm Ganos融入寬表模型;
Lindorm多模寬表支持Json類型數(shù)據(jù);
Lindorm時(shí)序引擎支持預(yù)降采樣。
4、云原生內(nèi)存數(shù)據(jù)庫(kù)Tair
Tair(Redis企業(yè)版)已支持JSON語(yǔ)法;
阿里云Tair/Redis(云盤版)主從架構(gòu)已支持全自動(dòng)讀寫分離功能;
Tair(內(nèi)存型)已經(jīng)支持Redis 6.0大版本并兼容Redis 6.0及Redis 6.2功能;
Redis/Tair已增加連接使用相關(guān)的引導(dǎo)功能;
二、 阿里云開源托管 & NoSQL產(chǎn)品
1、云數(shù)據(jù)庫(kù)MySQL版
RDS MySQL Serverless正式發(fā)布;
集群版中國(guó)站發(fā)布;
Serverless國(guó)際站發(fā)布。
2、云數(shù)據(jù)庫(kù)PostgreSQL版
支持ESSD PL等級(jí)降配;
pg_jieba中文分詞插件支持自定義詞典;
RDS 支持計(jì)算包和存儲(chǔ)包;
支持指定小版本;
支持實(shí)例暫停;
已實(shí)現(xiàn)Terraform功能全覆蓋;
支持參數(shù)模板;
云盤實(shí)例支持備份高級(jí)下載;
DMS 支持 RDS PostgreSQL 數(shù)據(jù)歸檔;
ARM架構(gòu)商業(yè)化發(fā)布;
支持表級(jí)透明數(shù)據(jù)加密。
3、云數(shù)據(jù)庫(kù)Redis版
Tair(Redis企業(yè)版)已支持JSON語(yǔ)法;
阿里云Tair/Redis(云盤版)主從架構(gòu)已支持全自動(dòng)讀寫分離功能;
Tair(內(nèi)存型)已經(jīng)支持Redis 6.0大版本并兼容Redis 6.0及Redis 6.2功能;
Redis/Tair已增加連接使用相關(guān)的引導(dǎo)功能。
騰訊云2022下半年重大更新總結(jié)
一、云原生數(shù)據(jù)庫(kù)TDSQL-C發(fā)布新版本,在云原生架構(gòu)、基礎(chǔ)硬件能力、自研內(nèi)核等方面進(jìn)行了全面升級(jí)
1、支持?jǐn)?shù)據(jù)庫(kù)代理,具備高穩(wěn)定性、超高性能、快捷擴(kuò)容、自動(dòng)讀寫分離、熱加載等特性。
2、支持并行查詢能力,利用并行查詢能力,調(diào)動(dòng)多核計(jì)算資源,大幅縮短大查詢響應(yīng)時(shí)間。
3、發(fā)布新版審計(jì)服務(wù),支持全審計(jì)和規(guī)則審計(jì),支持低頻存儲(chǔ)方式,具備數(shù)據(jù)采集完整性、可靠性,數(shù)據(jù)防篡改,數(shù)據(jù)傳輸完整性,數(shù)據(jù)存儲(chǔ)完整性等特性。
4、優(yōu)化參數(shù)設(shè)置,支持公式化參數(shù)設(shè)置,新增全局和非全局參數(shù)設(shè)置,使數(shù)據(jù)庫(kù)特性能更好地適配業(yè)務(wù)需求。
5、支持全鏈路RDMA,超高速傳輸鏈路,大幅提升數(shù)據(jù)庫(kù)性能。
二、MySQL 持續(xù)優(yōu)化內(nèi)核特性、強(qiáng)化數(shù)據(jù)庫(kù)代理能力、支持單節(jié)點(diǎn)
1、發(fā)布新版數(shù)據(jù)庫(kù)代理,提供自動(dòng)讀寫分離、事務(wù)拆分、連接池、防閃斷等強(qiáng)勁功能,同時(shí)支持跨可用區(qū)掛載只讀實(shí)例、開通多個(gè)數(shù)據(jù)庫(kù)代理訪問地址以滿足不同業(yè)務(wù)場(chǎng)景需求。
2、支持單節(jié)點(diǎn)云盤版實(shí)例,滿足測(cè)試、開發(fā)、個(gè)人學(xué)習(xí)等使用場(chǎng)景。
3、支持跨地域備份,實(shí)現(xiàn)數(shù)據(jù)庫(kù)恢復(fù)的高可用性。
4、支持備份加密,提升數(shù)據(jù)安全性,防止備份泄漏導(dǎo)致的安全事故。
三、PostgreSQL發(fā)布TDE透明加密功能,發(fā)布SQL Server兼容版,提供大規(guī)模存儲(chǔ)能力,最高可支持16TB,支持?jǐn)?shù)據(jù)庫(kù)管理DMC
1、支持TDE加密、透明數(shù)據(jù)加密,提供企業(yè)級(jí)用戶數(shù)據(jù)安全方案。
2、發(fā)布SQL Server兼容版,基于 Babelfish for PostgreSQL 進(jìn)行改造適配支持了 Microsoft SQL Server 數(shù)據(jù)類型、語(yǔ)法和函數(shù),滿足客戶線下商業(yè)數(shù)據(jù)庫(kù)上云的需求。
3、提升實(shí)例可支持存儲(chǔ)容量上限,最大可到16TB,滿足主備式數(shù)據(jù)庫(kù)在HTAP場(chǎng)景下大存儲(chǔ)容量需求。
4、云數(shù)據(jù)庫(kù) PostgreSQL 支持?jǐn)?shù)據(jù)庫(kù)管理 DMC(Database Management Center),支持庫(kù)表級(jí)操作、實(shí)時(shí)監(jiān)控、實(shí)例會(huì)話管理等,極大提升系統(tǒng)易用性。
四、推出的新一代兼容 Redis 協(xié)議的分布式 KV 存儲(chǔ)數(shù)據(jù)庫(kù)KeeWiDB,搭載全自研存儲(chǔ)引擎,擁有前瞻的架構(gòu)設(shè)計(jì),支持冷熱分級(jí)存儲(chǔ)和實(shí)時(shí)持久化,已正式在騰訊云上線
1、新一代存儲(chǔ)引擎采用Hash的存取方式,并與持久內(nèi)存耦合,在實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)持久化的同時(shí)單節(jié)點(diǎn)最大性能可達(dá)到18萬(wàn)寫入、28萬(wàn)讀取,P99延遲小于3ms,同時(shí)可水平堆疊,性能線性提升。
2、基于內(nèi)存(DRAM)+持久內(nèi)存(PMEM)+NVMe SSD磁盤搭建分級(jí)存儲(chǔ)架構(gòu),由持久內(nèi)存緩存訪問熱數(shù)據(jù),磁盤存儲(chǔ)全量數(shù)據(jù),冷熱分離、自動(dòng)升熱降冷。
3、兼容Redis 協(xié)議,提供豐富的性能、時(shí)延、網(wǎng)絡(luò)、容量、命中率等監(jiān)控指標(biāo),幫助用戶提前預(yù)警風(fēng)險(xiǎn),快速定位和解決問題。
4、支持 DTS 遷移,可以將多種場(chǎng)景的源數(shù)據(jù)遷移到云數(shù)據(jù)庫(kù) KeeWiDB 中,極大簡(jiǎn)化存量數(shù)據(jù)遷移工作。
五、Redis發(fā)布 6.2 版本,提升全球復(fù)制能力,支持高性能版本,提供本地專用Redis集群服務(wù),擁有與公有云完全一致的產(chǎn)品能力和使用體驗(yàn)
1、Redis 6.2 版本全地域上線,進(jìn)一步豐富了產(chǎn)品特性,可滿足更多的業(yè)務(wù)場(chǎng)景;
2、全球復(fù)制功能升級(jí),解決原生Redis 主從復(fù)制延遲、數(shù)據(jù)同步不連續(xù),多地寫入等痛點(diǎn)問題,可用性升級(jí)至5個(gè)9;
3、支持 Redis 高性能版本,單節(jié)點(diǎn)可提供50W + 吞吐,性能是原生Redis的4倍;
4、提供本地專用 Redis 集群服務(wù),滿足客戶數(shù)據(jù)本地存儲(chǔ)的極致訪問時(shí)延和數(shù)據(jù)安全合規(guī)要求。
六、MongoDB 發(fā)布 4.4 與5.0版本,接入DBbrain智能運(yùn)維,支持DTS遷移數(shù)據(jù)一致性校驗(yàn),支持SSL認(rèn)證,提升數(shù)據(jù)庫(kù)審計(jì)能力,保障數(shù)據(jù)安全
1、接入 DBbrain,實(shí)時(shí)監(jiān)控并診斷數(shù)據(jù)庫(kù)異常,優(yōu)化性能,提升23%的自助問題解決率;
2、發(fā)布 4.4 與 5.0 版本,數(shù)據(jù)庫(kù)功能全面加強(qiáng),支持更廣泛的工作負(fù)載和業(yè)務(wù)場(chǎng)景;
3、支持SSL認(rèn)證訪問,實(shí)現(xiàn)數(shù)據(jù)加密傳輸,提升數(shù)據(jù)庫(kù)規(guī)則審計(jì)功能,對(duì)數(shù)據(jù)庫(kù)操作進(jìn)行細(xì)粒度審計(jì)的合規(guī)性管理,數(shù)據(jù)安全得到進(jìn)一步保障;
4、大幅優(yōu)化 DTS 能力,支持對(duì)遷移數(shù)據(jù)進(jìn)行一致性校驗(yàn)。
七、DBbrain發(fā)布數(shù)據(jù)庫(kù)自治服務(wù)、事件通知等功能,全面提升智能運(yùn)維能力
1、公有云,支持自治服務(wù),對(duì)大并發(fā)場(chǎng)景進(jìn)行自動(dòng)限流與KILL;支持事件通知,將數(shù)據(jù)庫(kù)的異常診斷結(jié)果及時(shí)通知給用戶;
2、私有云,支持全鏈路分析系統(tǒng),實(shí)現(xiàn)四層聚合分析并智能化,在多模式下分布式系統(tǒng)高階計(jì)算統(tǒng)計(jì)分析能力。
八、DTS支持遷移外鍵依賴關(guān)系,修改同步對(duì)象等功能;通過(guò)分塊導(dǎo)出、行級(jí)并發(fā)等技術(shù)優(yōu)化,提升性能比同類產(chǎn)品高20%
公有云DTS
1、遷移/同步功能體驗(yàn)優(yōu)化持續(xù)增強(qiáng),支持遷移外鍵依賴關(guān)系、支持修改同步對(duì)象、支持XA事務(wù)、支持域名方式接入數(shù)據(jù)庫(kù)、支持SSL安全連接、支持任務(wù)暫停和自動(dòng)重試;
2、訂閱能力逐步完善,新增MongoDB訂閱鏈路、支持自建數(shù)據(jù)庫(kù)訂閱、支持Avro/JSON數(shù)據(jù)格式、支持通過(guò)Flink DataStream API進(jìn)行消費(fèi);
3、性能不斷提升,通過(guò)分塊導(dǎo)出、行級(jí)并發(fā)等技術(shù)優(yōu)化,提升性能比同類產(chǎn)品高20%。
私有云DTS-DBbridge
新增支持對(duì)SQL Server的數(shù)據(jù)同步、支持自定義任務(wù)并發(fā)數(shù)、支持修改同步對(duì)象、支持DDL&DML過(guò)濾。
九、SQL Server 全面提升數(shù)據(jù)庫(kù)容災(zāi)恢復(fù)能力,為用戶提供即開即用、穩(wěn)定可靠、安全運(yùn)行的企業(yè)級(jí)數(shù)據(jù)庫(kù)服務(wù)
1、支持跨地域備份,實(shí)現(xiàn)數(shù)據(jù)庫(kù)恢復(fù)的高可用性,滿足數(shù)據(jù)可用性及安全性、異地備份恢復(fù)、異地容災(zāi)、長(zhǎng)期歸檔數(shù)據(jù)、監(jiān)管等功能;
2、支持定期備份,可以通過(guò)兩個(gè)周期規(guī)劃來(lái)進(jìn)行備份,更省成本的同時(shí)滿足長(zhǎng)期備份保留需求;
3、支持開啟訪問地址,實(shí)現(xiàn)通過(guò)外網(wǎng)地址訪問云數(shù)據(jù)庫(kù) SQL Server 實(shí)例,滿足外網(wǎng)訪問業(yè)務(wù)需求;
4、基礎(chǔ)版支持版本升級(jí)和跨可用區(qū)遷移,提升數(shù)據(jù)庫(kù)適配能力和容災(zāi)能力。
注:關(guān)于騰訊云DBbridge、CTSDB、KonisGraph、DBS、TDSQL TDStore、TDSQL PostgreSQL版等產(chǎn)品更新信息,可閱讀本期Newsletter完整版(點(diǎn)擊本文文末【閱讀原文】可下載)
京東云2022下半年重大更新總結(jié)
2022年下半年,京東云專注于國(guó)產(chǎn)數(shù)據(jù)庫(kù)和云原生技術(shù)領(lǐng)域持續(xù)創(chuàng)新,具體如下:
一、云原生實(shí)時(shí)數(shù)倉(cāng)Starwift正式發(fā)布
2022年9月云原生實(shí)時(shí)數(shù)倉(cāng)Starwift產(chǎn)品正式發(fā)布。Starwift是京東云自主研發(fā)的新一代云原生數(shù)據(jù)倉(cāng)庫(kù),采用了計(jì)算與存儲(chǔ)分離的架構(gòu),數(shù)據(jù)存儲(chǔ)在自研的共享存儲(chǔ)上,同時(shí)具有秒級(jí)彈性伸縮的能力,整體使用成本比其他同類數(shù)據(jù)倉(cāng)庫(kù)節(jié)省50%以上;同時(shí)采用了向量化計(jì)算引擎和大規(guī)模并行化處理,可以輕松支撐萬(wàn)億數(shù)據(jù)規(guī)模的實(shí)時(shí)分析場(chǎng)景。Starwift可快速構(gòu)建實(shí)時(shí)數(shù)倉(cāng),主要功能如下:
1、服務(wù)高可用
采用多節(jié)點(diǎn)分布式架構(gòu),單個(gè)節(jié)點(diǎn)故障不應(yīng)在整體服務(wù),故障節(jié)點(diǎn)可自恢復(fù);
存儲(chǔ)層采用共享存儲(chǔ),具有多副本的冗余架構(gòu),數(shù)據(jù)持久型高達(dá)9個(gè)9(99.9999999%)。
2、秒級(jí)彈性伸縮
采用存儲(chǔ)和計(jì)算分離的架構(gòu),計(jì)算層擴(kuò)縮容無(wú)需數(shù)據(jù)的重分布,可秒級(jí)完成;
存儲(chǔ)層為severless架構(gòu),可自動(dòng)根據(jù)數(shù)據(jù)存儲(chǔ)情況擴(kuò)展,用戶無(wú)需再關(guān)注存儲(chǔ)空間。
3、一鍵部署
控制臺(tái)點(diǎn)擊分鐘內(nèi)可創(chuàng)建Starwift實(shí)例,可立即投入使用,即時(shí)創(chuàng)造價(jià)值;
提供各節(jié)點(diǎn)監(jiān)控信息,并可設(shè)置各種指標(biāo)的告警閾值。
二、京東云數(shù)據(jù)庫(kù)RDS重大更新
1、備份服務(wù)商業(yè)化
用戶可根據(jù)訴求調(diào)整備份頻率及備份保留時(shí)間;
增加已刪除實(shí)例的備份保留策略,用于誤刪回檔或者是實(shí)例暫時(shí)不使用的情況下保存數(shù)據(jù)。
三、分布式數(shù)據(jù)庫(kù)TiDB重大更新
1、支持增量數(shù)據(jù)復(fù)制TiCDC功能上線。
四、數(shù)據(jù)庫(kù)管理服務(wù) DMS重大更新
1、數(shù)據(jù)庫(kù)類型擴(kuò)展,支持ClickHouse、TiDB數(shù)據(jù)庫(kù);
2、新增用戶管理模塊,支持同步子賬號(hào),角色分配和實(shí)例登陸權(quán)限管理;
3、支持函數(shù)、事件、觸發(fā)器的新建、編輯、刪除、執(zhí)行等功能。
五、數(shù)據(jù)庫(kù)自治服務(wù) SmartDBA重大更新
1、支持錯(cuò)誤日志;
2、支持kill會(huì)話。
青云2022下半年重大更新總結(jié)
一、2022 下半年RadonDB 云原生數(shù)據(jù)庫(kù)平臺(tái)發(fā)布 1.1 版本
在 1.0 版本的 ClickHouse、MySQL 以及 PostgreSQL 三款容器化數(shù)據(jù)庫(kù)基礎(chǔ)上,RadonDB 云原生數(shù)據(jù)庫(kù)平臺(tái)又新增了多款數(shù)據(jù)庫(kù)和中間件,包括 Redis、MongoDB、ECK、OpenSearch、Kafka 等。不僅支持提供以上云原生數(shù)據(jù)庫(kù)產(chǎn)品服務(wù),同時(shí)這些數(shù)據(jù)庫(kù)均提供可視化集群管理功能,支持在線水平擴(kuò)展、參數(shù)優(yōu)化、賬號(hào)管理,以及監(jiān)控告警、自動(dòng)備份等,提供運(yùn)維效率,保障數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。豐富的云原生數(shù)據(jù)庫(kù)產(chǎn)品可為企業(yè)提供金融級(jí)數(shù)據(jù)庫(kù)服務(wù),滿足企業(yè)數(shù)據(jù)存儲(chǔ)、共享、檢索等各種業(yè)務(wù)場(chǎng)景需求。
二、2022 下半年青云云平臺(tái)多款數(shù)據(jù)庫(kù)更新,重點(diǎn)如下:
2022-8-4 ClickHouse 1.1.9 上線,支持?jǐn)?shù)據(jù)庫(kù)遷移,升級(jí)內(nèi)核版本,DDL 性能優(yōu)化,支持默認(rèn)用戶修改等功能。
2022-9-19 MySQL Plus 1.1.2 上線,更新 MySQL 內(nèi)核,提升穩(wěn)定性,支持 RocksDB,提升高并發(fā)能力,增加運(yùn)維監(jiān)控能力等功能。
2022-9-27 PostgreSQL v2.0.1 版本上線,新增支持內(nèi)核版本,提升高可用和安全性,提升性能,優(yōu)化監(jiān)控,增加慢日志統(tǒng)計(jì)分析功能,支持恢復(fù)誤刪除數(shù)據(jù)功能。
2022-12-1 ZooKeeper 3.6.3 - v2.1.0 上線,按順序滾動(dòng)擴(kuò)容和升級(jí)。
2022-12-3 PostgreSQL v2.1.0 版本上線,支持 PostgreSQL 15 內(nèi)核,增加 Citus 插件輕松部署分布式數(shù)據(jù)庫(kù)集群,增加 PostGIS 插件增強(qiáng)空間數(shù)據(jù)處理能力。
注:關(guān)于青云數(shù)據(jù)庫(kù)更具體的版本、動(dòng)態(tài)更新,可詳細(xì)閱讀本期Newsletter完整版(點(diǎn)擊本文文末【閱讀原文】可下載)
PieCloudDB發(fā)布社區(qū)版和企業(yè)版
2022年下半年,拓?cái)?shù)派旗下的云原生數(shù)據(jù)庫(kù)PieCloudDB Database于10月24日發(fā)布了社區(qū)版和企業(yè)版,并將很快發(fā)布新版本。PieCloudDB Database是一款全新eMPP(elastic MPP)分布式技術(shù)云原生分析型數(shù)據(jù)庫(kù)。通過(guò)重新打造云上的數(shù)據(jù)庫(kù)內(nèi)核,突破了PC時(shí)代計(jì)算平臺(tái)的限制,實(shí)現(xiàn)云上存算分離。旨在為企業(yè)提供包含實(shí)時(shí)處理、秒級(jí)擴(kuò)縮容、彈性計(jì)算、集成數(shù)據(jù)分析等強(qiáng)大功能的云上數(shù)據(jù)存儲(chǔ)和計(jì)算引擎。在云上,計(jì)算資源可按需啟動(dòng),對(duì)計(jì)算模型以更低成本提供高性價(jià)比存儲(chǔ)和計(jì)算資源,幫助企業(yè)的業(yè)務(wù)模型發(fā)現(xiàn)新洞察或者提高精準(zhǔn)度,從而建立競(jìng)爭(zhēng)壁壘。
在即將發(fā)布的新版本中,PieCloudDB Database將為用戶帶來(lái)內(nèi)核和云原生平臺(tái)多方位的大幅提升,包括極速vacuum、全新的緩存實(shí)現(xiàn)、極速Analyze、用戶數(shù)據(jù)存儲(chǔ)的分布式處理增強(qiáng)、HDFS/NAS支持,Kafka支持以及ETL/ELT增強(qiáng)等多個(gè)重大新特性。