國產(chǎn)數(shù)據(jù)庫探索多領(lǐng)域技術(shù)突破海外競爭力亟需增強(qiáng)

2023年下半年，數(shù)據(jù)庫行業(yè)有了一些新的發(fā)展特點(diǎn)，特別是國產(chǎn)廠商成為了發(fā)展主力。經(jīng)過多年發(fā)展，國產(chǎn)數(shù)據(jù)庫推廣進(jìn)入“深水區(qū)”，并取得不俗成績。

從技術(shù)角度上看，國內(nèi)數(shù)據(jù)庫產(chǎn)品在多模向量、智能運(yùn)維、云與云原生、數(shù)據(jù)庫兼容等技術(shù)上取得了不少突破，并開始在用戶落地上取得一定成果。在分布式數(shù)據(jù)庫領(lǐng)域，一方面產(chǎn)品規(guī)?；涞夭㈤_始輸出行業(yè)經(jīng)驗(yàn)，加速實(shí)踐過程；一方面以HTAP、多模等特性為代表，極大豐富了分布式數(shù)據(jù)庫場(chǎng)景。同時(shí)我們也看到，國內(nèi)集中式數(shù)據(jù)庫領(lǐng)域取得了一定突破，這一架構(gòu)產(chǎn)品逐步成熟可實(shí)現(xiàn)更為平滑的替代，成為部分國內(nèi)用戶的首選。以圖、時(shí)序、向量等為代表的異構(gòu)模型數(shù)據(jù)庫產(chǎn)品開始受到更多關(guān)注，傳統(tǒng)數(shù)據(jù)庫中也開始更多支持如JSON等類型，場(chǎng)景化落地成為此類技術(shù)發(fā)展要點(diǎn)。上半年大火的ChatGPT，也開始以自主SQL生成、智能優(yōu)化等功能形式在更多國內(nèi)數(shù)據(jù)庫產(chǎn)品中落地。在數(shù)據(jù)分析領(lǐng)域，湖倉一體、融合型數(shù)倉發(fā)展快速，也成為資本方關(guān)注熱點(diǎn)。此外，數(shù)據(jù)安全、軟硬結(jié)合、數(shù)據(jù)治理等方面也有不小的進(jìn)步。

從市場(chǎng)角度上看，國內(nèi)數(shù)據(jù)庫廠商競爭加劇，頭部廠商你追我趕、并駕齊驅(qū)，一些新興廠商嶄露頭角、快速提高。這也從側(cè)面印證了國內(nèi)數(shù)據(jù)庫行業(yè)呈現(xiàn)加速洗牌態(tài)勢(shì)，相信未來會(huì)有一批廠商及產(chǎn)品經(jīng)過大浪淘沙，站穩(wěn)腳跟獲得用戶認(rèn)可。從近期國內(nèi)第一次推出自己的象限分析來看，頭部廠商聚集現(xiàn)象明顯，這些已成為企業(yè)支撐業(yè)務(wù)的首選。在云與云原生領(lǐng)域，國內(nèi)云數(shù)據(jù)庫產(chǎn)品競爭呈現(xiàn)白熱化。今年部分廠商產(chǎn)品大打價(jià)格戰(zhàn)，希望以此在國內(nèi)云市場(chǎng)領(lǐng)域占據(jù)更大份額。但從國際市場(chǎng)來看，國內(nèi)企業(yè)還處于相對(duì)滯后狀態(tài)，在今年國際權(quán)威的云數(shù)據(jù)庫象限分析中，多家企業(yè)已退出報(bào)告主體，僅在榮譽(yù)榜單中被提及。在這方面國內(nèi)產(chǎn)品還需要奮起直追，從低層次的價(jià)格戰(zhàn)盡快回歸到產(chǎn)品能力本身，同時(shí)加速在海外布局，充分參與到全球競爭之中。

數(shù)據(jù)庫產(chǎn)品半年度盤點(diǎn)

主流數(shù)據(jù)庫的版本升級(jí)與更新亮點(diǎn)

dbaplus社群攜手一眾數(shù)據(jù)庫行業(yè)專家，匯總、梳理并提煉出主流數(shù)據(jù)庫近半年的版本更迭、性能優(yōu)化、功能提升等關(guān)鍵信息，希望對(duì)大家了解數(shù)據(jù)庫發(fā)展趨勢(shì)，以及數(shù)據(jù)庫選型工作有所幫助和啟發(fā)。

DB-Engines數(shù)據(jù)庫排行榜

以下取自2023年12月的數(shù)據(jù)，具體信息可以參考http://db-engines.com/en/ranking/，數(shù)據(jù)僅供參考。

圖片

DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素：

• Google以及Bing搜索引擎的關(guān)鍵字搜索數(shù)量
• Google Trends的搜索數(shù)量
• Indeed網(wǎng)站中的職位搜索量
• LinkedIn中提到關(guān)鍵字的個(gè)人資料數(shù)
• Stackoverflow上相關(guān)的問題和關(guān)注者數(shù)

RDBMS

Oracle 2023下半年重大事件及技術(shù)更新

• Oracle Database 23c已在OCI Oracle Base數(shù)據(jù)庫服務(wù)上全面可用。
• Oracle Database 19c企業(yè)版（Oracle數(shù)據(jù)庫當(dāng)前的長期支持版本）已通過認(rèn)證，可在流行的Arm架構(gòu)上用于云和本地部署。借助Ampere Altra系列處理器，Oracle數(shù)據(jù)庫的用戶擁有了一個(gè)高性能、高能效的架構(gòu)，該架構(gòu)在構(gòu)建時(shí)考慮了可持續(xù)發(fā)展的需要，適合各種規(guī)模的組織。
• 自治數(shù)據(jù)庫無服務(wù)器已獲得金牌高可用性架構(gòu) (MAA) 層功能認(rèn)證，這意味著用戶可以使用自治數(shù)據(jù)庫無服務(wù)器快速部署數(shù)據(jù)庫，從而實(shí)現(xiàn)兩分鐘以內(nèi)的RTO，并且數(shù)據(jù)丟失幾乎為零。
• Oracle LiveLab推出新實(shí)驗(yàn)：Oracle 23c十大開發(fā)者特性，包括SQL Domain和Annotation等。
• OCI中專用Exadata基礎(chǔ)設(shè)施和Exadata Cloud@Customer的自治數(shù)據(jù)庫支持Database In-Memory（數(shù)據(jù)庫內(nèi)存列存儲(chǔ)）。
• 支持使用Oracle Database Service for Azure設(shè)計(jì)多云災(zāi)難恢復(fù)解決方案。
• Oracle Graph支持SQL屬性圖（在23c開發(fā)者免費(fèi)版中），SQL屬性圖允許使用SQL 2023標(biāo)準(zhǔn)中的新語法創(chuàng)建和查詢圖。它還包括通過PGQL提供的附加功能，以及使PGQL與SQL標(biāo)準(zhǔn)緊密結(jié)合的更新。
• Oracle推出集成矢量數(shù)據(jù)庫來增強(qiáng)生成式AI并大幅提高開發(fā)人員的工作效率。
• 支持Select AI - 在自治數(shù)據(jù)庫上從自然語言到SQL生成。
• Oracle GoldenGate發(fā)布23c Free版，支持將實(shí)時(shí)數(shù)據(jù)變化流式傳輸?shù)紾enAI（生成式AI）引擎使用的RAG向量嵌入中，以回答企業(yè)數(shù)據(jù)的問題?！癎oldenGate for Big Data”更名為“GoldenGate for Distributed Applications and Analytics”，以此表明GoldenGate重新關(guān)注分布式應(yīng)用程序和去中心化分析。
• Oracle通過新的開源數(shù)據(jù)管理解決方案擴(kuò)展云服務(wù)，其中包括OCI Database with PostgreSQL，OCI Cache with Redis，OpenSearch增強(qiáng)，Data Flow with Apache Spark增強(qiáng)等。
• 多項(xiàng)中國客戶在之前CAB中提出的功能已被實(shí)現(xiàn)，包括數(shù)據(jù)庫自行管理數(shù)據(jù)生命周期、Exadata靈活配置、列式存儲(chǔ) 、分片、分布式Times-Ten、基于PDB的數(shù)據(jù)衛(wèi)士、區(qū)塊鏈表和人工智能的支持等等。在新的版本中也宣布實(shí)現(xiàn)了使用Paxos的分布式數(shù)據(jù)庫、對(duì)國產(chǎn)ARM架構(gòu)CPU的支持，以及國密算法的支持等。

MySQL開啟穩(wěn)定版和創(chuàng)新版同時(shí)發(fā)行新階段

2023年下半年，MySQL版本發(fā)行迎來了重要的變化，開啟了穩(wěn)定版和創(chuàng)新版同時(shí)發(fā)行的新階段。8.0發(fā)布了兩個(gè)版本，8.0.34和8.0.35，還發(fā)布了8.1和8.2的創(chuàng)新版。而OCI的MySQL HeatWave服務(wù)，這是一個(gè)可以同時(shí)處理事務(wù)處理、實(shí)時(shí)分析和機(jī)器學(xué)習(xí)負(fù)載的云服務(wù)，也發(fā)布了不少新特性。以下是對(duì)這些更新的簡要介紹：

一、MySQL穩(wěn)定版更新

1、新的密碼驗(yàn)證系統(tǒng)變量：

• 引入新變量validate_password.changed_characters_percentage以配置用戶更改密碼時(shí)必須變更的最小字符數(shù)。
• 基于當(dāng)前密碼字符總數(shù)的百分比來確定必須更改的字符數(shù)。

2、復(fù)制變更：

• `binlog_format` 服務(wù)器系統(tǒng)變量已棄用，未來可能會(huì)被刪除。MySQL未來將專注于支持基于行的二進(jìn)制日志記錄，逐漸淘汰其他日志記錄格式。
• `binlog_transaction_dependency_tracking` 變量已棄用，未來版本可能刪除。現(xiàn)在設(shè)置或檢索此變量的值會(huì)觸發(fā)警告。

3、`mysql_native_password` 身份驗(yàn)證插件棄用：

• 此插件在未來版本中將被移除。
• 現(xiàn)在使用此插件進(jìn)行身份驗(yàn)證的賬戶會(huì)在服務(wù)器錯(cuò)誤日志中收到棄用警告。

4、新增默認(rèn)值功能：

• `CURRENT_USER()` 可以用作某些表定義語句中的默認(rèn)值，如 `VARCHAR` 和 `TEXT` 類型列，支持函數(shù) SESSION_USER() 、 USER() 和 SYSTEM_USER() 。

5、組復(fù)制重要變更：

• 放寬了組復(fù)制的版本要求，允許更靈活的服務(wù)器版本組合參與復(fù)制。
• 新變更允許服務(wù)器版本8.0.35或更高版本加入同一復(fù)制組。

6、通配符授權(quán)功能棄用：

• 該改變涉及到數(shù)據(jù)庫層級(jí)的權(quán)限分配。數(shù)據(jù)庫名稱中的"%"和"_"作為通配符現(xiàn)在已經(jīng)不推薦使用,未來版本可能會(huì)刪除此功能。目的是讓這兩個(gè)符號(hào)始終被視為普通字符。另一個(gè)改變涉及主機(jī)名稱"%"在權(quán)限檢查時(shí)代表localhost的功能現(xiàn)在也不推薦使用,未來可能刪除此自動(dòng)匹配功能。到時(shí)候,需要明確使用localhost主機(jī)名授予權(quán)限。

7、INFORMATION_SCHEMA.PROCESSLIST棄用：

• 推薦使用 Performance_schema的替代，與舊的SHOW PROCESSLIST 實(shí)現(xiàn)不同，它不需要獲取mutex并且具有更好的性能。

二、MySQL創(chuàng)新版更新

1、EXPLAIN FORMAT=JSON輸出增強(qiáng)，增加了 `INTO` 選項(xiàng)，允許將輸出保存在用戶變量中。

2、加強(qiáng)了關(guān)閉服務(wù)器過程的日志：

• 加強(qiáng)了與服務(wù)器、插件和組件的啟動(dòng)和關(guān)閉相關(guān)的日志記錄。
• 這將有助于故障排除，尤其是在服務(wù)器關(guān)閉過程緩慢的情況下。

3、增加組復(fù)制插件的狀態(tài)變量：引入了特定于組復(fù)制的新狀態(tài)變量，以改善網(wǎng)絡(luò)不穩(wěn)定情況下的診斷和故障排除。

4、MySQL Shell 8.2新版本提供了便利的實(shí)例、模式和表復(fù)制功能。與以往通過文件進(jìn)行的導(dǎo)出、導(dǎo)入方法相比，無需中間存儲(chǔ)，大大提高了便利性。

5、` expire_logs_days `系統(tǒng)變量刪除：棄用并替換為`binlog_expire_logs_seconds`。

6、MySQL企業(yè)版防火墻更新：

• MySQL Enterprise Firewall：允許定期重新加載內(nèi)存緩存中的防火墻數(shù)據(jù)表，提高了數(shù)據(jù)表管理的靈活性。此外，MySQL Enterprise Firewall以前將內(nèi)部表、函數(shù)和存儲(chǔ)過程存儲(chǔ)在MySQL系統(tǒng)數(shù)據(jù)庫中?，F(xiàn)在，新的mysql_firewall_database服務(wù)器系統(tǒng)變量允許指定一個(gè)自定義數(shù)據(jù)庫。

7、MySQL Router 8.2.0更新

讀寫分離功能：

• 新功能允許將讀寫流量分別定向到只讀和讀寫實(shí)例。
• 提高了數(shù)據(jù)庫操作的效率和可靠性。

MariaDB Server 10.11發(fā)布

MariaDB Server 10.11是一個(gè)長期穩(wěn)定的版本，維持到2028年2月。

一、新特性 - OLTP產(chǎn)品線

1、【王炸功能】Alter修改表結(jié)構(gòu)實(shí)現(xiàn)從庫無延遲并行復(fù)制：通常，ALTER TABLE首先在主庫上執(zhí)行完畢后，才被復(fù)制并開始在從庫上執(zhí)行。有了這個(gè)特性，當(dāng)ALTER TABLE在主庫上開始執(zhí)行時(shí)，它會(huì)立刻被復(fù)制并開始在從庫上執(zhí)行。這樣可以完全消除從庫的復(fù)制滯后，即可實(shí)現(xiàn)從庫無延遲并行復(fù)制。

使用：

MariaDB> set global binlog_alter_two_phase=1;
MariaDB> set binlog_alter_two_phase=1;
MariaDB> alter table sbtest1 add index IX_pad(pad);

ALTER TABLE回車后，你可以立即用mysqlbinlog工具去查看binlog，可以看到ALTER TABLE語句已經(jīng)記錄在binlog文件里。

2、為SQL線程添加了global.slave_max_statement_time系統(tǒng)變量：以限制每次SQL thread線程長時(shí)間執(zhí)行，當(dāng)超過此值（以秒為單位）SQL thread線程執(zhí)行的SQL將被中止。

3、MariaDB多源復(fù)制添加FOR CHANNEL關(guān)鍵字兼容了MySQL多源復(fù)制的語法。

4、基于GTID模式建立同步復(fù)制時(shí)，change master to語法棄用了MASTER_USE_GTID = Current_Pos選項(xiàng)，以支持新的MASTER_DEMOTE_TO_SLAVE選項(xiàng)。

5、支持在線動(dòng)態(tài)調(diào)整innodb_log_file_size重置事務(wù)日志文件大小。

二、新特性 - OLAP產(chǎn)品線

MariaDB ColumnStore利用分布式列式存儲(chǔ)和大規(guī)模并行處理（MPP）共享無架構(gòu)擴(kuò)展了MariaDB企業(yè)服務(wù)器，將其轉(zhuǎn)變?yōu)楠?dú)立或分布式數(shù)據(jù)倉庫，用于復(fù)雜SQL查詢和高級(jí)分析，而無需創(chuàng)建任何索引。

1、MariaDB Columnstore 10.6支持一鍵部署：為了簡化安裝過程，讓用戶享受更好的產(chǎn)品體驗(yàn)，MariaDB提供yum源方式部署，用戶只需幾條命令，即可輕松部署OLAP MPP數(shù)據(jù)倉庫環(huán)境。

mysqld服務(wù)啟動(dòng)后，手工安裝存儲(chǔ)引擎插件即可完整部署。

MariaDB> INSTALL PLUGIN Columnstore SONAME 'ha_columnstore.so';

SQL語法使用起來跟InnoDB無任何差異。

參見官方文檔：

https://mariadb.com/docs/columnstore/deploy/topologies/single-node/community-columnstore-cs10-6/#Install_ColumnStore_via_YUM_(RHEL,_CentOS)

2、MariaDB Columnstore引擎使用注意事項(xiàng)：【重大改變】支持與InnoDB同步復(fù)制

現(xiàn)在，可以使用 "CHANGE MASTER TO" 命令與業(yè)務(wù)庫中的InnoDB引擎建立同步復(fù)制，而無需依賴于ETL工具。通過這種方式，可以實(shí)現(xiàn)增量數(shù)據(jù)的同步。

PostgreSQL發(fā)布16.1新版本/更新15、14、13、12、11版本

2023年下半年，PostgreSQL主要發(fā)布了11、12、13、14、15版本系列的修正版本11.22（最終版本，不再提供更新）、12.17、13.13、14.10、15.5及16.1正式版本，其中值得關(guān)注的新特性有：

1、性能：

• 改進(jìn)了其內(nèi)存和磁盤排序算法，基準(zhǔn)測(cè)試顯示，在對(duì)不同數(shù)據(jù)類型的排序時(shí)，速度可提高25%到400%不等 。使用row_number()、rank()、dense_rank() 和 count() 作為窗口函數(shù)在PostgreSQL中也有性能上的優(yōu)化。
• 使用SELECT DISTINCT的查詢現(xiàn)在可以并行執(zhí)行。

2、開發(fā)：

• PostgreSQL包含SQL標(biāo)準(zhǔn)的MERGE命令。MERGE允許用戶編寫包含INSERT、UPDATE和DELETE操作的SQL語句。
• 最新版本增加了使用正則表達(dá)式的新函數(shù)來檢查字符串：regexp_count(), regexp_instr(), regexp_like()，和 regexp_substr()。
• PostgreSQL 15還擴(kuò)展了range_agg函數(shù)來聚合上一個(gè)版本引入的multirange數(shù)據(jù)類型。

3、安全特性：

• 可以方便地使用pg_read_all_data和pg_write_all_data預(yù)定義角色為用戶分配表、視圖和模式的只讀和只寫權(quán)限。

4、監(jiān)控與管理：

• PostgreSQL將其性能提升擴(kuò)展到了其vacuuming系統(tǒng)。本版本包括用于減少B樹索引開銷的優(yōu)化。此版本還添加了一個(gè)vacuum的“緊急模式”，旨在防止事務(wù)ID環(huán)繞。ANALYZE用于收集數(shù)據(jù)庫統(tǒng)計(jì)信息，基于其自身的性能改進(jìn)，現(xiàn)在在PostgreSQL中運(yùn)行速度明顯更快。
• 現(xiàn)在可以配置PostgreSQL的TOAST系統(tǒng)的壓縮選項(xiàng)，該系統(tǒng)用于存儲(chǔ)較大的數(shù)據(jù)，如文本塊 或幾何圖形。PostgreSQL為TOAST列添加了LZ4壓縮，同時(shí)保留對(duì)pglz壓縮的支持。

5、BUG修復(fù)和改進(jìn)：

• 修復(fù)了GiST索引在“頁面拆分”期間出現(xiàn)錯(cuò)誤行為的問題可能導(dǎo)致后續(xù)索引搜索結(jié)果不正確的操作。 
• 修復(fù)了B樹索引錯(cuò)誤地刪除重復(fù)列的問題。
• 修復(fù)了將批量表插入分區(qū)表的問題。
• 修復(fù)了在步驟中具有多個(gè)分區(qū)鍵的哈希分區(qū)表在某些情況下可能導(dǎo)致崩潰的生成和運(yùn)行時(shí)修剪。
• 修復(fù)了使用READ COMMITTED模式時(shí)MERGE期間并發(fā)更新行的不一致重新檢查的問題。  
• 將pg_dump修復(fù)為轉(zhuǎn)儲(chǔ)訂閱的新選項(xiàng)。
• 修復(fù)pg_restore，以便選擇性還原將同時(shí)包含表級(jí)和列級(jí)ACL對(duì)于選定的表。

OceanBase發(fā)布4.2.1 LTS版本

2023年，OceanBase企業(yè)版及社區(qū)版共計(jì)迭代27個(gè)版本，新增超過450項(xiàng)功能。11月16日，OceanBase發(fā)布一體化數(shù)據(jù)庫的首個(gè)長期支持版本4.2.1 LTS。作為4.x的首個(gè)LTS版本，該版本的定位是支撐客戶關(guān)鍵業(yè)務(wù)穩(wěn)定長久運(yùn)行，可在關(guān)鍵業(yè)務(wù)負(fù)載中放心地規(guī)?；褂?。經(jīng)過十余個(gè)版本的迭代打磨，新的一體化版本已經(jīng)在生產(chǎn)環(huán)境支撐了上百個(gè)業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行。

1、兼容性：

OceanBase 4.2.1 LTS是面向OLTP核心場(chǎng)景的全功能里程碑版本。Oracle兼容性層面在復(fù)雜查詢、存儲(chǔ)過程、JSON、Database Link進(jìn)一步提升，MySQL兼容模式在之前的版本已經(jīng)對(duì)MySQL 5.7有很好兼容能力的基礎(chǔ)上，4.2.1 LTS版本引入了大量MySQL 8.0的新功能兼容。

2、性能：

OLTP性能在各種規(guī)格下相比之前的版本均有較多提升。在96 Core機(jī)器上，sysbench壓測(cè)的性能相比3.2.4版本提升9%到100%。新版本對(duì)于小規(guī)格有更大幅度的優(yōu)化，提升比例從51%到152%不等，在read only、insert、update三種場(chǎng)景的性能都達(dá)到了3.2.4版本的2倍以上。OLTP分析查詢場(chǎng)景性能有大幅度提升，新版本TPC-DS 100G性能是3.2.4版本的2.7倍，性能優(yōu)化效果顯著。

3、業(yè)務(wù)連續(xù)性：

新增仲裁無損容災(zāi)能力，提供創(chuàng)新的仲裁無損容災(zāi)，通過兩副本實(shí)現(xiàn)RPO=0，幫助用戶實(shí)現(xiàn)更具性價(jià)比的異地容災(zāi)。同時(shí)，面向更多場(chǎng)景的RTO<8s，提供更加完善故障恢復(fù)能力，當(dāng)機(jī)器故障、網(wǎng)絡(luò)中斷、IO異常甚至是數(shù)據(jù)庫進(jìn)程被中斷等異常情況發(fā)生時(shí)，數(shù)據(jù)庫的服務(wù)都能在8秒內(nèi)恢復(fù)，給業(yè)務(wù)提供更強(qiáng)的持續(xù)可用能力。此外，新版本提供租戶級(jí)別物理備庫功能，讓備庫功能做到租戶粒度，允許同一個(gè)集群中同時(shí)存在主庫角色的租戶和備庫角色的租戶，便于用戶安排更符合實(shí)際業(yè)務(wù)的容災(zāi)部署方案。

4、易用性：

支持Auto DOP，新版本查詢優(yōu)化器可在生成查詢計(jì)劃時(shí)評(píng)估查詢需要執(zhí)行的時(shí)間，自動(dòng)確定是否開啟并行和開啟適量的并行度。以避免由于手動(dòng)指定并行度而導(dǎo)致的性能下降。最新的4.2.1 LTS版本對(duì)DDL進(jìn)行進(jìn)一步優(yōu)化，Create Table語句與Truncate Table允許并行執(zhí)行，在通常的生產(chǎn)環(huán)境中，批量并發(fā)操作新版本性能相比3.2.4 LTS版本有10倍以上的性能提升。支持旁路導(dǎo)入，幫助用戶在大量數(shù)據(jù)遷移的過程中進(jìn)行表級(jí)別的并發(fā)控制并保證數(shù)據(jù)的一致性，不僅可以用在新業(yè)務(wù)加載數(shù)據(jù)的場(chǎng)景，也可以在日常的數(shù)據(jù)操作和運(yùn)維管理使用。

此外，OB Cloud已上線4.2.1版本，支持客戶在云上體驗(yàn)最新的OceanBase產(chǎn)品能力。在完善從1C / 2C / 4C / 8C / 14C / 24C / 30C / 62C / 104C全系列規(guī)格的同時(shí)，推出ARM系列產(chǎn)品規(guī)格。目前OB Cloud已支持阿里云、騰訊云、華為云、AWS等多個(gè)云基礎(chǔ)設(shè)施，這意味著用戶可以在不同的云基礎(chǔ)設(shè)施使用一致的數(shù)據(jù)庫和技術(shù)棧。

TiDB發(fā)布7.5 LTS版本和7.3、7.4兩個(gè)DMR版本

一、2023年下半年重大更新總結(jié)

TiDB發(fā)布7.5 LTS版本和7.3、7.4兩個(gè)DMR版本，著眼于提升規(guī)?；瘓?chǎng)景下關(guān)鍵應(yīng)用的穩(wěn)定性，累計(jì)新增和優(yōu)化特性150+，其中值得關(guān)注的新特性有：

1、TiDB v7.1引入資源管控（Resource Control）特性，提供基于資源管控的數(shù)據(jù)庫整合方案，多個(gè)業(yè)務(wù)可共享同一個(gè)TiDB集群，DBA可為不同的工作負(fù)載設(shè)置資源配額和優(yōu)先級(jí)，極大降低用戶對(duì)于多套MySQL集群的運(yùn)維復(fù)雜度和運(yùn)維成本。自TiDB v7.4開始，資源管控支持DDL、analyze、import等后端任務(wù)管理，可自動(dòng)識(shí)別后端任務(wù)，降低其資源消耗。

2、TiDB v7.4版本發(fā)布了對(duì)MySQL 8.0常用功能和語法的支持，這使得平滑遷移MySQL 8.0的應(yīng)用變得輕而易舉。TiDB完整支持MySQL 8.0的公共表表達(dá)式（CTE）、窗口函數(shù)（window function）、基于角色的權(quán)限管理、增強(qiáng)uft8mb4字符集、JSON多值索引 (Multi-valued Index)、修改會(huì)話變量的hint ( SET_VAR())、CHECK約束等重要特性。

3、重要場(chǎng)景的性能獲得顯著提升：推出DDL并行執(zhí)行框架，在線DDL性能獲得指數(shù)級(jí)提升；TiDB 7系列版本的OOM較之前的版本下降了99%；目前，TiDB已經(jīng)能做到單表50TB數(shù)據(jù)的小時(shí)級(jí)別導(dǎo)入，數(shù)據(jù)同步輸出的延時(shí)降低至了秒級(jí)，滿足用戶對(duì)極致的RPO和RTO的述求。

7月，TiDB Cloud Serverless正式商用，是一款A(yù)I Ready的完全托管的DBaaS服務(wù)，可根據(jù)需求自動(dòng)擴(kuò)展。

二、明年展望

2024年，TiDB將迎來8.0時(shí)代。TiDB V8系列將聚焦于高擴(kuò)展性、在多租戶背景下的應(yīng)用穩(wěn)定性、高可用性，以及圍繞云平臺(tái)與Serverless的體驗(yàn)提升等方向的功能升級(jí)。

大數(shù)據(jù)生態(tài)圈

Elasticsearch發(fā)布8.9.x、8.10.x、8.11.x三個(gè)大版本

Elasticsearch在2023年下半年發(fā)布了三個(gè)大版本，8.9.x、8.10.x、8.11.x，帶來了諸多的新功能特性，在每個(gè)大版本之間也包括幾個(gè)小版本，解決一些問題修復(fù)。除了發(fā)布主流新版本之外，Elasticsearch依然發(fā)布了多個(gè)7.17.x持續(xù)更新版本，主要側(cè)重對(duì)已知問題的修復(fù)，也包括支持與8.x版本兼容性過渡。

Elasticsearch 2023年下半年版本發(fā)布

以下是8.9.x~8.11.x版本值得關(guān)注的新功能特性：

1、并發(fā)查詢與寫入性能提升：

• 在之前版本，ES實(shí)時(shí)查詢索引數(shù)據(jù)會(huì)受限與索引實(shí)時(shí)刷新阻塞；在8.9.x版本之后，增加了線程并發(fā)機(jī)制，當(dāng)用戶進(jìn)行短語或者固定關(guān)鍵字進(jìn)行查詢時(shí)，ES內(nèi)部重寫查詢語句，直接跳過與關(guān)鍵字不關(guān)聯(lián)的索引分片，從而避免索引分片刷新帶來的查詢延遲。
• 另外在單個(gè)分片內(nèi)部查詢分段文件，也集成了并發(fā)搜索特性，之前單分片是單線程模型，單分片內(nèi)部多個(gè)分段文件只能按順序進(jìn)行查詢，現(xiàn)在支持多線程同時(shí)查詢多個(gè)分段，性能大幅度提升。

2、ELSER語義搜索：

• ELSER，全稱“Elastic Learned Sparse EncodeR”，提供了一個(gè)全新的語義搜索引擎，能夠基于上下文搜索關(guān)鍵字語義進(jìn)行搜索，同比基于分詞的搜索更加貼近用戶的語義期望。
• ES較早集成了稠密向量與稀疏向量字段類型，在之前需要借助于三方向量引擎進(jìn)行語義轉(zhuǎn)換工作，結(jié)合ES存儲(chǔ)檢索能力，滿足業(yè)務(wù)需求?，F(xiàn)在ELSER向量語義搜索特性，提供了一站式的工具功能機(jī)制，直接可以與一些向量模型進(jìn)行集成，并獲得不錯(cuò)的性能與語義搜索精準(zhǔn)性。
• ELSER基于稀疏向量字段類型完成。

3、KNN并行查詢：

• KNN，近鄰查詢檢索，核心基于Vector向量字段類型實(shí)現(xiàn)，應(yīng)用于相似性檢索場(chǎng)景，如圖片、文字、語音、視頻等。在ES8.10.x版本之前，KNN檢索分片是按照順序性進(jìn)行的，現(xiàn)在是多分片并行進(jìn)行檢索，性能上獲得明顯提升，可以支持更大規(guī)模的向量檢索應(yīng)用場(chǎng)景。

4、ES|QL：

• ES|QL，全稱“Elasticsearch Query Language ”，全新的查詢語言引擎；在ES8.11.x版本之前，已有多種查詢語言語法、如DSL、SQL、EQL、Query String，核心都是基于Lucene的表達(dá)式，更多的是適配Lucene的功能特性。ES|QL基于管道模型的設(shè)計(jì)理念，上一步的查詢的結(jié)果可以作為下一步查詢的輸入，從而可以組合多種查詢邏輯，實(shí)現(xiàn)多種數(shù)據(jù)查詢、聚合、轉(zhuǎn)換等需求。ES|QL內(nèi)置基于全新的查詢引擎，語法表達(dá)式不會(huì)轉(zhuǎn)換DSL，而且直接查詢ES的數(shù)據(jù)，同時(shí)滿足查詢多樣性與性能提升。

5、JDK 21.x：

• Elasticsearch最新發(fā)布的7.17.x、ES8.11.x版本，都集成了JDK21.x版本。JDK21.x發(fā)布的最重要的核心特性應(yīng)該是Vector API向量指令，在之前非JVM平臺(tái)的OLTP產(chǎn)品集成了SIMD指令集，獲得了不錯(cuò)的性能，對(duì)基于JVM構(gòu)建的大數(shù)據(jù)產(chǎn)品形成了很大的挑戰(zhàn)，JDK21.x發(fā)布之后，這個(gè)優(yōu)勢(shì)將不再明顯，基于Elasticsearch構(gòu)建中大型規(guī)模的OLTP分析平臺(tái)也是足夠的，尤其是滿足業(yè)務(wù)系統(tǒng)實(shí)時(shí)性的聚合統(tǒng)計(jì)，可以不需要借助獨(dú)立的大數(shù)據(jù)部門。
• JDK最近幾年發(fā)布新特性與版本都很快，業(yè)界當(dāng)前應(yīng)用最廣泛是JDK8.x、JDK11.x、JDK17.x，更高版本的無論是應(yīng)用系統(tǒng)還是中間件都較少， Elasticsearch最新版本已經(jīng)自帶集成JDK21.x，為了更好的性能或更多的特性，Elasticsearch敢為天下先，為廣大Java領(lǐng)域的開發(fā)者提供了很好的學(xué)習(xí)參考。

Flink發(fā)布1.18.0版本

• Flink SQL Gateway支持JDBC Driver，可以使用支持JDBC的任何SQL客戶端通過Flink SQL進(jìn)行交互。
• Flink連接器的存儲(chǔ)過程（Stored Procedure）支持，為用戶提供更順暢的數(shù)據(jù)訪問和管理能力。
• Flink SQL DDL擴(kuò)展，添加REPLACE TABLE AS SELECT、CREATE OR REPLACE TABLE AS SELECT等語法。
• 支持時(shí)間旅行（Time Travelling）語法，用于查詢歷史版本的數(shù)據(jù)。
• Table API & SQL支持算子級(jí)別狀態(tài)保留時(shí)間（TTL）。
• SQL支持水印對(duì)齊（Watermark Alignment）和空閑檢測(cè)（Idleness Detection）。
• Hybrid Shuffle支持遠(yuǎn)程存儲(chǔ)。
• Flink SQL的運(yùn)行時(shí)過濾（Runtime Filter）和算子的融合代碼生成（Operator Fusion Codegen）優(yōu)化，TPC-DS在10T數(shù)據(jù)集上性能提高14%。
• 支持通過REST API控制動(dòng)態(tài)細(xì)粒度擴(kuò)縮容。
• 更快的RocksDB擴(kuò)縮容，增量checkpoint的擴(kuò)縮容性能提高30%。
• 提供對(duì)Java 17支持。
• 水印對(duì)齊（Watermark Alignment）功能自1.18版本開始生產(chǎn)可用。
• 提供可插拔式的故障處理和Catalog修改的監(jiān)聽能力。
• SQL客戶端提供配色方案，大查詢更加易于編輯和預(yù)覽，可隨時(shí)關(guān)閉和打開行號(hào)。
• RPC框架使用Apache Pekko代替Akka。
• Apache Calcite版本升級(jí)至1.32。

ClickHouse發(fā)布23.7、23.8、23.9、23.10、23.11等版本

一、2023年下半年重大更新總結(jié)

2023年下半年，ClickHouse主要發(fā)布了23.7、23.8、23.9、23.10、23.11五個(gè)新版本，其中23.8是LTS版本，值得關(guān)注的新功能特性：

1、關(guān)于JSON的類型推斷：

在23.9中，這個(gè)功能專門針對(duì)那些可預(yù)測(cè)JSON結(jié)構(gòu)的用戶。它允許從結(jié)構(gòu)化數(shù)據(jù)中推斷出嵌套模式，從而節(jié)省用戶手動(dòng)定義的時(shí)間。雖然這帶來了一些約束，但加快了入門體驗(yàn)。

2、工作負(fù)載調(diào)度：

ClickHouse最受期待的功能之一是能夠隔離查詢工作負(fù)載。具體而言，用戶經(jīng)常需要為一組查詢定義資源限制，以最小化其影響。這里的目標(biāo)通常是確保這些查詢不會(huì)影響其他關(guān)鍵業(yè)務(wù)查詢。盡管在ClickHouse早起晚睡版本中部分實(shí)現(xiàn)了內(nèi)存配額和CPU限制，但這還遠(yuǎn)不滿足要求。例如，不能限制共享資源（如磁盤I/O）的使用。因此，ClickHouse在23.9中實(shí)現(xiàn)了工作負(fù)載調(diào)度。用戶在創(chuàng)建工作負(fù)載后，可以通過設(shè)置工作負(fù)載來調(diào)度查詢。

3、GCD編解碼器：

在23.9中，添加了一個(gè)新的編解碼器GCD。該編解碼器基于最大公約數(shù)算法，可以顯著提高對(duì)存儲(chǔ)在列中的小數(shù)(decimal)的壓縮效果，其中配置的精度遠(yuǎn)遠(yuǎn)高于所需。此編解碼器還有助于處理大數(shù)（例如1201000000），并且增加幅度大，例如從1201000000到1203000000。具有類似大小和分布的整數(shù)也可以從GCD中受益，例如時(shí)間戳（UInt64）具有納秒精度，以及頻繁的日志消息，例如每100毫秒一次。

4、直接從歸檔中導(dǎo)入：

ClickHouse已經(jīng)支持如zstd、lz4、snappy、gz、xz和bz2等格式的壓縮文件。在23.8版本之前，這些壓縮文件只能包含一個(gè)文件。在23.8版本中，增加了對(duì)zip、tar和7zip的支持，這些格式都可能包含多個(gè)文件。

5、默認(rèn)啟用的稀疏列：

稀疏列在23.7之前需要明確啟用。這個(gè)優(yōu)化旨在減少某列寫入的總數(shù)據(jù)，當(dāng)檢測(cè)到大量的默認(rèn)值時(shí)，動(dòng)態(tài)地改變編碼格式。除了提高壓縮率，這還有助于提高查詢性能和內(nèi)存效率。在23.7中，此功能默認(rèn)啟用。當(dāng)可以應(yīng)用這種編碼時(shí)，用戶應(yīng)該立即看到壓縮和性能的提升。

6、Parallel窗口函數(shù)：

窗口函數(shù)自21.5版起在ClickHouse中可用。那么并行化是通過利用窗口函數(shù)固有的分桶能力也就是‘分區(qū)’來實(shí)現(xiàn)的。當(dāng)用戶指定一個(gè)窗口函數(shù)應(yīng)該按列進(jìn)行分區(qū)時(shí)，實(shí)際上為每個(gè)分區(qū)創(chuàng)建了一個(gè)單獨(dú)的邏輯窗口，即如果該列包含N個(gè)不同的值，就需要?jiǎng)?chuàng)建N個(gè)窗口。在23.11版本中，這些分區(qū)可以有效地并行構(gòu)建和評(píng)估。

7、Prewhere列統(tǒng)計(jì)：

列統(tǒng)計(jì)是ClickHouse中一項(xiàng)新的實(shí)驗(yàn)性功能，它能夠在查詢優(yōu)化方面發(fā)揮更好的作用。有了這個(gè)功能，用戶可以讓ClickHouse為MergeTree系列引擎的表的列創(chuàng)建（并自動(dòng)更新）統(tǒng)計(jì)信息。這些統(tǒng)計(jì)信息存儲(chǔ)在表的各個(gè)部分內(nèi)，以一個(gè)小型的單一文件statistics_(column_name).stat的形式存在，這是一個(gè)通用的容器文件，用于存儲(chǔ)啟用了統(tǒng)計(jì)功能的每個(gè)列的不同類型的統(tǒng)計(jì)信息。這確保了對(duì)列統(tǒng)計(jì)的輕量級(jí)訪問。截至目前，唯一支持的列統(tǒng)計(jì)類型是t-digests。

二、明年展望

2023年是ClickHouse正式進(jìn)入中國市場(chǎng)的一年。ClickHouse Cloud作為SaaS版的云數(shù)倉產(chǎn)品已經(jīng)落地在AWS和谷歌云，在國內(nèi)與阿里云合作，于2023年10月正式開啟了企業(yè)版公測(cè)。企業(yè)版與全球的ClickHouse Cloud服務(wù)能力同步，計(jì)劃明年在阿里云上正式GA。

Doris發(fā)布2.0版本以及2.0.1、2.0.2、2.0.3版本

2023年8月11日，Apache Doris正式發(fā)布具有里程碑意義的2.0.0版本，超過275位貢獻(xiàn)者為2.0.0版本提交了超過4100個(gè)優(yōu)化項(xiàng)，同時(shí)在該版本基礎(chǔ)上發(fā)布了2.0.1、2.0.2、2.0.3等多個(gè)迭代版本。其中重點(diǎn)關(guān)注的特性包括：

1、全新查詢優(yōu)化器：

采取更先進(jìn)的Cascades框架、使用更豐富的統(tǒng)計(jì)信息、實(shí)現(xiàn)更智能化的自適應(yīng)調(diào)優(yōu)，在絕大多數(shù)場(chǎng)景無需任何調(diào)優(yōu)和SQL改寫即可實(shí)現(xiàn)極致的查詢性能，同時(shí)對(duì)復(fù)雜SQL支持得更加完備、可完整支持TPC-DS全部99個(gè)SQL。

2、自適應(yīng)的并行執(zhí)行模型：

引入Pipeline執(zhí)行模型作為查詢執(zhí)行引擎。在Pipeline執(zhí)行引擎中，查詢的執(zhí)行是由數(shù)據(jù)來驅(qū)動(dòng)控制流變化的，各個(gè)查詢執(zhí)行過程之中的阻塞算子被拆分成不同Pipeline，各個(gè)Pipeline能否獲取執(zhí)行線程調(diào)度執(zhí)行取決于前置數(shù)據(jù)是否就緒，實(shí)現(xiàn)阻塞操作的異步化、可更加靈活地管理系統(tǒng)資源，同時(shí)減少線程頻繁創(chuàng)建和銷毀帶來的開銷，并提升 Apache Doris對(duì)于CPU的利用效率。

3、日志分析能力全面增強(qiáng)：

提供了原生的半結(jié)構(gòu)化數(shù)據(jù)支持，在已有的JSON、Array基礎(chǔ)之上增加了復(fù)雜類型Map，并基于Light Schema Change功能實(shí)現(xiàn)了Schema Evolution。與此同時(shí)，新引入的倒排索引和高性能文本分析算法全面加強(qiáng)了Apache Doris在日志檢索分析場(chǎng)景的能力，可以支持更高效的任意維度分析和全文檢索。與基于Elasticsearch的日志存儲(chǔ)分析方案相比，寫入吞吐提升5倍、存儲(chǔ)成本降低超過70%、查詢性能比Elasticsearch提升2-4倍。

4、數(shù)據(jù)湖聯(lián)邦分析：

在數(shù)據(jù)源方面，支持了Hudi Copy-on-Write表的Snapshot Query以及Merge-on-Read表的Read Optimized Query，截止目前已經(jīng)支持了Hive、Hudi、Iceberg、Paimon、MaxCompute、Elasticsearch、Trino、ClickHouse等數(shù)十種數(shù)據(jù)源，幾乎支持了所有開放湖倉格式和Metastore。同時(shí)還支持通過Apache Range對(duì)Hive Catalog進(jìn)行鑒權(quán)，可以無縫對(duì)接用戶現(xiàn)有的權(quán)限系統(tǒng)。同時(shí)還支持可擴(kuò)展的鑒權(quán)插件，為任意Catalog實(shí)現(xiàn)自定義的鑒權(quán)方式。在性能方面，利用Apache Doris自身高效的分布式執(zhí)行框架、向量化執(zhí)行引擎以及查詢優(yōu)化器，結(jié)合2.0版本中對(duì)于小文件和寬表的讀取優(yōu)化、本地文件Cache、ORC/Parquet文件讀取效率優(yōu)化、彈性計(jì)算節(jié)點(diǎn)以及外表的統(tǒng)計(jì)信息收集，Apaceh Doris在TPC-H場(chǎng)景下查詢Hive外部表相較于Presto/Trino性能提升3-5倍。

5、行列混存、單節(jié)點(diǎn)3w+ QPS：

引入全新的行列混合存儲(chǔ)以及行級(jí)Cache，使得單次讀取整行數(shù)據(jù)時(shí)效率更高、大大減少磁盤訪問次數(shù)，同時(shí)引入了點(diǎn)查詢短路徑優(yōu)化、跳過執(zhí)行引擎并直接使用快速高效的讀路徑來檢索所需的數(shù)據(jù)，并引入了預(yù)處理語句復(fù)用執(zhí)行SQL解析來減少FE開銷。通過以上一系列優(yōu)化，2.0.0版本在并發(fā)能力上實(shí)現(xiàn)了數(shù)量級(jí)的提升，實(shí)現(xiàn)了單節(jié)點(diǎn)30000 QPS的并發(fā)表現(xiàn)，較過去版本點(diǎn)查詢并發(fā)能力提升超20倍。

6、主鍵模型寫時(shí)更新優(yōu)化和完備的數(shù)據(jù)更新能力：

在實(shí)時(shí)分析場(chǎng)景中，數(shù)據(jù)更新是非常普遍的需求，而可變數(shù)據(jù)集上的高效分析往往是一大挑戰(zhàn)。在2.0.0版本中，對(duì)Unique Key主鍵模型的Merge-on-Write寫時(shí)更新模式進(jìn)行了優(yōu)化，高并發(fā)upsert的穩(wěn)定性顯著提升。同時(shí)增加了Unique Key主鍵模型的部分列更新，在多張上游源表同時(shí)寫入一張寬表時(shí)，無需由Flink進(jìn)行多流Join打?qū)?，直接寫入寬表即可，減少了計(jì)算資源的消耗并大幅降低了數(shù)據(jù)處理鏈路的復(fù)雜性?；谝陨蟽?yōu)化，Apache Doris對(duì)于各類數(shù)據(jù)更新需求，包括整行更新、部分列更新、按條件進(jìn)行批量更新或刪除以及整表或者整個(gè)分區(qū)的重寫（inser overwrite）都有完備的支持。

7、數(shù)據(jù)高頻寫入更穩(wěn)定：

在高頻數(shù)據(jù)寫入過程中，小文件合并和寫放大問題以及隨之而來的磁盤I/O和CPU資源開銷是制約系統(tǒng)穩(wěn)定性的關(guān)鍵，因此在2.0版本中我們引入了Vertical Compaction以及Segment Compaction，用以徹底解決Compaction內(nèi)存問題以及寫入過程中的Segment文件過多問題，資源消耗降低90%，速度提升50%，內(nèi)存占用僅為原先的10%。

8、更加完善的多租戶資源隔離：

增加了Workload Group資源軟限制的方案，通過對(duì)Workload進(jìn)行分組管理，以保證內(nèi)存和CPU資源的靈活調(diào)配和管控。當(dāng)集群資源緊張時(shí)，將自動(dòng)Kill組內(nèi)占用內(nèi)存最大的若干個(gè)查詢?nèi)蝿?wù)以減緩集群壓力。當(dāng)集群資源空閑時(shí)，一旦某一Workload Group使用資源超過預(yù)設(shè)值時(shí)，多個(gè)Workload將共享集群可用空閑資源并自動(dòng)突破闕值，繼續(xù)使用系統(tǒng)內(nèi)存以保證查詢?nèi)蝿?wù)的穩(wěn)定執(zhí)行。Workload Group還支持設(shè)置優(yōu)先級(jí)，通過預(yù)先設(shè)置的優(yōu)先級(jí)進(jìn)行資源分配管理，來確定哪些任務(wù)可正常獲得資源，哪些任務(wù)只能獲取少量或沒有資源。與此同時(shí)，在Workload Group中還引入了查詢排隊(duì)的功能，在創(chuàng)建Workload Group時(shí)可以設(shè)置最大查詢數(shù)，超出最大并發(fā)的查詢將會(huì)進(jìn)行隊(duì)列中等待執(zhí)行，以此來緩解高負(fù)載下系統(tǒng)的壓力。

9、冷熱數(shù)據(jù)分層：

冷熱數(shù)據(jù)往往面臨不同頻次的查詢和響應(yīng)速度要求，因此通常可以將冷數(shù)據(jù)存儲(chǔ)在成本更低的存儲(chǔ)介質(zhì)中。在2.0 版本中推出了冷熱數(shù)據(jù)分層功能，冷熱數(shù)據(jù)分層功能使Apache Doris可以將冷數(shù)據(jù)下沉到存儲(chǔ)成本更加低廉的對(duì)象存儲(chǔ)中，同時(shí)冷數(shù)據(jù)在對(duì)象存儲(chǔ)上的保存方式也從多副本變?yōu)閱胃北?，存?chǔ)成本進(jìn)一步降至原先的三分之一，同時(shí)也減少了因存儲(chǔ)附加的計(jì)算資源成本和網(wǎng)絡(luò)開銷成本。通過實(shí)際測(cè)算，存儲(chǔ)成本最高可以降低超過70%。

StarRocks發(fā)布3.1和3.2版本

一、2023年下半年重大更新總結(jié)

2023年下半年，StarRocks主要發(fā)布了3.1.0-3.1.6、3.2多個(gè)版本，其中值得關(guān)注的新功能特性有：

1、存算分離架構(gòu)：

• 存算分離架構(gòu)功能上繼續(xù)對(duì)齊存算一體，完善主鍵模型表的索引持久化功能，讓存算分離更好地支持實(shí)時(shí)分析場(chǎng)景；性能上，查詢和導(dǎo)入性能也基本與存算一體架構(gòu)持平。

2、數(shù)據(jù)湖分析：

• 對(duì)Iceberg和Hive Catalog進(jìn)行了完善與增強(qiáng)，為數(shù)據(jù)湖Single Source of Truth提供了能力基礎(chǔ)。
• 支持Unified Catalog。在同一個(gè)Hive Metastore或AWS Glue元數(shù)據(jù)服務(wù)中包含多種表格式時(shí)，可以通過創(chuàng)建Unified Catalog來統(tǒng)一管理和訪問，簡化Catalog的創(chuàng)建和使用。不僅避免了不必要的重復(fù)創(chuàng)建，更讓終端用戶可以不再關(guān)心具體的表格式。
• 同時(shí)，3.1版本起開始新增支持了Elasticsearch catalog和Paimon catalog，并進(jìn)一步增強(qiáng)Trino語法兼容性，持續(xù)擴(kuò)大生態(tài)打通和提升產(chǎn)品易用性。

3、物化視圖：

• 3.1版本進(jìn)一步提升異步物化視圖構(gòu)建、刷新的穩(wěn)定性，提供更多靈活易用的創(chuàng)建和刷新參數(shù)、增加更多場(chǎng)景的SQL智能改寫；StarRocks也擴(kuò)展了同步物化視圖的能力邊界，拓寬更多應(yīng)用場(chǎng)景。

4、易用性的持續(xù)提升：

• 提供了隨機(jī)分桶、表達(dá)式分區(qū)、FILES表函數(shù)等更多新功能、新模式，進(jìn)一步提升建表/分區(qū)/導(dǎo)入中的易用性；3.2版本開始更是全鏈路地提升了系統(tǒng)的易用性。

5、優(yōu)化查詢性能和穩(wěn)定性：

• 新增了生成列功能，StarRocks會(huì)根據(jù)生成列表達(dá)式自動(dòng)計(jì)算表達(dá)式的值并在導(dǎo)入時(shí)即存儲(chǔ)，在查詢時(shí)會(huì)自動(dòng)判斷并進(jìn)行改寫。

6、行列混存：

• 在3.2后續(xù)版本中StarRocks將在主鍵模型上支持行存表和行列共存的表存儲(chǔ)格式。

二、明年展望

• 增強(qiáng)湖倉功能并擴(kuò)展湖倉生態(tài)。
• 增強(qiáng)物化視圖智能推薦能力。
• 存算分離架構(gòu)全面支持Primary Key和自動(dòng)cache預(yù)熱。

國產(chǎn)數(shù)據(jù)庫

ActionDB及TensorDB 2023下半年重大更新總結(jié)

一、ActionDB

1、2023年下半年重大更新總結(jié)

2023年下半年，ActionDB發(fā)布了1.0、1.5、2.0多個(gè)版本，其中值得關(guān)注的新特性有：

1）ActionDB TDE：可實(shí)現(xiàn)數(shù)據(jù)的透明存儲(chǔ)加密，提高數(shù)據(jù)安全性。

2）基于Binlog的雙向復(fù)制：

• ActionDB到MySQL：無需修改原架構(gòu)的下游復(fù)制通路。
• MySQL到ActionDB：無需經(jīng)過OMS，ActionDB可直接實(shí)現(xiàn)基于 Binlog 的數(shù)據(jù)同步。

2、明年展望

2024年上半年，ActionDB將進(jìn)一步完善工具生態(tài)，推出數(shù)據(jù)傳輸工具：ActionDB-OMS，數(shù)據(jù)管理平臺(tái)：ActionDB-DMP，SQL質(zhì)量管理平臺(tái)：ActionDB-SQLE等，并將繼續(xù)提高ActionDB在安全可信方面的能力。

二、TensorDB

1、2023年下半年重大更新總結(jié)

1）支持英偉達(dá)GPU和國產(chǎn)GPU的單機(jī)多卡以及多機(jī)多卡的向量計(jì)算加速。

2）完成信創(chuàng)化改造，支持國產(chǎn)ARM架構(gòu)、操作系統(tǒng)、芯片、存儲(chǔ)、中間件等。

3）支持稠密向量和稀疏向量的混合檢索。

2、明年展望

基于TensorDB與開源大模型實(shí)現(xiàn)RAG流程的快速構(gòu)建、評(píng)估與優(yōu)化。

SequoiaDB發(fā)布3.4.11及5.6.1版本

2023年下半年，巨杉數(shù)據(jù)庫發(fā)布了SequoiaDB V3.4.11及V5.6.1兩個(gè)版本，主要在性能等方面進(jìn)行了優(yōu)化提升：

1、主要特性

優(yōu)化內(nèi)存管理，提供內(nèi)存回收的能力。

2、性能優(yōu)化

存儲(chǔ)引擎：

• 優(yōu)化過濾的記錄數(shù)超過CL總記錄數(shù)的10%時(shí)，執(zhí)行count操作的性能。
• 優(yōu)化從information_schema.tables查詢統(tǒng)計(jì)信息的性能。

3、解決重要Bug

存儲(chǔ)引擎：

• 修復(fù)指定節(jié)點(diǎn)角色為所有節(jié)點(diǎn)時(shí)，查詢回收站快照可能造成節(jié)點(diǎn)crash的問題。
• 修復(fù)sdbcm進(jìn)程創(chuàng)建的子進(jìn)程可能變成僵尸進(jìn)程的問題。
• 修復(fù)同步日志滿，備節(jié)點(diǎn)歸檔日志歸檔失敗的問題。
• 修復(fù)使用java驅(qū)動(dòng)調(diào)用closeAllCursors()接口后，游標(biāo)繼續(xù)執(zhí)行g(shù)etNext()不報(bào)錯(cuò)的問題。

達(dá)夢(mèng)數(shù)據(jù)庫更新DM8.1.3版本

2023年下半年，達(dá)夢(mèng)數(shù)據(jù)庫主要更新了DM8.1.3版本，其中值得關(guān)注的新變化有：

1、新特性

• 數(shù)據(jù)脫敏功能改進(jìn)，同時(shí)新增DPC數(shù)據(jù)脫敏功能。
• 支持為TIMESTAMP和DATETIME類型列設(shè)置ON UPDATE自動(dòng)更新時(shí)間，即更新表中其他列數(shù)據(jù)時(shí)，該列會(huì)自動(dòng)更新記錄當(dāng)前時(shí)間戳。
• 支持DISQL設(shè)置數(shù)值類型列格式串。
• 新增CHECKPOINT類型的事件觸發(fā)器。
• 全文索引支持score。
• DMGEO&DMGEO2包新增相關(guān)新特性。
• 新增帶有輸出字節(jié)長度的大字段函數(shù)dpi_lob_read3。
• 增加geoserver對(duì)接達(dá)夢(mèng)中，渲染點(diǎn)、面信息時(shí)達(dá)夢(mèng)全表查詢，可帶入過濾條件功能。
• Manager工具對(duì)用戶表授權(quán)時(shí)屏蔽分區(qū)子表，支持對(duì)象權(quán)限按類型批量授權(quán)。
• 新增R語言工具包RDameng，提供在Linux操作系統(tǒng)下使用R語言進(jìn)行DM數(shù)據(jù)庫操作、兼容ROracle接口功能。
• DTS遷移，DM->TXT，支持用戶輸入自定義行分隔符。
• JAVA外部函數(shù)新增支持VARBINARY類型參數(shù)。同時(shí)，java外部函數(shù)的參數(shù)列表、返回值新增支持blob和clob類型。
• delete語法中新增支持with子句。
• 新增動(dòng)態(tài)視圖V$ARCH_BACKUP_HISTORY記錄當(dāng)前節(jié)點(diǎn)歸檔日志備份的歷史信息。

2、功能改進(jìn)

• 優(yōu)化dmfldr并發(fā)執(zhí)行數(shù)據(jù)加載功能。
• 優(yōu)化Manager工具debug定位功能，同時(shí)支持在Debug工具中查看變量類型。
• DEM在實(shí)時(shí)監(jiān)控中增加顯示分配使用率，同時(shí)優(yōu)化系統(tǒng)健康度判斷功能。
• DTS工具命令行執(zhí)行對(duì)比，優(yōu)化生成的excel報(bào)告。
• 優(yōu)化ODBC綁定的SQL類型SQL_VARCHAR相關(guān)功能。
• JDBC連接查詢功能優(yōu)化。

3、性能優(yōu)化

• 數(shù)據(jù)庫發(fā)起的綁定變量SQL生成執(zhí)行計(jì)劃時(shí)，優(yōu)化范圍查詢估算性能，提升效率。
• 計(jì)劃執(zhí)行過程中，當(dāng)WHIT VAR計(jì)劃下包含CONSTV時(shí)，優(yōu)化重加載數(shù)據(jù)性能。
• 優(yōu)化視圖與包互相嵌套，層層調(diào)用情況下的SQL查詢語句。
• 優(yōu)化使用堆表全局索引查找數(shù)據(jù)功能。

ByConity發(fā)布0.3.0版本

一、2023下半年重大更新總結(jié)

字節(jié)跳動(dòng)開源數(shù)倉ByConity 0.3.0版本于12月18日正式發(fā)布，該版本提供倒排索引、基于共享存儲(chǔ)的選主方式等多項(xiàng)新特性，對(duì)冷讀性能進(jìn)一步優(yōu)化，對(duì)ELT能力進(jìn)一步迭代，同時(shí)修復(fù)了若干已知問題，進(jìn)一步提升系統(tǒng)的性能和穩(wěn)定性。

1、倒排索引：

在ByConity使用過程中，很多業(yè)務(wù)對(duì)文本檢索相關(guān)能力（如StringLike）提出了非常高的需求，希望社區(qū)能夠優(yōu)化相關(guān)查詢性能，同時(shí)兼容ClickHouse在今年支持的倒排索引的能力。為滿足業(yè)務(wù)訴求，保持生態(tài)兼容，同時(shí)提升ByConity的文本檢索能力，ByConity在0.3.0版本加入了對(duì)文本檢索的支持，為日志數(shù)據(jù)分析等場(chǎng)景提供高性能查詢。

2、基于共享存儲(chǔ)的選主方案：

在ByConity架構(gòu)中存在多種控制節(jié)點(diǎn)，它們需要各自通過多副本+選主來提供高可用的服務(wù)能力，例如Resource Manager，TSO等。實(shí)際中的多個(gè)計(jì)算server，也需要選出一個(gè)單節(jié)點(diǎn)來執(zhí)行特定的讀寫任務(wù)。之前ByConity使用了clickhouse-keeper組件來進(jìn)行選主，該組件基于Raft實(shí)現(xiàn)，提供兼容zookeeper的選主接口。但在實(shí)際的使用中遇到了很多運(yùn)維問題，例如需要部署3個(gè)以上節(jié)點(diǎn)才能提供容災(zāi)，增加運(yùn)維負(fù)擔(dān)；節(jié)點(diǎn)增刪和服務(wù)發(fā)現(xiàn)流程復(fù)雜；容器重啟后如果服務(wù)變換ip和服務(wù)端口，keeper組件難以快速恢復(fù)，等等?？紤]ByConity作為一個(gè)新的云原生服務(wù)，并不需要兼容ClickHouse對(duì)zookeeper的訪問，我們選擇了基于存算分離的云原生架構(gòu)實(shí)現(xiàn)一種新的選主方式來優(yōu)化以上問題。

3、冷讀性能的進(jìn)一步提升：

在ByConity 0.2.0中，通過引入IOScheduler等方式提高了冷讀查詢的性能，尤其是在S3上的冷讀性能。0.3.0版本通過引入ReadBuffer的Preload等優(yōu)化，進(jìn)一步提高了冷讀性能。

4、ELT能力增強(qiáng)：

在0.3.0中，引入新的BSP模式，通過stage by stage的執(zhí)行以及增強(qiáng)disk based shuffle，滿足有限條件下的計(jì)算，提高吞吐。在ByConity中復(fù)雜查詢對(duì)query plan的stage進(jìn)行了切分并進(jìn)行了stage by stage的調(diào)度，但在語義上仍然是all at once的調(diào)度。ELT在執(zhí)行時(shí)需要對(duì)查詢進(jìn)行分階段運(yùn)行，需要進(jìn)一步達(dá)到stage by stage執(zhí)行的效果。

二、明年展望

后續(xù)版本將會(huì)對(duì)異步處理模式和調(diào)度器的實(shí)現(xiàn)做進(jìn)一步的增強(qiáng)。

AntDB發(fā)布8.0超融合數(shù)據(jù)庫

2023年下半年，亞信安慧AntDB數(shù)據(jù)庫發(fā)布了8.0超融合數(shù)據(jù)庫，其中值得關(guān)注的新變化有：

1、一切皆可SQL的超融合數(shù)據(jù)庫：超融合架構(gòu)從實(shí)驗(yàn)室環(huán)境正式走向生產(chǎn)，以六大執(zhí)行引擎共存為基礎(chǔ)，為上層的交易、分析、高頻處理、實(shí)時(shí)計(jì)算、物聯(lián)網(wǎng)連接、AI向量計(jì)算提供底層數(shù)據(jù)服務(wù)。用戶可在包括標(biāo)準(zhǔn)SQL在內(nèi)的ODBC、JDBC、Python以及各種開發(fā)框架下，使用AntDB數(shù)據(jù)庫里的數(shù)據(jù)。

2、數(shù)據(jù)庫內(nèi)核里的流式計(jì)算：從內(nèi)核層面引入流式計(jì)算“事件+推送”的消息模式，更注重實(shí)時(shí)性和并發(fā)處理能力。

3、集中式分布式一體化：一套代碼同時(shí)支持集中式、分布式、云原生部署模式。

4、數(shù)據(jù)庫遷移同步工具更新升級(jí)，實(shí)現(xiàn)面向新型多模態(tài)多引擎數(shù)據(jù)庫的一鍵式評(píng)估、遷移、稽核與數(shù)據(jù)效驗(yàn)。

QianBase?發(fā)布QianBaseTP-15.0正式版及QianBaseMPP-7.0.0正式版

一、QianBaseTP

2023年下半年，QianBaseTP單機(jī)版主要發(fā)布了15.0的正式版本，在產(chǎn)品的功能性、兼容性和性能方面進(jìn)行了提升，主要內(nèi)容如下：

1、新增DATE，TIMESTAMP的格式化類型，增強(qiáng)decimal，numeric，number等數(shù)據(jù)類型，以及提升函數(shù)兼容性等。

2、新增connect by層次查詢功能。

3、新增listagg列轉(zhuǎn)行函數(shù)功能。

4、新增透明加密功能。

5、預(yù)寫式日志無鎖化，在TPCC場(chǎng)景下，Arm環(huán)境性能提升了約17%，x86環(huán)境性能提升了12%。

二、QianBaseMPP

2023年下半年，QianBaseMPP主要發(fā)布了7.0.0的正式版本，在產(chǎn)品的功能性、兼容性和性能方面進(jìn)行了提升，主要內(nèi)容如下：

1、新增同義詞功能。

2、新增UPSERT功能。

3、進(jìn)一步提升Oracle的兼容性，包含但不局限于binary_double，binary_float，to_nchar，sysdate，systimestamp等。

4、新增磁盤配額管理功能，可支持用戶，模式，表級(jí)別的磁盤配額管理。

5、新增AO表唯一索引功能。

6、AO列存表，智能索引，支持block級(jí)別的Min，Max，BloomFilter過濾，在精準(zhǔn)查詢和小范圍掃描的場(chǎng)景下，大幅提升查詢性能。

ArkDB 2023下半年技術(shù)更新要點(diǎn)

• arkolap友好性改進(jìn)，支持在線啟動(dòng)與在線修改數(shù)據(jù)源地址。
• 解決了arkdb在底層對(duì)象存儲(chǔ)中，對(duì)象個(gè)數(shù)達(dá)到100萬時(shí)啟動(dòng)速度變慢的問題。
• 修改arkolap在特定條件下，刪除數(shù)據(jù)時(shí)報(bào)錯(cuò)的問題。
• 增強(qiáng)了arkdb啟動(dòng)時(shí)掃描對(duì)象的速度，增加了并行掃描的功能。
• arkolap同步邏輯中，sync cache manager存在性能問題，需要增加開關(guān)進(jìn)行關(guān)閉。
• 修改ArkDB代碼中，在特定情況下，一個(gè)函數(shù)被錯(cuò)誤的調(diào)用導(dǎo)致堆棧錯(cuò)亂引起的崩潰問題。
• 修改執(zhí)行計(jì)劃的生成邏輯，提升了arkolap查詢時(shí)的效率，實(shí)現(xiàn)多重條件下推的功能。

云數(shù)據(jù)庫

PolarDB新增NL2SQL、列存索引多機(jī)并行、一站式HTAP、全加密等功能

2023年下半年，PolarDB發(fā)布了一系列新版本和功能，其中值得關(guān)注的版本、功能有：

一、PolarDB MySQL版

1、全方位降本，推出全新經(jīng)濟(jì)版，支持壓縮功能、熱溫冷分層管理功能。

2、發(fā)布CRAC多寫能力，推出基于共享存儲(chǔ)的多機(jī)集群形態(tài)。

3、IMCI列存索引發(fā)布多節(jié)點(diǎn)全內(nèi)存并行分析，在線事務(wù)處理和計(jì)算分析一體化。

4、發(fā)布DB4AI能力，一站式MLOps，內(nèi)置NL2SQL、通義千問等大模型。

5、發(fā)布PolarDB+AnalyticDB、PolarDB+Tair DBCache一站式服務(wù)。

二、PolarDB PostgreSQL版

1、推出標(biāo)準(zhǔn)版，性價(jià)比相較企業(yè)版更具吸引力。

2、推出一站式HTAP服務(wù)，復(fù)雜查詢性能最高可提升百倍。

3、發(fā)布全加密功能，支持對(duì)數(shù)據(jù)庫表中的敏感數(shù)據(jù)列進(jìn)行加密。

三、PolarDB分布式版

1、發(fā)布5.4.17和5.4.18兩個(gè)大版本。

2、新增生成列的創(chuàng)建方法，以及在生成列上創(chuàng)建索引的方法。

3、新增支持affected rows行為。

騰訊云2023下半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、TDSQL MySQL版

• 公有云數(shù)據(jù)庫審計(jì)能力正式發(fā)布。
• 公有云長期備份功能發(fā)布，最長可支持十年備份。
• 公有云支持用戶按年/月/周保留周期性備份，優(yōu)化備份管理。
• CDC版本多租戶能力正式發(fā)布。
• 公有云接入DBbrain正式發(fā)布。
• 私有云DCN一拖二和強(qiáng)同步正式發(fā)布，已有核心系統(tǒng)投產(chǎn)使用。
• 私有化回收站功能正式發(fā)布，同時(shí)支持TXSQL5.7和8.0，針對(duì)誤刪庫表場(chǎng)景可以秒級(jí)恢復(fù)。
• 私有化備份廠商適配取得進(jìn)展，已有多家廠商完成適配，取得互認(rèn)證證書。
• 私有化物理復(fù)制版本灰度上線，可試點(diǎn)使用。
• 私有化支持資源隔離，包括CPU、內(nèi)存、磁盤可以做到嚴(yán)格限制。

二、TDSQL PostgreSQL版

• 發(fā)布融合版本，大幅提升HTAP能力；同一引擎支持行列混存，TP/AP性能大幅提升。
• 同一引擎支持PG/Oracle雙語法生態(tài)。
• Oracle兼容性再上新臺(tái)階，對(duì)PL/SQL兼容度提升到90%以上，同時(shí)新增PL/SQL提前編譯等功能。
• 新增支持單機(jī)和單表模式。
• 新增支持兼容PG15語法能力。
• 新增資源隔離能力，根據(jù)CPU/內(nèi)存/并發(fā)度隔離業(yè)務(wù)。
• 資源熔斷：CPU/內(nèi)存/耗時(shí)/傾斜等超過閾值主動(dòng)停止查詢。

三、TDSQL-C推出Serverless 2.0版

云原生數(shù)據(jù)庫TDSQL-C主要推出了Serverless 2.0版，發(fā)布了新內(nèi)核特性以及全新功能，其中值得關(guān)注的動(dòng)態(tài)如下：

• 推出Serverless 2.0版：支持一主多從混合集群版Serverless服務(wù)。
• TXSQL內(nèi)核特性：支持自動(dòng)kill空閑事務(wù)、動(dòng)態(tài)線程池、閃回查詢、計(jì)劃緩存點(diǎn)查優(yōu)化、熱點(diǎn)更新保護(hù)等。
• 發(fā)布一鍵遷移2.0：支持將云數(shù)據(jù)庫MySQL的實(shí)例全量遷移至TDSQL-C。
• 支持跨地域備份：提升數(shù)據(jù)跨地域容災(zāi)能力，加強(qiáng)數(shù)據(jù)庫可用性及安全性。
• 支持CSI列存索引：通過使用列式數(shù)據(jù)格式存儲(chǔ)等技術(shù)，實(shí)現(xiàn)更好的查詢性能、更高的數(shù)據(jù)壓縮率。
• 日志服務(wù)（CLS）：支持慢日志數(shù)據(jù)投遞，實(shí)現(xiàn)從日志采集、日志存儲(chǔ)到日志檢索等全方位的日志服務(wù)。
• 發(fā)布新版數(shù)據(jù)庫審計(jì)：支持全審計(jì)和規(guī)則審計(jì)，支持事后告警。
• 可釋放存儲(chǔ)：全球首創(chuàng)可釋放存儲(chǔ)架構(gòu)，實(shí)例暫停存儲(chǔ)落冷，極致壓縮存儲(chǔ)成本。

四、DTS-DBBridge異構(gòu)遷移能力升級(jí)

數(shù)據(jù)傳輸服務(wù)DTS-DBBridge異構(gòu)遷移能力升級(jí)，支持Oracle、DB2等遷移能力，提升傳輸性能，增強(qiáng)穩(wěn)定性、易用性，適配國產(chǎn)化信創(chuàng)環(huán)境。

1、新增10條鏈路：

• 新增Oracle到TDSQL MySQL正反向鏈路，同時(shí)支持一致性校驗(yàn)，SQL條件過濾。
• 新增Oracle到TDSQL PostgreSQL同步鏈路，同時(shí)支持一致性校驗(yàn)。
• 新增DB2到TDSQL MySQL同步鏈路，同時(shí)支持一致性校驗(yàn)。
• 新增MySQL/MariaDB/Percona到TDSQL MySQL正反向同步鏈路，同時(shí)支持一致性校驗(yàn)。

2、功能增強(qiáng)：

• TDSQL MySQL到TDSQL MySQL/Kafka鏈路中支持同步二級(jí)分區(qū)表。
• TDSQL MySQL到Oracle鏈路支持指定位點(diǎn)同步。
• 支持全量、增量階段分離；批量任務(wù)管理；用戶策略管理；軟件License管理。
• 支持API接口功能。
• 支持跨可用區(qū)雙AZ部署、單機(jī)部署。

3、適配國產(chǎn)化信創(chuàng)環(huán)境。

五、DBbrain持續(xù)提升數(shù)據(jù)庫自運(yùn)維能力

數(shù)據(jù)智能管家DBbrain值得關(guān)注的動(dòng)態(tài)如下：

• 支持TDSQL MySQL版、MariaDB的實(shí)時(shí)智能診斷，提供7*24小時(shí)數(shù)據(jù)庫異常發(fā)現(xiàn)、診斷分析、實(shí)時(shí)通知和優(yōu)化建議等服務(wù)。
• 支持關(guān)系型數(shù)據(jù)庫的SQL分析能力，提升問題洞察能力。
• Redis智能診斷能力增強(qiáng)：全面升級(jí)Redis大Key分析、熱Key分析能力。支持事件通知。
• MongoDB智能診斷能力增強(qiáng)：深化MongoDB實(shí)時(shí)會(huì)話功能、支持會(huì)話統(tǒng)計(jì)分析。支持事件通知。
• 支持推送實(shí)時(shí)診斷告警信息到企業(yè)微信、飛書、釘釘群中。
• 私有化1.0.9.8版本發(fā)布，進(jìn)一步深化實(shí)時(shí)診斷能力和全鏈路分析能力，提供完善和成熟的私有云解決方案。

六、騰訊云向量數(shù)據(jù)庫（Tencent Cloud VectorDB）正式上線

Tencent Cloud VectorDB是一款全托管的自研企業(yè)級(jí)分布式數(shù)據(jù)庫服務(wù)，專用于存儲(chǔ)、檢索、分析多維向量數(shù)據(jù)，于2023年8月首次上線，主要特性包括：

• 自研向量檢索引擎OLAMA：支持HNSW、IVF等常用向量索引，可支撐千億級(jí)數(shù)據(jù)量和百萬級(jí)QPS。
• 數(shù)據(jù)庫能力：支持控制臺(tái)管理并監(jiān)控?cái)?shù)據(jù)庫實(shí)例，提供HTTP與SDK多語言接入并管理數(shù)據(jù)庫。
• AI套件：提供一站式文檔檢索解決方案，包含自動(dòng)化文檔解析、信息補(bǔ)充、向量化、內(nèi)容檢索等。
• Embedding功能：自動(dòng)將原始文本轉(zhuǎn)換為向量數(shù)據(jù)并插入數(shù)據(jù)庫或進(jìn)行相似性檢索，簡化用戶操作步驟，降低使用門檻。
• DMC：可視化管理數(shù)據(jù)庫，支持在線執(zhí)行數(shù)據(jù)插入、精確查詢、相似度查詢等操作，直觀地查看執(zhí)行結(jié)果。
• 外網(wǎng)訪問：支持在控制臺(tái)一鍵開啟外網(wǎng)訪問功能，按需配置訪問白名單列表，方便用戶測(cè)試或管理數(shù)據(jù)庫。
• 多可用區(qū)部署：支持選擇兩可用區(qū)與三可用區(qū)，滿足業(yè)務(wù)對(duì)高可用性與容錯(cuò)性的不同需求。

注：關(guān)于騰訊云云數(shù)據(jù)庫MySQL、PostgreSQL、Redis、MongoDB、SQL Server、KeeWiDB、CTSDB、DTS、TDSQL TDStore等產(chǎn)品更新信息，可閱讀本期Newsletter完整版（點(diǎn)擊本文文末【閱讀原文】可下載）

青云2023下半年數(shù)據(jù)庫產(chǎn)品更新匯總

2023年7月5日，RadonDB DMP 1.3.0正式上線。該版本適用于KubeSphere Enterprise 3.4.1。

• OpenSearch增加jvm自適應(yīng)。
• OpenSearch增加救援模式功能。
• OpenSearch支持通過配置對(duì)接第三方身份認(rèn)證OIDC。
• Redis增加maxmemory參數(shù)自適應(yīng)。

2023年10月25日，RadonDB DMP 1.4.0正式上線。該版本適用于KubeSphere Enterprise 3.5.0。

• OpenSearch中新增Logstash角色參數(shù)配置和獨(dú)立監(jiān)控告警功能。
• OpenSearch支持版本從2.3.0升級(jí)到OpenSearch 2.8.0。
• OpenSearch、Kafka、Redis支持預(yù)置集群告警。

2023年11月24日，RadonDB DMP 2.0.0正式上線。該版本適用于KubeSphere Enterprise 4.X訂閱版。

• 支持多種類型數(shù)據(jù)庫與中間件的的可視化創(chuàng)建與統(tǒng)一管理。
• 采用全新的微內(nèi)核架構(gòu)KubeSphere LuBan，支持RadonDB DMP功能擴(kuò)展。
• 支持MySQL版本：5.7、8.0。
• 支持通過Uber日志格式改進(jìn)命令和Sidecar中的日志記錄。
• 支持OpenSearch、Dashboard、Logstash等節(jié)點(diǎn)的部署和管理。
• 支持Redis Cluster/Sentinel實(shí)例故障轉(zhuǎn)移和自動(dòng)恢復(fù)。
• Redis Cluster/Sentinel支持基于Prometheus Exporter的資源狀態(tài)監(jiān)控功能。
• 支持Kafka、RabbitMQ實(shí)例自動(dòng)故障轉(zhuǎn)移和恢復(fù)。

2023年9月7日，MySQL Plus 1.3.0正式上線。其中包含三個(gè)版本：基礎(chǔ)版、高可用版、金融版。

• 支持采集MySQL慢日志輸出到指定的Logstash。
• 適配更新MySQL內(nèi)核版本至MySQL 5.7.41/8.0.31。

2023年9月27日，PostgreSQL PG V2.3.0正式上線。其中包含了兩個(gè)版本：基礎(chǔ)版、高可用版。

• 支持災(zāi)備集群的設(shè)置。
• 支持SSL加密傳輸。
• 支持pgvector插件。

2023年8月26日，Kafka 3.1.0 - v3.0.1正式上線。該版本基于Apache Kafka版本3.1.0構(gòu)建。

• 新增支持使用SASL協(xié)議。

2023年9月24日，HBase 2.4.4 - v3.0.0正式上線。該版本基于Apache HBase 2.4.4、Apache Hadoop 3.2.1、Apache Phoenix 5.1.2構(gòu)建。

• 新增重啟服務(wù)和HDFS Balancer功能。

2023年12月25日，ClickHouse 1.2.0正式上線。該版本基于ClickHouse 22.3.20構(gòu)建，其中包含了兩個(gè)版本：基礎(chǔ)版、企業(yè)版。

• 升級(jí)內(nèi)核至22.3.20（修復(fù)22.3.6內(nèi)存泄漏問題）。
• 增加多可用區(qū)部署功能。

拓?cái)?shù)派發(fā)布大模型數(shù)據(jù)計(jì)算系統(tǒng)πDataCS，更新PieCloudDB多個(gè)版本

一、πDataCS

2023年10月24日，拓?cái)?shù)派發(fā)布大模型數(shù)據(jù)計(jì)算系統(tǒng)（簡稱πDataCS），以云原?技術(shù)重構(gòu)數(shù)據(jù)存儲(chǔ)和計(jì)算，做到「?份數(shù)據(jù)，多引擎數(shù)據(jù)計(jì)算」。πDataCS主要解決海量數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)計(jì)算問題，具備湖倉?體化的能力，用戶可根據(jù)實(shí)際情況選擇合適的數(shù)據(jù)計(jì)算引擎：云原生虛擬數(shù)倉PieCloudDB、向量計(jì)算引擎PieCloudVecotor和 （大模型）機(jī)器學(xué)習(xí)PieCloudML。目前，πDataCS面向國內(nèi)市場(chǎng)提供公有云版、社區(qū)版、企業(yè)版及一體機(jī)多個(gè)版本。

二、PieCloudDB

云原生虛擬數(shù)倉PieCloudDB在2023年下半年，不管是內(nèi)核還是云原生平臺(tái)都進(jìn)行了多個(gè)版本的更新：

1、內(nèi)核模塊更新：

PieCloudDB的內(nèi)核版本從2.5.0升級(jí)至2.10版本。在近半年的版本更新中，PieCloudDB在功能、性能、穩(wěn)定性、安全性上都有了大幅提升，新增眾多重要更新：

• 壓縮效率大幅提升：支持ZSTD、Dict Encoding、Delta Encoding等編碼方法，對(duì)HLL支持游程編碼，節(jié)省存儲(chǔ)空間。
• 支持全新的全局緩存系統(tǒng)。
• 新增全新的元數(shù)據(jù)緩存服務(wù)。
• 自研全新的向量化執(zhí)行器發(fā)布Alpha版本，帶來性能的數(shù)量級(jí)提升。
• 云原生存儲(chǔ)系統(tǒng)「簡墨」Data Skipping功能進(jìn)一步提升，新增預(yù)計(jì)算能力。
• 數(shù)據(jù)同步方面支持CDC（change data capture）功能。

2、云原生平臺(tái)：

PieCloudDB云原生平臺(tái)不斷迭代，截至12月中旬共完成10個(gè)版本的更新，其中包括但不限于：

• 控制臺(tái)功能上線：組織、數(shù)倉、用戶、費(fèi)用、權(quán)限等管理功能的集成。
• 支持LDAP或LDAPs協(xié)議。
• 控制臺(tái)界面及用戶交互方面大量更新。
• 權(quán)限管理優(yōu)化。
• 虛擬數(shù)倉日志功能開放。
• 新增用量統(tǒng)計(jì)功能：可展示存儲(chǔ)量、計(jì)算資源使用量和流量的統(tǒng)計(jì)數(shù)據(jù)。
• 外部連接工具PieProxy的優(yōu)化與升級(jí)：支持Transaction和Session模式，支持白名單配置等功能。

SelectDB Cloud 3.0發(fā)布，增加全新產(chǎn)品形態(tài)

2023年9月25日，飛輪科技全面開放SelectDB Cloud云原生數(shù)據(jù)倉庫，增加全新的私有倉庫（BYOC）產(chǎn)品形態(tài)，同時(shí)發(fā)布了更自主可控的SelectDB Enterprise企業(yè)版。

1、云原生內(nèi)核更新：

目前SelectDB最新內(nèi)核版本為3.0.4。近半年來，SelectDB內(nèi)核發(fā)布了3個(gè)兩位版本共20個(gè)三位版本，從性能到穩(wěn)定性都有大幅提升，新增眾多重要更新：

• 更智能的全新查詢優(yōu)化器。
• 倒排索引。
• 自適應(yīng)的并行執(zhí)行模型。
• 跨集群數(shù)據(jù)同步CCR。
• 湖倉一體支持?jǐn)?shù)十種數(shù)據(jù)源、幾乎所有的開放湖倉格式和Metastore。
• 支持半結(jié)構(gòu)化數(shù)據(jù)。
• 高性能文本分析算法。
• 自動(dòng)統(tǒng)計(jì)信息收集。
• 內(nèi)置JDBC Driver。
• 支持Stream Load。

2、云原生管控平臺(tái)更新：

近半年來，SelectDB Cloud云原生管控平臺(tái)持續(xù)迭代，新增重要更新如下：

• 私有倉庫（BYOC）產(chǎn)品形態(tài)。
• 支持新建集群時(shí)自定義緩存空間。
• 支持新建組織和修改組織。
• 支持新客戶自助注冊(cè)組織（登錄即注冊(cè)）。
• 支持集群自動(dòng)啟停。