國產(chǎn)數(shù)據(jù)庫成發(fā)展主力，技術(shù)創(chuàng)新成效不俗

2023年上半年，數(shù)據(jù)庫行業(yè)整體呈現(xiàn)蓬勃發(fā)展態(tài)勢，特別是國產(chǎn)廠商成為了發(fā)展主力軍。包括廠商、產(chǎn)品、技術(shù)等多方面，中國已經(jīng)成為全球僅次于美國的數(shù)據(jù)庫發(fā)展高地，出現(xiàn)了一大批有代表性的產(chǎn)品及技術(shù)創(chuàng)新。據(jù)第三方估計，到2025年中國數(shù)據(jù)總量預(yù)計將躍居全球第一，占比有望達(dá)到27%以上。這是其他國家尚不具備的優(yōu)勢，為國產(chǎn)數(shù)據(jù)庫發(fā)展打下良好基礎(chǔ)。

經(jīng)過多年發(fā)展，國產(chǎn)數(shù)據(jù)庫推廣進(jìn)入"深水區(qū)"，并取得了不俗成績，在一些關(guān)鍵技術(shù)領(lǐng)域?qū)崿F(xiàn)了突破，其中以HTAP、單機(jī)分布式一體化、云數(shù)據(jù)庫、Serverles、多模等為代表的一批廠商和產(chǎn)品表現(xiàn)突出。

在分布式數(shù)據(jù)庫領(lǐng)域，國產(chǎn)數(shù)據(jù)庫經(jīng)過多年發(fā)展已得到廣大用戶支持并成為主流技術(shù)選型，一方面以單機(jī)分布式一體化為代表的技術(shù)降低了用戶使用門檻，另一方面也賦予了分布式上更多的能力，如HTAP等；在云與云原生領(lǐng)域，國內(nèi)云數(shù)據(jù)庫競爭進(jìn)入白熱化，各方一方面大打價格戰(zhàn)，另一方面構(gòu)建上下游生態(tài)以造“護(hù)城河”；Serverless化在之前產(chǎn)品力發(fā)展之后，產(chǎn)品落地還處于觀望階段，尚未大規(guī)模推廣；近半年來，最大的熱點來自于AIGC，以chatGPT為代表的產(chǎn)品開始顛覆很多行業(yè)，數(shù)據(jù)庫作為數(shù)據(jù)的載體，首當(dāng)其沖開始融合。一方面以向量數(shù)據(jù)庫為代表的新型數(shù)據(jù)庫，成為大家包括資本方的關(guān)注，另一方面AIGC與數(shù)據(jù)庫的結(jié)合方向，開始有初步成果，包括自助SQL生成、智能優(yōu)化等；以圖、時序等為代表的異構(gòu)模型數(shù)據(jù)庫產(chǎn)品開始受到更多關(guān)注，傳統(tǒng)數(shù)據(jù)庫中也開始更多支持如JSON等類型，場景化落地成為此類技術(shù)發(fā)展要點；此外，數(shù)據(jù)分析領(lǐng)域的數(shù)據(jù)湖一體化、數(shù)據(jù)安全及數(shù)據(jù)庫與硬件結(jié)合等方向也呈現(xiàn)較高發(fā)展熱度。除技術(shù)熱點外，國內(nèi)數(shù)據(jù)庫廠商開始在生態(tài)構(gòu)建上發(fā)力，一方面與上下游伙伴共建，以行業(yè)垂類方案增多為代表，另一方面則通過開源三方商業(yè)化構(gòu)建大生態(tài)。

數(shù)據(jù)庫產(chǎn)品半年度盤點

主流數(shù)據(jù)庫的版本升級與更新亮點

在如此百花爭鳴的2023年上半年，dbaplus社群攜手一眾數(shù)據(jù)庫行業(yè)專家，匯總、梳理并提煉出主流數(shù)據(jù)庫近半年的版本更迭、性能優(yōu)化、功能提升等關(guān)鍵信息，希望對大家了解數(shù)據(jù)庫發(fā)展趨勢，以及數(shù)據(jù)庫選型工作有所幫助和啟發(fā)。

為方便閱讀、重點呈現(xiàn)，本文對各板塊內(nèi)容進(jìn)行了精簡，需閱讀完整版可點擊文末【閱讀原文】或登錄云盤下載：

https://pan.baidu.com/s/1urJi4hjH_Ae4_5WMQwSaPw?pwd=2023（提取碼：2023）

DB-Engines數(shù)據(jù)庫排行榜

以下取自2023年7月的數(shù)據(jù)，具體信息可以參考http://db-engines.com/en/ranking/，數(shù)據(jù)僅供參考。

圖片

DB-Engines排名的數(shù)據(jù)依據(jù)5個不同的因素：

• Google以及Bing搜索引擎的關(guān)鍵字搜索數(shù)量
• Google Trends的搜索數(shù)量
• Indeed網(wǎng)站中的職位搜索量
• LinkedIn中提到關(guān)鍵字的個人資料數(shù)
• Stackoverflow上相關(guān)的問題和關(guān)注者數(shù)

RDBMS

Oracle發(fā)布Database 23c免費版-開發(fā)人員版，19c支持ARM架構(gòu)

一、Oracle新發(fā)布Oracle Database 23c免費版-開發(fā)人員版

為響應(yīng)全球開發(fā)人員和組織訪問Oracle Database 23c新特性的需求，Oracle首次為開發(fā)人員社區(qū)提供Oracle Database 23c免費開發(fā)人員版本的搶先體驗。開發(fā)人員可以免費訪問其應(yīng)用開發(fā)功能，例如JSON Relational Duality、直接針對OLTP數(shù)據(jù)進(jìn)行圖形查詢的SQL支持、JavaScript Stored Procedures 、JSON模式、增強的Oracle Kafka API、域和注釋以及對SQL語言本身的許多增強。

23c 免費版-開發(fā)人員版可作為Docker Image、VirtualBox VM或Linux RPM安裝文件下載 (oracle.com/oracledbfree)，無需用戶帳戶、登錄名或信用卡。同時計劃很快會推出Windows版本，現(xiàn)在也可以在帶有VirtualBox和Docker的Windows上使用。

主要功能：

1、JSON關(guān)系二元性：開發(fā)人員可以使用單一真實來源在關(guān)系或JSON范式中構(gòu)建應(yīng)用程序，并從兩者的優(yōu)勢中受益——關(guān)系模型和文檔模型。數(shù)據(jù)只保留一次，但可以使用任何一種方法訪問、寫入和修改。該技術(shù)展示其突破性能力的一個例子是，由于產(chǎn)品突然召回，組織不得不手動更新20,000個JSON文檔；現(xiàn)在，他們可以在23c中進(jìn)行一個簡單的更新，并且該更改將自動傳播到所有20,000個JSON文檔。

2、Java Script存儲過程（由GraalVM提供支持）：通過編寫JavaScript存儲過程或?qū)F(xiàn)有JavaScript庫加載到Oracle數(shù)據(jù)庫中，現(xiàn)在可以更接近數(shù)據(jù)執(zhí)行JavaScript代碼。對JavaScript代碼的支持通過允許直接在數(shù)據(jù)層內(nèi)重用現(xiàn)有業(yè)務(wù)邏輯和重用JavaScript開發(fā)人員技能來提高開發(fā)人員的工作效率。JavaScript代碼調(diào)用可以與SQL和PL/SQL混合，提供多語言編程語言支持。

3、JSON Schema：開發(fā)人員可以通過行業(yè)標(biāo)準(zhǔn)的JSON Schemas確保和驗證JSON文檔結(jié)構(gòu)，從而更自信和可靠地使用JSON數(shù)據(jù)格式。

4、操作屬性圖：開發(fā)人員可以使用Oracle數(shù)據(jù)庫構(gòu)建事務(wù)性和分析性屬性圖應(yīng)用程序，使用其新SQL標(biāo)準(zhǔn)屬性圖查詢支持，包括在關(guān)系數(shù)據(jù)和JSON數(shù)據(jù)之上運行圖形分析。

5、Oracle Kafka API：Kafka應(yīng)用程序可以通過非常少的代碼更改針對Oracle數(shù)據(jù)庫事務(wù)事件隊列運行。這使得使用在單個原子事務(wù)中執(zhí)行事件操作和數(shù)據(jù)庫更改的事務(wù)事件構(gòu)建的更強大的微服務(wù)成為可能。

6、域：新的域構(gòu)造可以充當(dāng)輕量級類型修飾符，集中記錄預(yù)期的數(shù)據(jù)使用，擴(kuò)展并顯著改進(jìn)SQL標(biāo)準(zhǔn)域。這使開發(fā)人員能夠更好地了解數(shù)據(jù)的使用方式并提高整體數(shù)據(jù)質(zhì)量，而不會出現(xiàn)特定用途數(shù)據(jù)類型或用戶定義類型的復(fù)雜性和不兼容性。

7、注釋：數(shù)據(jù)庫元數(shù)據(jù)現(xiàn)在可以通過Oracle數(shù)據(jù)庫中的新注釋機(jī)制直接與數(shù)據(jù)一起存儲。開發(fā)人員可以注釋表、列、視圖、索引等的公共數(shù)據(jù)模型屬性——提供一個集中的、輕量級的、聲明性的工具來跨應(yīng)用程序注冊和交換使用屬性。將元數(shù)據(jù)與數(shù)據(jù)一起存儲可確保一致性和對使用該數(shù)據(jù)的任何用戶或應(yīng)用程序的普遍可訪問性。

二、Oracle Database 19c在云端或本地部署支持ARM架構(gòu)

2023年6月28日，Oracle宣布Oracle Database 19c企業(yè)版（Oracle數(shù)據(jù)庫當(dāng)前的長期支持版本）已通過認(rèn)證，支持業(yè)界流行ARM架構(gòu)云部署和本地部署。Oracle數(shù)據(jù)庫在ARM架構(gòu)上的認(rèn)證意味著用戶可以在ARM處理器上部署和運行Oracle 19c數(shù)據(jù)庫，具體來說，用戶現(xiàn)在可以在Oracle云基礎(chǔ)設(shè)施 (OCI) 上，訂閱基于Ampere? Altra?處理器 (OCI Ampere A1) 計算實例的Oracle數(shù)據(jù)庫服務(wù)，或者可以在本地選擇Ampere的ARM架構(gòu)服務(wù)器運行Oracle Database 19c — 這兩個選項都具備突出的成本優(yōu)勢。

當(dāng)前直接提供19.19的完整安裝包，下載鏈接：

https://www.oracle.com/database/technologies/oracle-database-software-downloads.html

目前支持的Linux版本是Oracle Linux 8 Distributions on Linux for ARM (aarch64)。

MySQL發(fā)布8.0.32和8.0.33版本

2023年上半年，MySQL發(fā)布了2個版本——8.0.32和8.0.33，主要修復(fù)了大量的bug，而OCI的MySQL HeatWave服務(wù)，是一個可以同時處理事務(wù)、實時分析和機(jī)器學(xué)習(xí)負(fù)載的云服務(wù)，也發(fā)布了一些新特性，具體如下：

1、舊的壓縮控制參數(shù)已被棄用，并替換為新的配置參數(shù)，以更好地控制與服務(wù)器的連接中使用壓縮的方式。新的和被棄用的參數(shù)如下：

--compression-algorithms客戶端選項替換了--compress和Compress狀態(tài)變量MYSQL_OPT_COMPRESSION_ALGORITHMS C API選項替換了以前的MYSQL_OPT_COMPRESS C API選項。

CHANGE MASTER TO語句的MASTER_COMPRESSION_ALGORITHMS選項替換了舊的slave_compressed_protocol系統(tǒng)變量。

這些被棄用的參數(shù)將在未來的MySQL版本中被移除?，F(xiàn)在，當(dāng)客戶端用戶使用--compress調(diào)用以下客戶端程序時，將會有一個警告：mysqlpump、mysqlcheck、mysql、mysqladmin、mysqlbinlog、mysqldump、mysqlimport、mysqlshow、mysqlslap、mysql_upgrade和mysqltest。

mysqlbackup的--compress選項具有不同的功能，這個選項未被棄用。

2、可以通過在CHANGE REPLICATION SOURCE TO語句的REQUIRE_TABLE_PRIMARY_KEY_CHECK選項中設(shè)置為GENERATE，使從庫在沒有主鍵的InnoDB表中添加一個生成的不可見主鍵，即使該表在復(fù)制時沒有主鍵。假設(shè)從庫配置有兩個復(fù)制通道，命名為ch1和ch2，并執(zhí)行以下語句：

STOP REPLICA;

SET @@sql_require_primary_key = ON;

CHANGE REPLICA SOURCE TO

REQUIRE_TABLE_PRIMARY_KEY_CHECK = GENERATE

FOR CHANNEL ch1;

START REPLICA;

這些語句的效果是，從庫現(xiàn)在為由通道ch1復(fù)制創(chuàng)建的表添加一個不可見的主鍵，但對于ch2復(fù)制的表沒有影響。

從庫會忽略在主庫上設(shè)置的sql_generate_invisible_primary_key，該變量并不會被復(fù)制。

要注意的是，REQUIRE_TABLE_PRIMARY_KEY_CHECK = GENERATE與MySQL Group Replication不兼容，該選項僅支持ON、OFF和STREAM這三個值。

3、從8.0.32版本開始，以未加引號的方式使用"full"（不區(qū)分大小寫）作為標(biāo)識符將被棄用，并引發(fā)警告。這是為了更加貼近SQL標(biāo)準(zhǔn)，其中FULL被保留為關(guān)鍵字。

4、允許設(shè)置EXPLAIN語句的默認(rèn)輸出格式。這個功能通過一個名為explain_format的系統(tǒng)變量實現(xiàn)。以前，我們只能在每個EXPLAIN語句中使用FORMAT選項來指定輸出格式，但現(xiàn)在可以通過設(shè)置explain_format來定義默認(rèn)格式。

explain_format系統(tǒng)變量可以接受以下幾種值：傳統(tǒng)格式（TRADITIONAL）、JSON格式（JSON）和樹形格式（TREE）。傳統(tǒng)格式可以使用DEFAULT作為同義詞。如果我們將explain_format設(shè)置為TREE，那么所有未指定FORMAT選項的EXPLAIN語句都將以樹形格式輸出。

5、在MySQL 8.0.31中添加的內(nèi)部resource-group增強功能已經(jīng)進(jìn)行了重構(gòu)，但仍然支持Resource_group_supported狀態(tài)變量。

6、在使用mysqldump命令時，如果同時使用了--single-transaction和--set-gtid-purged=ON選項，導(dǎo)出的數(shù)據(jù)和GTIDs之間可能會存在不一致。這是因為，在mysqldump開始事務(wù)和獲取GTID_EXECUTED之間，服務(wù)器上的GTIDs可能已經(jīng)增加。為了解決這個問題，修復(fù)中在獲取GTID_EXECUTED之前會執(zhí)行FLUSH TABLES WITH READ LOCK操作，以確保其值與mysqldump快照一致。需要注意的是,在8.0.32，此修復(fù)要求在使用--single-transaction執(zhí)行FLUSH TABLES WITH READ LOCK時需要RELOAD權(quán)限，在8.0.33上，只有在gtid_mode=ON（默認(rèn)為OFF）且使用--set-gtid-purged=ON|AUTO（默認(rèn)為AUTO）時，才需要該權(quán)限。

7、從MySQL 5.7升級到8.0時，如果在單個數(shù)據(jù)庫中存在大量的表，服務(wù)器會消耗過多的內(nèi)存。為了解決這個問題，在這種情況下，通過逐個獲取每個表對象，執(zhí)行任何所需的檢查，獲取表名，并釋放該對象，然后繼續(xù)處理下一個表對象，解決了這個問題。

8、現(xiàn)在不允許使用DEFAULT(col_name)來指定生成列的默認(rèn)值，這會觸發(fā)錯誤信息。

9、如果在使用mysqldump或mysqlpump時，無法將字段的默認(rèn)值轉(zhuǎn)換為UTF-8編碼（例如，如果字段是BINARY類型且默認(rèn)值不是有效的UTF-8編碼），那么導(dǎo)出的數(shù)據(jù)將無法正確導(dǎo)入。即使使用了--hex-blob選項，問題也無法解決?，F(xiàn)在，我們將默認(rèn)值轉(zhuǎn)換為系統(tǒng)字符集。如果轉(zhuǎn)換失敗，服務(wù)器會以十六進(jìn)制的形式發(fā)送該值，以便更容易閱讀和理解。

對于甲骨文的云上MySQL數(shù)據(jù)庫服務(wù)，不僅同步升級為最新的8.0.33，還發(fā)布了以下新特性：

• 企業(yè)級加密功能；
• HA高可用架構(gòu)支持基于時間點的恢復(fù)，HA支持直接使用HeatWave集群；
• MySQL HeatWave發(fā)布了32GB的shape，可以更靈活地適配較小的數(shù)據(jù)。

PostgreSQL發(fā)布16 Beta1新版本，更新15、14、13、12版本

2023年上半年，PostgreSQL主要發(fā)布了11、12、13、14、15版本系列的修正版本11.20、12.15、13.11、14.8、15.3及16版本系列Beta版本16 Beta1，其中值得關(guān)注的新特性有：

1、監(jiān)控管理類：新版本改進(jìn)了頁面凍結(jié)策略，可以提高VACUUM和其他維護(hù)操作的性能。PostgreSQL 16還改進(jìn)了文本排序規(guī)則的通用支持，提供了定義文本排序的規(guī)則。該版本使用ICU作為默認(rèn)排序規(guī)則，同時還增加了預(yù)定義的unicode和ucs_basic排序規(guī)則。

PostgreSQL 16提供了額外的pg_dump壓縮選項，同時支持lz4和zstd壓縮。

2、性能提升類：PostgreSQL 16實現(xiàn)了SELECT DISTINCT查詢的增量排序。同時，該版本還優(yōu)化了窗口函數(shù)查詢，改進(jìn)了RANGE和LIST分區(qū)查找，并且支持RIGHT、OUTER查詢中的反連接。

PostgreSQL 16同時改進(jìn)了使用COPY命令并發(fā)批量加載數(shù)據(jù)的性能效率提高。

3、邏輯復(fù)制：在PostgreSQL 16之前，用戶只能在主節(jié)點創(chuàng)建邏輯復(fù)制的發(fā)布者。新版本增加了在備節(jié)點執(zhí)行邏輯解碼的功能，因此給復(fù)制帶來了更多選項，例如使用壓力更小的備節(jié)點作為復(fù)制源。

PostgreSQL 16還提高了邏輯復(fù)制的性能，包括訂閱者并行應(yīng)用大型事務(wù)，使用索引而不是主鍵執(zhí)行UPDATE或者DELETE操作，支持初始化時使用二進(jìn)制格式復(fù)制表。

4、安全增強：以及pg_create_subscription，可以創(chuàng)建邏輯復(fù)制訂閱。另外，從該版本開始，邏輯復(fù)制訂閱者將會作為表的擁有者執(zhí)行相關(guān)事務(wù)，不再以superuser作為擁有者執(zhí)行事務(wù)。

PostgreSQL 16支持在pg_hba.conf和pg_ident.conf文件中使用正則表達(dá)式匹配用戶名和數(shù)據(jù)庫名。另外，新版本還支持在這兩個文件中引用其他文件。

PostgreSQL 16還增加了SQL標(biāo)準(zhǔn)中的SYSTEM_USER關(guān)鍵字，可以用于返回建立會話的用戶名和認(rèn)證方法。

PostgreSQL 16還支持Kerberos證書委托，允許擴(kuò)展插件（例如postgres_fdw和dblink）使用已驗證的憑據(jù)連接到其他服務(wù)。該版本增加了幾個新的面向安全的客戶端連接參數(shù)，包括require_auth，用于指定客戶端可以接受的服務(wù)器認(rèn)證方法。用戶現(xiàn)在可以將sslrootcert設(shè)置為system，表示使用客戶端操作系統(tǒng)提供的CA證書存儲。

OceanBase發(fā)布4.1版本

2023年3月25日，OceanBase 4.1版本正式發(fā)布。該版本在4.0基礎(chǔ)上進(jìn)一步提升性能、完善功能，同時增強穩(wěn)定性，在內(nèi)核能力上對分布式事務(wù)和存儲進(jìn)行了大量優(yōu)化，同時也推出了很多對開發(fā)者非常重磅的功能，包括GIS、JSON、增強LOB、租戶級主備庫等。

1、內(nèi)核能力增強：4.1版本針對用戶關(guān)注的特性快速迭代打磨，故障恢復(fù)能力升級，更多場景達(dá)成RTO < 8秒，幫助業(yè)務(wù)提供更強的持續(xù)可用能力；支持更細(xì)粒度的資源隔離能力，允許對同一張表的不同數(shù)據(jù)指定分別的資源組；存儲空間占用大幅優(yōu)化，自動追蹤宏塊使用情況，并允許多張表的數(shù)據(jù)可以復(fù)用同一個宏塊，進(jìn)一步提升存儲利用效率；支持空間信息系統(tǒng)（GIS），更好地支持位置查詢、空間分析等場景。全新的通用LOB，在訪問LOB的全鏈路上支持了LOB的延遲加載，解決了LOB查詢對內(nèi)存的依賴，更少的資源實現(xiàn)更高并發(fā)。

2、易用性提升：4.1版本推出全新的向?qū)桨惭b部署工具及輕量版開箱即用的集群運維管理工具OCP Express，通過圖形化界面最大程度降低安裝門檻，一次部署就能獲得數(shù)據(jù)庫內(nèi)核（OBServer）、代理服務(wù)（OBProxy）、管理工具（OCP Express）在內(nèi)的完整產(chǎn)品服務(wù)；租戶級別物理備庫，讓備庫功能做到租戶粒度，更符合實際業(yè)務(wù)的容災(zāi)部署方案。在線統(tǒng)計信息收集，持續(xù)生成最優(yōu)的執(zhí)行計劃；

3、性能提升：新增旁路導(dǎo)入（Direct Write）功能，數(shù)據(jù)導(dǎo)入性能提升3~10倍，導(dǎo)入穩(wěn)定性極大提升；支持并行Truncate Table，跑批業(yè)務(wù)場景中讓執(zhí)行效率提升10倍以上；事務(wù)內(nèi)路由優(yōu)化，大幅降低事務(wù)整體執(zhí)行延遲，TP業(yè)務(wù)分布式事務(wù)較多的場景，可大幅降低整個事務(wù)的整體執(zhí)行延遲；TP性能顯著提升，4核小規(guī)格部署環(huán)境下，sysbench綜合讀寫能力相比4.0提升40%；AP方面優(yōu)化了計劃生成能力，允許更多的算子下壓操作的同時，增強查詢改寫并支持更多場景的改寫優(yōu)化，引入更多的自適應(yīng)執(zhí)行能力。TPC-H 100G場景性能比4.0提升17%，TPC-DS 100G場景性能比4.0提升15%。

4、兼容性增強：Oracle兼容模式下，支持完整的DBLink讀寫功能，并提供JSON數(shù)據(jù)類型支持。MySQL兼容模式下，提供Binlog Service，可以將OceanBase的日志轉(zhuǎn)換成MySQL Binlog格式，且提供了全面兼容Binlog協(xié)議的能力，更方便接入下游數(shù)據(jù)生態(tài)。提供更全面的MySQL 8.0兼容能力，新增針對MySQL 8.0的多個兼容性升級，包括13個SQL mode支持，十余個函數(shù)支持；進(jìn)一步完善INFORMATION_SCHEMA的兼容表現(xiàn)；觸發(fā)器功能中CREATE TRIGGER語句支持PRECEDES/FOLLOWS子句定義觸發(fā)順序；公共表達(dá)式功能（CTE）支持WITH ... UPDATE ...和WITH ... DELETE ...用法。兼容性評估方面，兼容性評估工具OMA產(chǎn)品推出分布式優(yōu)化推薦功能，滿足傳統(tǒng)核心大數(shù)據(jù)量業(yè)務(wù)庫場景下，自動分析并提供針對分區(qū)表、表組、索引、復(fù)制表的改造建議，基于負(fù)載回放后的性能分析中增加基于最佳實踐的SQL診斷和優(yōu)化推薦方案。

5、企業(yè)級高級特性：推出基于仲裁的高可用，兩地三中心或三地五中心部署模式下，當(dāng)任意一個機(jī)房故障時，集群服務(wù)持續(xù)可用，且查詢延遲不受影響，提供更強的服務(wù)連續(xù)性和數(shù)據(jù)可靠性，仲裁服務(wù)僅存儲元信息，對資源(CPU/內(nèi)存/磁帶寬）要求極小，跨地域場景相比其他類型副本可將第三機(jī)房成本降到極低；Oracle兼容模式提供Database Link支持寫事務(wù)，支持跨OceanBase和Oracle的寫事務(wù)能力，也支持OceanBase到OceanBase的寫事務(wù)能力。更強的Database Link功能的支持可以協(xié)助實際業(yè)務(wù)替換數(shù)據(jù)庫過程中做得更小改動，更加平滑。

此外，OceanBase Cloud已上線4.1版本，支持客戶在云上體驗最新的OceanBase單機(jī)分布式一體化架構(gòu)能力。新增支持24C、104C規(guī)格，覆蓋從1C/2C/4C/8C/14C/24C/30C/62C/104C全系列規(guī)格，支持不同規(guī)模的客戶業(yè)務(wù)訴求，并推出free trial幫助用戶快速體驗4C16GB集群版實例。

華為新一代自研分布式數(shù)據(jù)庫GaussDB發(fā)布

一、高可用

1、雙集群強一致：基于存算分離，GaussDB+鯤鵬+NOF網(wǎng)絡(luò)+Dorado存儲，全棧組合調(diào)優(yōu)，集群級故障完全隔離，雙AZ雙活，保障RPO=0。

2、應(yīng)用無損透明倒換：故障切換快速連接、SQL操作斷點繼續(xù)，實現(xiàn)數(shù)據(jù)庫HA切換時連接不斷、事務(wù)自動回放，業(yè)務(wù)無感知。

二、高安全

1、純軟全密態(tài)數(shù)據(jù)庫：支持國密算法、透明加密，通過數(shù)學(xué)算法直接在密文空間進(jìn)行查詢和運算，極大提升了密文數(shù)據(jù)處理效率，相比業(yè)界同類產(chǎn)品性能領(lǐng)先35%以上。

2、防篡改數(shù)據(jù)庫：使用高并發(fā)摘要生成算法生成表級校驗碼，打破串行化，并發(fā)度可以提升十倍以上，支持多表、多賬本的關(guān)聯(lián)操作，支持SQL。

三、高性能

1、Ustore存儲引擎：采用In-place Update方式的Ustore存儲引擎，8H滾降值降低81%，存儲空間降低17%。

2、內(nèi)核線程調(diào)度：NUMA親和，減少跨核數(shù)據(jù)拷貝和通信。

3、NUMA化數(shù)據(jù)結(jié)構(gòu)：CLOG、WALInsertLock、PGPROC等按照NUMA node進(jìn)行分布，減少遠(yuǎn)端訪存次數(shù)，提升鎖的訪問效率。

4、LSE ARM指令級性能優(yōu)化：引入的新的原子操作LSE，將大量的可轉(zhuǎn)換為原子類型操作（plus、minus、CAS）的部分，替換為ARM硬件相關(guān)原語LSE指令集，提升計算性能。

四、高彈性

線聚簇擴(kuò)容、多輪追增：減少鎖表時間，秒級彈性伸縮，系統(tǒng)容量和性能的線性Scale Out。

五、高智能

DBMind工具升級：支持智能索引推薦、智能分布列推薦、智能故障根因分析等，幫助客戶提高性能和診斷效率。

六、易部署、易遷移

1、內(nèi)核多層級多租戶資源隔離：封裝底層資源，發(fā)放租戶級實例，實現(xiàn)租戶級資源組隔離，智能容量預(yù)測與錯峰調(diào)度算法，提升資源利用率4倍以上。

2、基于語義感知的數(shù)據(jù)壓縮：基于數(shù)據(jù)語義壓縮算法，支持自定義冷熱分離模型，存儲成本下降50%，性能影響小于5%。

3、數(shù)據(jù)庫兼容性提升：Oracle/MySQL常用語法高度兼容，整體兼容性90%以上。

NewSQL

TiDB發(fā)布7.1和6.5兩個LTS版本和1個DMR版本

TiDB 7.1是2023年度首個LTS（Long Term Support）版本，匯集了來自20+個真實場景帶來的功能增強，累計優(yōu)化和修復(fù)140+功能。TiDB 7.1企業(yè)版增強了數(shù)據(jù)庫審計功能，通過更細(xì)粒度的事件過濾控制、更友好的過濾條件設(shè)置方式、新增的JSON文件輸出格式以及審計日志的生命周期管理，大幅提升系統(tǒng)的審計能力。

資源管控特性在7.1版本中得到增強并正式GA，使得TiDB具備了多租戶隔離能力。這為云上和OP環(huán)境提供了TiDB數(shù)據(jù)庫整合（Database Consolidation）解決方案，幫助企業(yè)提升資源利用效率，降低運營成本。

在6.6-7.1幾個版本中，TiKV引入新一代存儲引擎分區(qū)Raft KV，通過每個數(shù)據(jù)Region獨享存儲實例，可將集群的存儲能力從TB級擴(kuò)展到PB級，并提供更穩(wěn)定的寫入延遲和更強大的擴(kuò)容能力。

圖數(shù)據(jù)庫

ArangoDB發(fā)布3.11.1版本

ArangoDB是一個分布式原生的多模型數(shù)據(jù)庫，具有靈活的文檔、圖形和鍵值數(shù)據(jù)模型。使用方便的SQL查詢語言或JavaScript擴(kuò)展構(gòu)建高性能應(yīng)用程序。2023年上半年，ArangoDB發(fā)布了3.11.1版本，具體更新內(nèi)容如下：

• SEARCH-480：加速ArangoSearch恢復(fù)。
• SEARCH-476：修復(fù)fst builder中的錯誤。
• BTS-1325：AQL：修復(fù)了多個并行遍歷可能出現(xiàn)的死鎖。
• 將arangosync更新為v2.18.0。
• 將OpenSSL更新至3.0.9。
• BTS-1435：修復(fù)了無效的AQL優(yōu)化并添加了安全措施。
• APM-766，SEARCH-479：減少ArangoSearch移除的內(nèi)存開銷。
• 提高ArangoSearch GEO_IN_RANGE函數(shù)的精度。
• 將ArangoDB Starter更新為0.15.8。
• OASIS-25262：修復(fù)了唯一索引的IN lookup中的未定義行為，當(dāng)查找陣列必須在內(nèi)存中重建時。
• 無效鍵現(xiàn)在被報告為批量插入操作的個別錯誤，而不再中止整個批次。
• BTS-1255：修復(fù)內(nèi)存緩存子系統(tǒng)中的零星內(nèi)存使用統(tǒng)計下溢。
• ECONNABORTED在fuerte中被視為ConnectionClosed錯誤。
• 如果我們無法從_users集合中刪除相應(yīng)的權(quán)限，數(shù)據(jù)庫刪除操作將不再失敗。
• 添加了啟動選項--query.max-collections-per-query以調(diào)整 每個查詢的最大集合/分片數(shù)限制。該選項默認(rèn)為2048，相當(dāng)于之前的硬編碼值。

時序數(shù)據(jù)庫

YMatrix發(fā)布5.0 GA及5.0.1版本

2023年上半年，YMatrix超融合數(shù)據(jù)庫主要發(fā)布了5.0.0 GA及5.0.1兩個版本。5.0 GA版本的正式發(fā)布，標(biāo)志著所有新特性在經(jīng)過嚴(yán)格的測試驗證后，已達(dá)到生產(chǎn)級可用狀態(tài)?；赥PC-H基準(zhǔn)的最新測試報告顯示，對比YMatrix和Greenplum在100和1000兩種數(shù)據(jù)規(guī)模下的性能表現(xiàn)，YMatrix分別提升了13倍和12倍。其中，值得關(guān)注的新變化有：

1、引入etcd集群，實現(xiàn)集群主節(jié)點（Master）和和主節(jié)點備用節(jié)點（Standby）的故障自動轉(zhuǎn)移；

2、新增鏡像節(jié)點添加工具、實例和數(shù)據(jù)刪除工具、主節(jié)點備用節(jié)點添加工具、數(shù)據(jù)庫系統(tǒng)修復(fù)工具、數(shù)據(jù)庫啟動及狀態(tài)顯示等集群管理工具；

3、新增Runtime Filter產(chǎn)訊性能優(yōu)化技術(shù)；

4、MARS2存儲引擎性能大幅優(yōu)化；

5、新增編碼鏈壓縮算法；

6、圖形化管理見面新增查詢監(jiān)控頁面，寫入測試、查詢測試等新功能。

大數(shù)據(jù)生態(tài)圈

Elastic發(fā)布3個大版本

截至2023年6月底，Elastic今年發(fā)布了3個大版本，從8.6.x~8.8.x，每個大版本之間包括幾個小版本問題修復(fù)。7.17.x依然在持續(xù)更新，屬于過渡性升級版本，主要側(cè)重對已知問題的修復(fù)，也包括與8.x版本的兼容性升級。

1、TSDS GA時序數(shù)據(jù)流正式發(fā)布

• Elasticsearch在8.5.0版本發(fā)布了TSDS時序索引特性，作為實驗性功能引入。
• Elasticsearch在8.7.0版本正式發(fā)布了時序索引特性，同比常規(guī)普通索引下指標(biāo)類型數(shù)據(jù)存儲節(jié)約了70%的空間（官方介紹）。當(dāng)下時序數(shù)據(jù)庫領(lǐng)域，產(chǎn)品眾多，競爭激烈，有專用的時序數(shù)據(jù)庫，有混合時序特性的關(guān)系型數(shù)據(jù)庫，也有混合時序特性的新型NoSQL數(shù)據(jù)庫，有的強調(diào)存儲空間壓縮率，有的強調(diào)讀寫性能，有的是為了增強自身產(chǎn)品生態(tài)。Elasticsearch的時序數(shù)據(jù)特性在時序數(shù)據(jù)庫領(lǐng)域不是最強，若結(jié)合Elasticsearch平臺已有的各種特性能力，又是一款具有非常大的挑戰(zhàn)性的產(chǎn)品特性，在多數(shù)大中型規(guī)模以下應(yīng)用場景，幾乎可以不考慮其存儲成本問題，生態(tài)的豐富性完全可以抵消這部分，這是很多其它專用時序數(shù)據(jù)庫所不能的。

2、Downsampling GA降采樣正式發(fā)布

• Elasticsearch在8.5.0版本下伴隨TSDS時序特性，也引入了Downsampling降采樣策略，同樣作為實驗性功能引入。
• Elasticsearch在8.7.0版本正式發(fā)布了ownsampling降采樣特性。作為時序數(shù)據(jù)場景海量數(shù)據(jù)存儲問題解決方案的補充方案，通過損失一定的數(shù)據(jù)精度，大大降低時序數(shù)據(jù)的存儲?；贓lasticsearch已有的索引生命周期管理（ILM：index lifecycle management）功能輕松設(shè)置即可。

3、encode 40-48-56編碼壓縮

• Elasticsearch在8.8.0版本發(fā)布了新的編碼壓縮策略，基于40-48-56比特編碼策略，同比之前版本，對于long類型等數(shù)值字段空間壓縮率提升幅度很大，至少在10%以上；同樣在TSDS時序數(shù)據(jù)應(yīng)用場景下，提升明顯。

4、OpenJDK 20.x

• JDK最近幾年發(fā)布新特性與版本都很快，業(yè)界當(dāng)前應(yīng)用最廣泛是JDK8、JDK11，更高版本的無論是應(yīng)用系統(tǒng)還是中間件都較少，Elasticsearch當(dāng)前已經(jīng)升級到OpenJDK 20.x，為了更好的性能或者更多的特性，Elasticsearch敢為天下先，為廣大Java領(lǐng)域的開發(fā)者提供了很好的學(xué)習(xí)參考。

參考文獻(xiàn)：

Encode using 40, 48 and 56 bits per value 編碼壓縮

https://github.com/elastic/elasticsearch/pull/93371

tsds 時序數(shù)據(jù)特性

https://www.elastic.co/guide/en/elasticsearch/reference/current/tsds.html、

downsampling 降采樣策略

https://www.elastic.co/guide/en/elasticsearch/reference/current/downsampling.html

Flink發(fā)布1.17.0版本

2023年3月，F(xiàn)link發(fā)布了1.17大版本，相比1.16，1.17版本側(cè)重提升了引擎的批處理的性能和完善了流處理語義，使得用戶可以實現(xiàn)更簡化、更實時的數(shù)據(jù)倉庫，朝著Streaming Warehouse領(lǐng)域邁進(jìn)了一大步。

1、Flink SQL中引入了新的Delete和Update API，它們可以在Batch模式下工作，外部存儲系統(tǒng)可以通過這些新的API實現(xiàn)數(shù)據(jù)的行級刪除和更新。

2、Flink SQL對ALTER TABLE語法進(jìn)行了增強，支持了包括ADD/MODIFY/DROP列、主鍵和watermark的功能。

3、通過策略優(yōu)化和算子優(yōu)化，引入新的join-reorder算法和自適應(yīng)的本地哈希聚合優(yōu)化、Hive聚合函數(shù)改進(jìn)以及混合shuffle模式優(yōu)化，使得TPC-DS性能整體提升了26%。

4、支持所有算子的預(yù)測執(zhí)行，自適應(yīng)的批處理調(diào)度可以更好的應(yīng)對數(shù)據(jù)傾斜場景，提升了生產(chǎn)場景下的穩(wěn)定性。

5、自適應(yīng)的批處理調(diào)度默認(rèn)開啟，混合shuffle模式現(xiàn)在可以兼容預(yù)測執(zhí)行和自適應(yīng)批處理調(diào)度，同時簡化了各種配置。

6、SQL Client支持Gateway模式，允許用戶通過SQL Client將SQL提交給遠(yuǎn)端的SQL Gateway。

7、支持用戶在SQL Client中使用SQL語句來管理作業(yè)，包括查詢作業(yè)信息和停止正在運行的作業(yè)等。

8、Flink SQL因為非確定性操作會導(dǎo)致執(zhí)行計劃優(yōu)化錯誤， 修復(fù)了不正確的執(zhí)行計劃優(yōu)化。

9、Flink SQL引入了實驗性功能PLAN_ADVICE，PLAN_ADVICE功能可以為SQL用戶提供潛在的正確性風(fēng)險提示和SQL優(yōu)化建議。

10、通用增量Checkpoint提升了Checkpoint的速度，增強Checkpoint穩(wěn)定性。

11、Unaligned Checkpoint在作業(yè)反壓時的穩(wěn)定性提高至生產(chǎn)可用級別。

12、新引入一個REST API ，該API支持用戶觸發(fā)自定義Checkpoint類型的Checkpoint。

13、通過對Source算子內(nèi)部的多個分片數(shù)據(jù)進(jìn)行對齊發(fā)射，完善了watermark對齊功能。 

14、將FRocksDB的版本升級至6.20.3-ververica-2.0版本，使得RocksDBStateBackend獲得許多改進(jìn)，比如支持在slot之間共享內(nèi)存，支持Apple Silicon芯片組等。

15、提供了參數(shù)支持?jǐn)U大TaskManager中slot間的共享內(nèi)存范圍，提升了TaskManager中slot內(nèi)存使用不均勻時的效率。

ClickHouse共發(fā)布5個大版本

2023年上半年，ClickHouse發(fā)布了5個大版本，分別是V23.1~V23.5，其中最值得關(guān)注的新變化有：

1、支持倒排索引：V23.1開始skipping index新增倒排索引類型（實驗性質(zhì)），用于文本的全文檢索場景。

2、支持參數(shù)化的視圖：V23.1開始支持參數(shù)化的視圖，使其適應(yīng)更加靈活多變的場景。

3、提供原生查詢結(jié)果緩存：V23.1開始支持SELECT查詢TTL（生存時間），在此期間服務(wù)器將僅執(zhí)行第一次查詢，后續(xù)查詢直接從緩存返回。

4、支持Apache Iceberg：V23.2提供iceberg表引擎，支持iceberg v1格式，后續(xù)將至此v2格式。

5、輕量級刪除功能現(xiàn)在已是GA版本：V22.8引入的供實驗性功能-輕量級刪除， 在V23.3中已成為GA。輕量級刪除支持DELETE FROM [db.]table [WHERE expr]語法。它是一種異步的mutation操作，把刪除的數(shù)據(jù)用掩碼標(biāo)記，在查詢的時候過濾，在分區(qū)合并的時候徹底刪除。

6、更好的云原生支持：V23.3提供Parallel Replicas能力， 所有副本都能像分片一樣參與數(shù)據(jù)查詢，每個副本并行處理整個分片數(shù)據(jù)的不同子集（由發(fā)起者節(jié)點動態(tài)分配），將其本地結(jié)果發(fā)送回發(fā)起者節(jié)點，發(fā)起者節(jié)點將本地結(jié)果最終合并。該功能適用于對象存儲的云原生場景。

國產(chǎn)數(shù)據(jù)庫

愛可生2023上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、基于OceanBase開源內(nèi)核的商業(yè)發(fā)行版ActionDB發(fā)布

2023年5月19日，愛可生正式發(fā)布面向國產(chǎn)化時代的企業(yè)級數(shù)據(jù)庫ActionDB。

ActionDB 1.0：

• 基于開源內(nèi)核的OceanBase 4.x。
• 支持高級安全擴(kuò)展能力TDE。

ActionDB 1.5：

• 增加MySQL和ActionDB單機(jī)架構(gòu)雙向可復(fù)制功能。

ActionDB 2.0：

• 實現(xiàn)最高程度的安全可信數(shù)據(jù)庫。

二、向量數(shù)據(jù)庫TensorDB

TensorDB：

• 支持國產(chǎn)GPU的向量計算加速，例如華為昇騰，天數(shù)智芯。
• 支持國產(chǎn)ARM架構(gòu)與操作系統(tǒng)。
• 支持向量標(biāo)量混合檢索。
• 支持磁盤索引類型，減少內(nèi)存資源占用。
• TensorDB-LLM：基于私域數(shù)據(jù)的LLM應(yīng)用開發(fā)框架。

SequoiaDB發(fā)布3.4.9及5.0.4版本

2023年1月至今，巨杉數(shù)據(jù)庫發(fā)布了v3.4.9及v5.0.4兩個版本，在性能等方面進(jìn)行了優(yōu)化提升：

1、主要特性：

• 存儲引擎：支持返回靜態(tài)表統(tǒng)計信息；增加消息唯一ID；支持夏令時；支持創(chuàng)建監(jiān)控用戶，僅可以查看快照等信息；支持查詢索引頻繁集；支持x86與ARM環(huán)境混合部署。

2、性能優(yōu)化主要集中在SQL引擎方面，包括：

• 支持單表派生表direct_count查詢以提升查詢性能；
• 支持部分查詢走索引查詢時，去除內(nèi)部不必要的索引排序以提升查詢性能；
• 對于同一查詢塊只包含一個表的子查詢、表表達(dá)式和UNION查詢語句，支持 direct_count/direct_limit/direct_sort 下壓以提前其查詢性能；
• 對于INSERT INTO SELECT .../REPLACE INTO SELECT ...語句，支持其SELECT子句中可能的direct_count/direct_limit/direct_sort下壓以提升其插入性能。

3、工具優(yōu)化及若干BUG的解決。

QianBase?發(fā)布QianBaseTP-15.0-rc.1版本及QianBaseMPP-7.0.0-rc.1版本

一、QianBaseTP

2023年上半年，QianBaseTP單機(jī)版主要發(fā)布了15.0-rc.1版本，在產(chǎn)品的功能性、易用性和兼容性方面進(jìn)行了提升，主要內(nèi)容如下：

1、提升Oracle的兼容性：包含VARCHAR2、NVARCHAR2、NCHAR、NUMBER、DATE等數(shù)據(jù)類型，以及同義詞、Directory以及Package等。

2、多模式：用戶可根據(jù)業(yè)務(wù)場景，初始化創(chuàng)建不同的兼容模式數(shù)據(jù)庫，支持Postgres、Oracle、MySQL等。

3、多模型：同一個數(shù)據(jù)庫中可以支持XML、JSON和GIS等多種數(shù)據(jù)格式和存儲結(jié)構(gòu)。

4、多模態(tài)：滿足多種數(shù)據(jù)模型處理場景和復(fù)雜業(yè)務(wù)需求，可以在同一個數(shù)據(jù)庫實例中兼容多個數(shù)據(jù)庫形態(tài)，一站式滿足OLAP、OLTP、多模型融合分析等場景。

5、參數(shù)自動配置：根據(jù)硬件環(huán)境，自動設(shè)置最優(yōu)的數(shù)據(jù)庫運行參數(shù)，包含shared_buffers、effective_cache_size、work_mem等。

6、主備高可用：可配置一主一備，一主多備等。

二、QianBaseMPP

2023年上半年，QianBaseMPP主要發(fā)布了7.0.0-rc.1版本，在產(chǎn)品的功能性、兼容性和性能方面進(jìn)行了提升，主要內(nèi)容如下：

1、支持GB-18030-2022最新標(biāo)準(zhǔn)。

2、DDL閃回，提供對象級別的DDL閃回功能，對于用戶誤用drop命令導(dǎo)致對象被刪除的情況，可以實現(xiàn)閃回，大大提升了數(shù)據(jù)表安全的可操作性。

3、提升Oracle的兼容性，包含但不局限于日期/時間函數(shù)、轉(zhuǎn)換函數(shù)、字符串函數(shù)等，兼容Oracle的Directory以及Package等。

4、新增License許可，關(guān)聯(lián)組織名稱，節(jié)點數(shù)量，有效時長及截止日期。

5、新增SSL證書有效期檢查及告警功能。

6、TPC-DS測試，對比MPP-6，導(dǎo)入性能提升約10%-20%。

7、TPC-DS測試，對比MPP-6，查詢性能提升5%-10%。

8、AOCO表，列存查詢條件優(yōu)化下推，提升列存表的查詢效率，查詢場景最高提升可達(dá)12倍。

ArkDB 2023年上半年技術(shù)更新要點

1、ArkDB新增融合數(shù)據(jù)引擎arkfabric_es，支持通過標(biāo)準(zhǔn)MySQL語法實現(xiàn)對elasticsearch的遠(yuǎn)程訪問，包括數(shù)據(jù)寫入、更新、查詢等訪問。

2、新增融合數(shù)據(jù)引擎arkfabric_oracle，支持通過標(biāo)準(zhǔn)MySQL語法實現(xiàn)對oracle數(shù)據(jù)庫的遠(yuǎn)程訪問，包括數(shù)據(jù)寫入、更新、查詢等訪問。

3、新增融合數(shù)據(jù)引擎arkfabric_dameng，支持通過標(biāo)準(zhǔn)MySQL語法實現(xiàn)對達(dá)夢的遠(yuǎn)程訪問，包括數(shù)據(jù)寫入、更新、查詢等訪問。

4、新增融合數(shù)據(jù)引擎arkfabric_clickhouse，支持通過標(biāo)準(zhǔn)MySQL語法實現(xiàn)對clickhouse數(shù)據(jù)庫的遠(yuǎn)程訪問，包括數(shù)據(jù)寫入、更新、查詢等訪問。

5、新增融合數(shù)據(jù)引擎arkfabric_mysql，支持通過標(biāo)準(zhǔn)MySQL語法實現(xiàn)對支持MySQL語法的數(shù)據(jù)庫如MySQL、MariaDB、Percona Server等的遠(yuǎn)程訪問，包括數(shù)據(jù)寫入、更新、查詢等訪問。

6、新增融合數(shù)據(jù)計算執(zhí)行器，支持ArkDB對各種數(shù)據(jù)引擎如ArkDB、Arkolap、Innodb、arkfabric_es、arkfabric_oracle、arkfabric_dameng、arkfabric_clickhouse、arkfabric_mysql的關(guān)聯(lián)查詢操作包括join、子查詢、union等。

7、實現(xiàn)對融合數(shù)據(jù)計算服務(wù)的優(yōu)化器，支持對融合查詢中的各類查詢條件如where條件、join條件、group by、order by、having等進(jìn)行條件下推至底層引擎執(zhí)行，優(yōu)化查詢性能。并支持各類函數(shù)如聚合函數(shù)、時間函數(shù)、轉(zhuǎn)換函數(shù)等等各種計算函數(shù)下推至底層引擎計算執(zhí)行。

8、實現(xiàn)融合計算pushdown_hint語法，支持通過hint提示融合優(yōu)化器，通過重寫語法下推部分MySQL語法外的遠(yuǎn)程引擎特有語法或函數(shù)等。

AntDB發(fā)布首個社區(qū)版產(chǎn)品

2023年上半年，AntDB數(shù)據(jù)庫值得關(guān)注的新變化有：

1、AntDB數(shù)據(jù)庫升級為超融合流式實時數(shù)倉，將流式實時數(shù)據(jù)處理技術(shù)與數(shù)據(jù)庫內(nèi)核進(jìn)一步融合，提升AntDB數(shù)據(jù)庫內(nèi)存計算、交易、分析、流處理、時序五大能力的融合深度。

2、AntDB數(shù)據(jù)庫社區(qū)版正式開放免費下載。作為AntDB的首個社區(qū)版產(chǎn)品，AntDB社區(qū)版具有完整、易用、兼容度高的企業(yè)級分布式數(shù)據(jù)庫產(chǎn)品特性，提供了詳細(xì)的在線文檔支持，并成立AntDB問答社區(qū)，方便更多用戶下載使用。

3、AntDB更新MTK工具包。MTK是幫助客戶完成“一鍵式數(shù)據(jù)遷移”的工具包，融合了兼容性評估、數(shù)據(jù)同步和數(shù)據(jù)校驗等多種功能，為客戶解決數(shù)據(jù)庫國產(chǎn)化過程中的跨庫數(shù)據(jù)評估、遷移、同步及稽核等問題，保障業(yè)務(wù)割接流暢，盡快上線。

4、上線ACC智能運維管理平臺，為客戶提供AntDB安裝部署升級、性能分析、故障診斷、安全管理等功能，利用大數(shù)據(jù)AI等技術(shù)，幫助用戶降低數(shù)據(jù)庫管理的難度及人工操作引發(fā)的服務(wù)故障，保障數(shù)據(jù)庫服務(wù)的穩(wěn)定和高效運行。

5、AntDB數(shù)據(jù)庫團(tuán)隊打造了線上體驗室，方便用戶從理論到實踐全方位感受“電信級”國產(chǎn)數(shù)據(jù)庫的魅力。

StoneDB發(fā)布3個大版本

2023年上半年，StoneDB主要發(fā)布了StoneDB-5.7-v102、StoneDB-5.7-v103及StoneDB-8.0-v101三個大版本，在性能、穩(wěn)定性、安全、可用性、兼容性、用戶體驗等方面做了大量優(yōu)化，也正式推出適配MySQL 8.0的版本，其中值得關(guān)注的新變化有：

1、穩(wěn)定性：完善、增強tianmu引擎作為備庫的主備能力，完成對MySQL SQL層binlog改造，對指定的DDL進(jìn)行過濾。在SQL MODE中增加參數(shù)NO_KEY_ERROR，SQL層對不支持的DDL報錯忽略；

2、性能：完成tianmu引擎delta層改造，提升主從同步性能，其中insert同步性能提升25倍，update/delete同步性能提升100倍，混合讀寫場景下同步性能提升60倍。另外對TPC-H中特定的SQL進(jìn)行了針對性的優(yōu)化，如開啟多線程并行查詢，子查詢上拉等；

3、兼容性：tianmu引擎新增了bit、unsigned數(shù)據(jù)類型的支持，支持自定義函數(shù)、轉(zhuǎn)義功能、完善主鍵、語法上支持索引；

4、易用性：安裝包自動檢測識別能力，快速部署StoneDB為MySQL的備庫能力，支持StoneDB版本號查詢；

5、StoneDB 8.0適配升級：內(nèi)核層面tianmu引擎優(yōu)化器、執(zhí)行計劃適配MySQL 8.0新的優(yōu)化器邏輯和接口，刪除query_cache緩存，適配8.0結(jié)果集輸出函數(shù)，適配8.0 handler api接口，數(shù)據(jù)文件擴(kuò)展命統(tǒng)一為8.0文件擴(kuò)展名方式，事務(wù)提交邏輯適配8.0調(diào)用流程。

云數(shù)據(jù)庫

阿里云2023上半年數(shù)據(jù)庫產(chǎn)品更新匯總

2023年上半年，云原生數(shù)據(jù)庫PolarDB 在更低成本、更高性能、更穩(wěn)定的服務(wù)方面進(jìn)行了更多探索，發(fā)布了包括標(biāo)準(zhǔn)版、倚天（ARM）等新形態(tài)，通過軟硬件協(xié)同，助力企業(yè)降本增效。此外，產(chǎn)品還發(fā)布了系列重要特性：

1、PolarDB MySQL版對高壓縮引擎（X-Engine）功能進(jìn)行了進(jìn)一步提升，支持在當(dāng)前集群中直接開啟高壓縮引擎。

2、PolarDB MySQL版支持固定規(guī)格集群的Serverless功能，固定規(guī)格資源不隨業(yè)務(wù)壓力的變化而改變，Serverless資源隨業(yè)務(wù)負(fù)載變化而彈性伸縮。

3、PolarDB MySQL版支持在虛擬列上創(chuàng)建列存索引。

4、PolarDB MySQL版支持創(chuàng)建混合分區(qū)表。

5、PolarDB PostgreSQL版提供了一站式的HTAP服務(wù)，助力企業(yè)更高效便捷地處理混合負(fù)載任務(wù)，并且對彈性跨機(jī)并行查詢進(jìn)行了進(jìn)一步增強。

6、PolarDB PostgreSQL版新增支持PASE插件，實現(xiàn)高維向量檢索。

7、PolarDB PostgreSQL版新增支持pgvector，支持向量數(shù)據(jù)處理。

8、PolarDB PostgreSQL版新增支持Global CatCache功能，降低因連接數(shù)增多造成的內(nèi)存占用，提升服務(wù)穩(wěn)定性。

9、PolarDB分布式版新增支持兩地三中心容災(zāi)能力，滿足《JR/T 0205-2020》五級容災(zāi)標(biāo)準(zhǔn)。

10、PolarDB分布式版新增索引診斷功能，支持一鍵診斷低效索引。

11、PolarDB分布式版新增支持隱藏和顯示global index。

騰訊云2023上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、TDSQL MySQL版10.3.22持續(xù)迭代更新

1、架構(gòu)全新升級：

• TDSQL MySQL版HTAP能力大升級。全新的HTAP架構(gòu)、更優(yōu)異的產(chǎn)品性能體驗、覆蓋更廣泛的應(yīng)用場景。TDSQL MySQL通過為所有節(jié)點擴(kuò)展列存副本的方案，全新支持了HTAP能力。在多表join、數(shù)據(jù)跑批、分組聚集等復(fù)雜SQL分析與查詢場景相對提升1000x倍。

2、運維：

• 秒級監(jiān)控：支持原有分鐘級監(jiān)控粒度做到秒級，默認(rèn)15s，后續(xù)可以支持5s，支持?jǐn)?shù)據(jù)存儲在ctsdb。
• 審計重構(gòu)：一、二期上線，已支持網(wǎng)關(guān)日志審計、內(nèi)核日志審計、SQL審計、慢日志審計，管控日志審計后續(xù)也將發(fā)布上線。
• 日志可視化：引入了traceid，支持按模塊、任務(wù)、時間等維度可視化查看各操作和變更的日志，支持?jǐn)?shù)據(jù)存儲在es、kafka、ctsdb。

3、安全：

• KMS產(chǎn)品化：支持私有云對接KMS，滿足國密算法和密鑰安全，數(shù)據(jù)透明加密。

4、部署、升級：

• Web自動化安裝：頁面化自動化的安裝部署方式，大大簡化了原有的復(fù)雜部署流程。
• 自動化升級工具：上線了自動化升級工具，支持從10.3.16.3升級到10.3.22.1。

5、一致性：

• DCN一致性切換：解決了分布式實例多個set間數(shù)據(jù)不一致的問題。
• 全局一致性讀：上線MC模塊，上線mc模塊，支持rc、rr模式.
• DDL一致性：保障分布式實例ddl的原子性，但當(dāng)前未使用回滾的機(jī)制，而是在超時時間內(nèi)重試失敗的set。

6、信創(chuàng)適配：

• 新操作系統(tǒng)適配：RHEL和 centos 8.2、8.4，歐拉，紅旗等。
• 新CPU架構(gòu)：適配了龍芯架構(gòu)，且已獲得龍芯中科廠商的認(rèn)證證書，已開始交付客戶。

7、網(wǎng)絡(luò)：

• 支持ipv6：驗證了F5到tdsql的ipv6連通性，開發(fā)了ipv6流量監(jiān)控、機(jī)器上報等功能。

8、赤兔：

• 該版本實現(xiàn)了新老赤兔基礎(chǔ)功能追齊。一鍵部署包同時包含了新、老赤兔，安裝部署環(huán)節(jié)默認(rèn)指向老赤兔，可更換為新赤兔。

二、TDSQL TDStore引擎版

1、新增小規(guī)格實例。

2、支持修改實例VPC網(wǎng)絡(luò)。

3、支持增量日志備份恢復(fù)。

4、新增支持本地盤與云硬盤。

三、TDSQL PostgreSQL版

1、引擎全新升級，融合列存和向量化引擎能力，支持行列混合存儲和向量化執(zhí)行引擎，大幅提升HTAP能力。

2、Oracle兼容性再上新臺階，PL/SQL全面增強，新增支持create type，anydata，自定義聚合函數(shù)、存儲過程嵌套等重磅特性。

3、正式發(fā)布單機(jī)無須管控的部署形態(tài)，使適用面更廣。

4、全面增強copy入庫能力，新增容錯、超長處理、多余列忽略等功能。

5、優(yōu)化多cn節(jié)點統(tǒng)計信息同步能力；提升分布式多節(jié)點協(xié)同性能。

6、運維平臺全新升級到新赤兔，易用性大幅提升。

7、新增備份、恢復(fù)、資源隔離等任務(wù)過程任務(wù)流管理，可觀測性大幅提升。

8、公有云新增多用區(qū)容災(zāi)能力；增強快速一擴(kuò)二擴(kuò)容能力。

四、TDSQL-C發(fā)布新版本proxy、支持一鍵遷移能力、支持只讀實例獨立地址能力、更新新版本控制臺視圖、serverless資源包

1、支持實例級獨立IP地址：TDSQL-C MySQL版支持為集群下的讀寫實例或任一只讀實例設(shè)置獨立網(wǎng)絡(luò)IP地址。

2、TDSQL-C MySQL版支持一鍵遷移能力，支持從云數(shù)據(jù)庫MySQL遷移至TDSQL-C MySQL版。

3、TDSQL-C MySQL版發(fā)布新版數(shù)據(jù)庫代理

4、推出Serverless資源包：TDSQL-C MySQL版推出預(yù)付費資源類型Serverless資源包，可提前預(yù)留資源，節(jié)省用戶成本。

五、DBbridge發(fā)布2.0版本，對產(chǎn)品架構(gòu)進(jìn)行全新升級

1、支持MySQL/MariaDB/Percona到MySQL/Maria/Percona/TDSQL TDStore數(shù)據(jù)同步及一致性校驗。

2、支持MySQL/MariaDB/Percona/TDSQL MySQL到Kafka數(shù)據(jù)同步能力。

3、支持Oracle到TDSQL MySQL異構(gòu)數(shù)據(jù)同步及一致性校驗。

4、支持在數(shù)據(jù)同步任務(wù)啟動前的系統(tǒng)環(huán)境參數(shù)檢查，確保數(shù)據(jù)準(zhǔn)確同步。

5、源庫為TDSQL MySQL分布式架構(gòu)，支持通過Proxy連接源庫的各分片，可動態(tài)更新分片的擴(kuò)容信息。

6、監(jiān)控系統(tǒng)完善，支持監(jiān)控鏈路級別增量階段的數(shù)據(jù)指標(biāo)，包含CPU使用率、內(nèi)存利用率、RPS等；支持指標(biāo)告警。

7、支持用戶賬號及權(quán)限管理，支持租戶隔離。

8、支持運營端管理功能，強化任務(wù)管理和運維管理能力。

9、支持審計功能，可查看操作歷史詳情。

六、KeeWiDB發(fā)布1.2、1.3兩個版本，對極速版持續(xù)迭代升級，同時開啟標(biāo)準(zhǔn)版的公測

1、完善擴(kuò)縮容能力，提供更加靈活的彈性能力。

2、基于全量+增量備份，支持?jǐn)?shù)據(jù)的任意時間點回溯。

3、支持?jǐn)?shù)據(jù)壓縮，降低客戶使用成本。

4、優(yōu)化存儲的Block梯度，提供更大的有效存儲空間，優(yōu)化客戶使用成本。

5、支持集群的單分片部署能力，提供更小的售賣規(guī)格。

6、持續(xù)完善優(yōu)化監(jiān)控系統(tǒng)，全方位監(jiān)控數(shù)據(jù)庫運行狀況。

7、支持實例的快速清空流程。

8、開啟標(biāo)準(zhǔn)版的公測，提供更低的存儲成本。

七、DBbrain持續(xù)增強數(shù)據(jù)庫自治能力

1、Redis大Key分析支持前綴Key多字段排序，增加內(nèi)存、數(shù)量、前綴，三維度按實例和分片的維度切換分析。

2、Redis大Key分析前綴統(tǒng)計維度支持自定義分隔符。

3、TDSQL-C MySQL、MySQL  SQL限流優(yōu)化：創(chuàng)建SQL限流任務(wù)時，自動拆分關(guān)鍵詞。

4、Redis和MongoDB支持圣保羅地域。

5、支持MySQL審計分析能力，通過白名單為指定用戶開啟該能力。

注：關(guān)于騰訊云云數(shù)據(jù)庫MySQL、PostgreSQL、Redis、MongoDB、SQL Server、CTSDB、DTS等產(chǎn)品更新信息，可閱讀本期Newsletter完整版（點擊本文文末【閱讀原文】可下載）

京東云2023上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、分布式數(shù)據(jù)庫StarDB for openGauss新產(chǎn)品發(fā)布

1、具備云原生資源管理和自動化調(diào)度能力。

2、提供自動化模型化openGauss分布式集群智能運維管理服務(wù)，包括一鍵部署、備份、恢復(fù)、高可用切換等。

3、分布式計算引擎全面兼容openGauss語法，具備集中式和分布式兩種場景的庫表管理能力。

4、性能分析診斷提供openGauss實例健康狀況一鍵診斷，基線模型性能評分、慢查詢優(yōu)化和趨勢預(yù)警。

5、建立賬號管理體系，包括數(shù)據(jù)庫用戶、角色和權(quán)限等管理能力。

二、云數(shù)據(jù)庫MySQL重要功能

1、支持關(guān)閉自動高可用切換。

2、優(yōu)化慢日志和錯誤日志在主備發(fā)生切換后部分?jǐn)?shù)據(jù)未上傳問題。

3、支持根據(jù)代理信息查詢關(guān)聯(lián)實例。

4、只讀實例支持包年包月計費。

三、數(shù)據(jù)傳輸DTS重要功能

1、數(shù)據(jù)同步支持更豐富的鏈路：如支持MySQL->ck、mongo->Mongo、TiDB->MySQL、kafka、TiDB。

2、支持列映射功能。

3、MySQL為源的數(shù)據(jù)同步支撐更加豐富的數(shù)據(jù)庫字符集。

4、支持批量刪除dts任務(wù)。

5、支持?jǐn)?shù)據(jù)同步任務(wù)指標(biāo)監(jiān)控及告警。

四、分析型云數(shù)據(jù)庫ClickHouse重要功能

1、支持水平擴(kuò)分片，橫向擴(kuò)展集群計算能力，提高集群的性能。

2、支持23.3 LTS版本，支持Modern SQL，并優(yōu)化Query Cache的性能。

3、支持RDS MySQL-ClickHouse數(shù)據(jù)同步，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的實時分析。

五、分布式數(shù)據(jù)庫TiDB重要功能

1、支持6.5.2版本，產(chǎn)品易用性進(jìn)一步提升。

2、支持根據(jù)時間點創(chuàng)建功能，豐富集群災(zāi)備能力。

六、數(shù)據(jù)庫管理服務(wù)DMS

1、支持云數(shù)據(jù)庫PostgreSQL，進(jìn)一步擴(kuò)展數(shù)據(jù)源。

2、支持實例管理模塊，方便客戶統(tǒng)一管理數(shù)據(jù)庫實例。

3、支持任務(wù)管理模塊，滿足DBA的相關(guān)數(shù)據(jù)庫變更場景。

七、數(shù)據(jù)庫自治服務(wù)SmartDBA

1、支持巡檢報告下載、手動生成、自定義生成規(guī)則。

青云2023上半年數(shù)據(jù)庫產(chǎn)品更新匯總

一、RadonDB云原生數(shù)據(jù)庫平臺發(fā)布1.2版本

1、OpenSearch Operator升級為2.0.19，新增自動創(chuàng)建Service功能。

2、PostgreSQL新增備份和還原功能。

二、MySQL Plus 1.2.0版本上線，優(yōu)化在線遷移

1、MySQL-8.0內(nèi)核，支持在創(chuàng)建集群時啟用RocksDB存儲引擎。

2、支持5.7和8.0內(nèi)核添加賬號時設(shè)置密碼過期時間。 

3、優(yōu)化在線遷移（mysqldump方式），支持遷移系統(tǒng)庫。

4、優(yōu)化臨時表性能。

三、Redis 7.0.4版本上線，擴(kuò)充監(jiān)控能力

1、支持Multi-part AOF。 

2、新增內(nèi)存碎片率、落盤狀態(tài)監(jiān)控。

四、OpenSearch 2.3.0版本上線，提升安全訪問能力

1、OpenSearch REST API支持開啟HTTPS。

2、OpenSearch REST API支持使用自定義證書。

3、支持客戶端證書認(rèn)證。 

4、支持Keystore功能。 

五、Kafka 3.1.0版本上線，支持多節(jié)點公網(wǎng)訪問

1、CMCK（原Kafka Manager）版本升級為3.0.0.6。 

2、支持多節(jié)點公網(wǎng)訪問。 

3、支持SSL加密認(rèn)證。 

4、自動清理系統(tǒng)內(nèi)置的Topic“__consumer_offsets”。 

5、自動清理CMAK日志。

PieCloudDB發(fā)布云上云版本，并開放免費試用

2023年3月14日，云原生虛擬數(shù)倉PieCloudDB正式發(fā)布云上云版本。云上云版本目前構(gòu)建在阿里云上，并將很快擴(kuò)展到其他云平臺。云上云版本全面實現(xiàn)數(shù)據(jù)倉庫上云虛擬化，滿足多樣化數(shù)據(jù)分析需求。

至今，PieCloudDB已有云上云版、社區(qū)版、企業(yè)版和一體機(jī)四個產(chǎn)品版本，完成了對裸硬件、私有云和公有云三種部署方式的全面支持。

1、 內(nèi)核模塊更新

目前PieCloudDB最新內(nèi)核版本為2.5.1。在近半年的版本更新中，PieCloudDB從性能到穩(wěn)定性都有了大幅提升，新增眾多重要更新：

• 聚集下推；
• 預(yù)聚集優(yōu)化；
• 極速Analyze；
• 透明數(shù)據(jù)加密功能：安全方面增加提供「堅如磐石」的虛擬數(shù)倉；
• 支持快速ETL/ELT和外部數(shù)據(jù)源的查詢；
• 支持超大數(shù)據(jù)量字段等。

2、云原生管控平臺更新

近半年來，PieCloudDB云原生管控平臺不斷迭代，新增重要更新如下：

• 虛擬數(shù)倉自動啟停：通過虛擬數(shù)倉的「自動啟動」和「自動關(guān)閉」降低成本；
• 用戶權(quán)限優(yōu)化：角色模塊關(guān)系圖豐富了交互內(nèi)容；
• 新增費用中心模塊：用戶用量和費用明細(xì)及匯總列表，消費趨勢和分布，線上支付等；
• 查詢歷史功能更豐富：下載請求結(jié)果和刪除查詢等功能；
• 新增新手指引模塊：新手引導(dǎo)、樣例數(shù)據(jù)生成、產(chǎn)品操作手冊等。