近期，由國家工業(yè)信息安全發(fā)展研究中心發(fā)布了2022年《分布式數(shù)據(jù)庫發(fā)展趨勢研究報告》。報告從數(shù)據(jù)庫產業(yè)發(fā)展、分布式數(shù)據(jù)庫產品價值、面臨調整、技術路線、發(fā)展趨勢、發(fā)展方向等多角度闡述了分布式數(shù)據(jù)庫的諸多問題。本文，從個人角度談談對上述研究報告的解讀。

1、背景篇：不鳴則已、一鳴驚人

伴隨著數(shù)字化轉型深化，企業(yè)對于數(shù)據(jù)的重視程度逐步加深。伴隨著以云計算、5G、IOT、人工智能、區(qū)塊鏈等新興技術的發(fā)展，催著更多新興數(shù)據(jù)場景的出現(xiàn)。這其中直觀帶來的就是數(shù)據(jù)規(guī)模呈現(xiàn)幾何級增長、數(shù)據(jù)結構復雜度與日攀升。

根據(jù)第三方機構的預測數(shù)據(jù)，全球數(shù)據(jù)存儲量在未來幾年將呈現(xiàn)爆炸式增長。除去數(shù)據(jù)規(guī)模外，在從數(shù)據(jù)采集、存儲、傳輸、展現(xiàn)、分析和優(yōu)化等方面都對數(shù)據(jù)的載體數(shù)據(jù)庫提出了更高的要求。希望以此更好地實現(xiàn)企業(yè)對數(shù)據(jù)資產治理、增值與科學決策，數(shù)據(jù)高可靠高可用、數(shù)據(jù)在線分析等訴求，進一步發(fā)揮數(shù)據(jù)價值。上述訴求可以說為數(shù)據(jù)庫提出了更高的要求，但傳統(tǒng)數(shù)據(jù)庫架構在超大規(guī)模、高并發(fā)、實時處理、數(shù)據(jù)安全等方面明顯力不從心，此外高昂建設成本也難以迎合數(shù)字化時代的潮流趨勢。相較于傳統(tǒng)數(shù)據(jù)庫，新興分布式數(shù)據(jù)庫的優(yōu)勢都凸顯出來。

突破規(guī)?；鎯δ芰?/span>

傳統(tǒng)單機或集中式架構下，承載的數(shù)據(jù)規(guī)模受限于本地磁盤或可對接的外部存儲空間。雖然后者可做到大規(guī)模（如PB級），但其建設周期長、擴展不靈活、投入成本高且依然還會面臨IO的性能瓶頸。而分布式架構數(shù)據(jù)庫，天然具有的數(shù)據(jù)分片能力，是有效解決超大規(guī)模數(shù)據(jù)承載的利器。

突破高性能計算瓶頸

作為承載計算的主要資源，CPU、內存資源對計算尤為重要。在傳統(tǒng)單機或集中式架構下，上述資源僅能通過Scale UP方式進行擴展，其擴展能力有限，無法整合更多資源參與計算。而分布式架構數(shù)據(jù)庫，通過網絡可匯聚更多計算資源參與其中，形成更大規(guī)模的算力支持。在高并發(fā)、高性能計算領域更有優(yōu)勢。

填補數(shù)據(jù)分析能力短板

數(shù)據(jù)分析，是數(shù)據(jù)使用的重要方向之一，過去通常是由數(shù)據(jù)倉庫等技術承載。這種在線數(shù)據(jù)庫與離線數(shù)據(jù)倉庫的架構，能在一定程度上解決數(shù)據(jù)分析問題，但在實時性、一致性、成本等方面存在短板。理想的方式在單一系統(tǒng)完成，但傳統(tǒng)架構受限于資源，無法完全提供。而分布式架構數(shù)據(jù)庫，通過其算力的整合可滿足混合負載的業(yè)務壓力，大幅度提升分析時效性，并減少數(shù)據(jù)冗余，靈活性大大提高。

提升可用性與安全性

傳統(tǒng)架構下，數(shù)據(jù)庫可用性更多取決于單點（或存儲），設計上往往通過冗余硬件保護等方式去提升；但受限于架構約束難以達到非常高的可用性。針對數(shù)據(jù)安全，也通常是通過主備復制、備份等手段完成，但難以保證數(shù)據(jù)在線安全，需要窗口期完成恢復。分布式架構具備的存算分離、多副本、彈性擴展等能力，可有效提升整體可用性和數(shù)據(jù)安全。用戶可根據(jù)需要，靈活調整架構，提升可用性和安全性。

優(yōu)化成本模型實現(xiàn)按需擴展

傳統(tǒng)架構數(shù)據(jù)庫的成本相對高昂，這主要是由于其架構限制，向上擴展相對容易，水平擴展比較困難。為了保證快速的業(yè)務發(fā)展，通常在項目設計初期就需要按最大容量進行規(guī)劃或為了更高的可靠性需要付出高額的成本。而分布式架構數(shù)據(jù)庫則不同，其架構天然就支持靈活擴展能力（包括存儲、計算），并可實現(xiàn)低成本的高可用解決方案（多副本）。上述能力，將有效降低企業(yè)在構建系統(tǒng)時的投入，特別是在面對快速、多變業(yè)務的場景更是如此。

2、技術篇：百花齊放、百家爭鳴

從上圖可見，分布式數(shù)據(jù)庫已經發(fā)展多年，特別是近些年來已經逐步成熟并落地使用。從大的技術路線來看，可大致分為幾種類型：

路線：分布式中間件+單機數(shù)據(jù)庫

這一技術路線是在單機數(shù)據(jù)庫系統(tǒng)上進行改造，主要解決計算存儲的擴展性問題。上層為一組無狀態(tài)計算節(jié)點，基于分片規(guī)則提供SQL解析，請求轉發(fā)和結果合并的能力。下層為增強的單機數(shù)據(jù)庫，提供單機數(shù)據(jù)庫的存儲和執(zhí)行能力。這一架構通過數(shù)據(jù)在邏輯層的切割，可近似線性地對計算性能和存儲容量進行擴展，具有可規(guī)?；瘮U展的能力。

路線：分布式存儲構建

這一技術路線是通過構建分布式共享存儲實現(xiàn)擴展，采用非對稱計算節(jié)點，大部分公有云數(shù)據(jù)庫是這條路線。這條路線有限地解決擴展性問題，跨地域數(shù)據(jù)一致性主要依賴分布式存儲引擎。共享存儲能夠跨多個節(jié)點提供讀寫，上層的計算部分是無狀態(tài)的一組節(jié)點組成。當有寫能力的計算節(jié)點出現(xiàn)故障時，會自動從可用的讀節(jié)點中自動選出一個作為寫節(jié)點，實現(xiàn)寫能力的高可用。

路線：原生分布式

這一技術路線是原生分布式數(shù)據(jù)庫，各計算節(jié)點提供對等的讀寫服務。這條路線是根據(jù)分布式一致性協(xié)議做底層設計，與傳統(tǒng)數(shù)據(jù)庫有本質區(qū)別。原生分布式數(shù)據(jù)庫將分布式存儲、事務、計算有機的結合在一起，數(shù)據(jù)由系統(tǒng)自動打散并存儲多個副本，通過一致性協(xié)議保證多個副本和事務日志的一致性，對分布式事務、全局MVCC等支持更為徹底。整個分布式結構是包裹在集群內部的，應用對此無感知。

3、 趨勢篇：石以砥焉、化鈍為利

隨著分布式架構數(shù)據(jù)庫在眾多場景使用，再享受到其帶來的收益之外，也對這一新架構產品提出了更多的挑戰(zhàn)。這些挑戰(zhàn)也為未來分布式數(shù)據(jù)庫發(fā)展指明了方向。

（1）融合化原生設計

如上面談到的分布式數(shù)據(jù)庫存在不同路線，不同路線產品差異明顯。從長期發(fā)展來看，不同路線產品呈現(xiàn)逐步融合的現(xiàn)象，各家各取所長，不斷豐富產品能力。一方面相較于單機或集中式架構，分布式架構產品仍然存在諸多短板，可理解為基礎能力補齊；另一方面用戶對于分布式能力也提出了更高的要求，可理解為擴展能力增強。

• 基礎能力補齊
  ?在分布式架構下，相較于單機或集中式架構，仍存在大量短板問題。這些會直接影響到用戶的使用體驗。如分布式事務的一致性保證問題，對于單機較容易實現(xiàn)的ACID，分布式環(huán)境中出現(xiàn)了更多的難題。分布式數(shù)據(jù)庫將需要處理的事務進行拆分，再部署到不同的服務器上進行處理，理想狀況下，整個過程需要全局一致性協(xié)議的保護，而分庫分表兩階段的方式在一些意外情況下容易出現(xiàn)問題。再比如，分布式架構多采用存算分離架構，其天然會帶來分層間網絡開銷問題，如何解決低延遲需求值得考慮。
• 擴展能力增強
  ?隨著分布式數(shù)據(jù)庫的使用，如何使用好這一架構成為核心。例如在分布式場景下，如何做好數(shù)據(jù)分片的智能化。分布式通過分庫分表進行數(shù)據(jù)拆分，從而各表的數(shù)據(jù)量保持在閾值以下，從而應對高并發(fā)和海量數(shù)據(jù)，但如何高效的、高質量的進行分片，還需再探索。此外，作為以一種新架構產品，分布式數(shù)據(jù)庫所具備的彈性擴縮容、按需擴展、海量支持、多副本細粒度控制等課題，都是值得深入挖掘。

（2）負載一體化設計

企業(yè)級應用的業(yè)務場景通常可以分為聯(lián)機交易和實時分析兩種，通常稱為OLTP和OLAP的業(yè)務應用。由于是不同的應用場景，很多企業(yè)往往會選擇多款數(shù)據(jù)庫產品分別支持。這種組合式的解決方案要求數(shù)據(jù)在不同產品間進行流轉，數(shù)據(jù)的同步過程就帶來了時間延遲和數(shù)據(jù)不一致的風險，而且還會產生冗余數(shù)據(jù)，成本開銷被迫提高，這在一定程度上限制了企業(yè)的發(fā)展。分布式數(shù)據(jù)庫的出現(xiàn)，為企業(yè)解決上述問題帶來了契機，這也是近年來HTAP（混合負載）的興起，其旨在打破事務處理和分析之間“壁壘”。未來分布式數(shù)據(jù)庫都應具備混合負載能力，即在支持高并發(fā)、事務性請求的同時，也對分析型的復雜查詢提供了良好的支持，實現(xiàn)計算、I/O資源互不干擾。通過在線交易和分析互不影響，一站式地解決企業(yè)級應用的各種需求，從而大幅度降低成本，同時提高了企業(yè)決策的效率。

（3）云與云原生設計

根據(jù)全球知名咨詢公司Gartner指出，“到2022年，75%的數(shù)據(jù)庫將被部署或遷移到云平臺…”云化無疑代表了未來。數(shù)據(jù)庫作為IT基礎設施，如何與云環(huán)境融合成為大家的問題。特別是分布式數(shù)據(jù)庫，其架構需要大量資源構建。如何通過與云的結合，有效解決靈活部署、彈性擴縮容、資源管理乃至如何更好地利用云基礎資源做到真正的云原生，這些都是分布式數(shù)據(jù)庫需要考慮的。因此在分布式數(shù)據(jù)庫產品設計層面就要充分適配云環(huán)境、兼容更多云技術，從而添加更多資源管控、多部署形態(tài)、云原生資源利用等云化方面的能力。

（4）高可用一致性設計

作為數(shù)據(jù)庫的基本能力要求，服務高可用和數(shù)據(jù)一致性一直是企業(yè)選擇數(shù)據(jù)庫的重點考察要求。特別是隨著數(shù)字化轉型，更多數(shù)據(jù)參與到企業(yè)業(yè)務流轉中，這些都對如可用性提出更好要求。傳統(tǒng)數(shù)據(jù)庫架構，在滿足7×24小時的服務不中斷和數(shù)據(jù)零丟失方面往往已經超出其可承受能力，或者即使能解決其成本也十分高昂。分布式數(shù)據(jù)庫具備的分層、多組件、多節(jié)點架構成為解決高可用的基礎，有效控制故障范圍、主動發(fā)現(xiàn)自愈等手段可大幅提升服務可用性。同時，其多副本機制為數(shù)據(jù)一致性安全提供可能，這也是相較于傳統(tǒng)架構的突破，可做到數(shù)據(jù)更為精細粒度的一致性，滿足各種數(shù)據(jù)場景下對一致性的不同等級要求。

（5）軟硬結合異構設計

硬件和軟件是信息系統(tǒng)的核心組件，兩者之間相輔相成，互相促進。新型硬件的出現(xiàn)，可以為數(shù)據(jù)庫發(fā)展帶來更多的收益。一方面以基礎硬件如多核CPU、異構計算（如GPU、FPGA）持久化內存、高速網絡為代表的硬件出現(xiàn)，為分布式數(shù)據(jù)庫架構提供更多的想象空間；另一方面新型硬件也會為數(shù)據(jù)庫設計帶來更多挑戰(zhàn)，如何利用好新硬件值得各數(shù)據(jù)庫廠商思考，甚至會顛覆之前的設計模式。此外，作為關鍵基礎設施，數(shù)據(jù)庫還要為操作系統(tǒng)、芯片的灰度替換提供支持，而在關鍵行業(yè)及軟件領域，數(shù)據(jù)庫還需要提供對異構芯片的支持，從而提升數(shù)字化解決方案的嚴謹性，降低應用風險。

（6）全密態(tài)安全設計

當前信息安全已經上升到國家戰(zhàn)略高度，諸多行業(yè)監(jiān)管機構和政府部門對數(shù)據(jù)存儲和使用都有明確的安全合規(guī)性要求。2021年11月公布的《中華人民共和國個人信息保護法》，監(jiān)管部門已在金融等行業(yè)中推廣數(shù)據(jù)加密，要求敏感數(shù)據(jù)采用加密的方式進行存儲。而作為數(shù)據(jù)承載主體的數(shù)據(jù)庫，有義務為此提供堅實的數(shù)據(jù)安全保障。那么在分布式數(shù)據(jù)庫設計之初，就需考慮在數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)計算等多方面的安全問題。諸如透明數(shù)據(jù)加密、透明數(shù)據(jù)傳輸、多密鑰管理、國密算法支持、密態(tài)計算等方面，都需要考慮。

（7）低成本集約化設計

分布式數(shù)據(jù)庫，作為一種新架構產品，對于企業(yè)來說會帶來不小成本。從管理角度來看，分布式架構對運維人員都帶來新的要求，如何管理好成為要點。產品是否提供完整的管理能力、是否提供完備的生態(tài)工具等，將直接影響最終使用成果。從資源角度來看，分布式架構需要一定資源投入，如何規(guī)劃設計好并通過諸如租戶能力有效降低使用成本很重要。

（8）高兼容易遷移設計

對于底層數(shù)據(jù)庫替換，最為頭疼的就是數(shù)據(jù)庫的替換。大部分企業(yè)經過企業(yè)信息化的長期積累與革新，在內部積累了大量的業(yè)務系統(tǒng)。傳統(tǒng)的企業(yè)級數(shù)據(jù)庫產品提供了強大的能力，協(xié)助開發(fā)者快速便捷地構建應用程序，但同時也導致應用設計過度依賴數(shù)據(jù)庫功能。適配新的數(shù)據(jù)庫產品必須對應用代碼進行大量修改。沒有兩個數(shù)據(jù)庫是完全一樣的，分布式數(shù)據(jù)庫更是如此。其在底層架構、實現(xiàn)邏輯上必然存在差異。比較好的方式，就是提供高兼容能力，這將有利于大幅降低代碼改造成本。目前大多數(shù)分布式數(shù)據(jù)庫還不完全具備主流數(shù)據(jù)庫生態(tài)的兼容能力，兼容的種類還不夠豐富，兼容度還有待提高。此外，分布式架構對于設計上也有著特殊的要求，如何降低研發(fā)設計成本，近似透明地屏蔽這一差異很重要。此外，數(shù)據(jù)從傳統(tǒng)集中式數(shù)據(jù)庫遷移至分布式數(shù)據(jù)庫是一項復雜且龐大的工程。從前期兼容評估、應用設計改造，到中期的業(yè)務測試、性能測試，指導最終遷移完成并保證遷移準確性等，這些都需要提供全流程的支持。這也是目前分布式產品普遍有所缺失的。希望未來分布式數(shù)據(jù)庫產品將具備全方位、高標準、高可靠性的平滑遷移能力。

4、發(fā)展篇：知之非艱、行之惟艱

分布式數(shù)據(jù)庫作為新技術架構，如何推進是需要多方位的支持。從近些年來看，從國家、行業(yè)、用戶等多方位都給予大力支持。從政策層面，將在作為數(shù)據(jù)基礎設施之一的數(shù)據(jù)庫提升到一定高度，重點布局針對數(shù)據(jù)庫分布式轉型、應用創(chuàng)新戰(zhàn)略。在行業(yè)方面，越來越多的數(shù)據(jù)庫廠商加入進來，特別是以分布式為特征的產品已然成為主流。在用戶方面，以金融、電信為代表的高數(shù)據(jù)價值企業(yè)，已經開始在核心生產系統(tǒng)逐步使用。但同時我們也看到，分布式數(shù)據(jù)庫在推進中，仍然存在諸多不足之處，這也是未來需重點關注發(fā)展之處。

（1）培育自有生態(tài)

數(shù)據(jù)庫要想用好，是需要從“產、學、研、用”多角度考慮，是需要跟上下游生態(tài)形成合力，才能為客戶提供更為完整的服務。相較于之前國外商業(yè)數(shù)據(jù)庫或開源產品，國內數(shù)據(jù)庫生態(tài)還需要加大投入，培育自有生態(tài)。在這其中，可以通過生態(tài)兼容加速這一過程，如何有效利用之前成熟生態(tài)值得考慮。此外，開源作為一種有效的生態(tài)構建手段，也是生態(tài)化建設的利器。

（2）共建行業(yè)標準

作為一種新型數(shù)據(jù)庫，分布式架構尚未形成統(tǒng)一的行業(yè)標準或者事實標準。從最終用戶角度來看，不得不面對紛繁復雜的產品細節(jié)，這也阻礙了分布式數(shù)據(jù)庫的大范圍推廣。從行業(yè)整體發(fā)展角度來看，一方面可通過行業(yè)指導單位牽頭，由行業(yè)內眾多企業(yè)參與形成標準規(guī)范；一方面可通過構建標準化評測體系，建立可衡量標準。希望通過標準的建立，能探索出特色發(fā)展路徑，抓住機遇盡早實現(xiàn)分布式數(shù)據(jù)庫領域的換道超車。

（3）樹立專有評測

分布式數(shù)據(jù)庫，作為新產品有其架構特色。對于這一新產品的理解，各家各有不同。行業(yè)內急需統(tǒng)一的評測標準，從多維度評估這一新類型產品。這其中既包括傳統(tǒng)數(shù)據(jù)庫的基本能力，也需要包含分布式自有特點，如在高可用、備份恢復等。逐步建立其以功能測試、非功能測試及場景化測試相結合，形成完備的評測體系。

（4）填補最后路徑

企業(yè)更換底層數(shù)據(jù)庫，是一個頗為痛苦的過程，更換為一種全新架構產品更是如此。大量用戶使用分布式架構的擔憂是來自于對新架構、新產品的未知及對實施路徑的陌生。前者我們可通過專有評測標準逐步熟悉，后者則需要通過最后路徑的填補做好“最后一公里”。從選型評估、工作量評估、結構數(shù)據(jù)遷移、流量切換、上線保障等多角度，形成標準的實施路徑將大大加速這一過程。

寫在最后：

分布式數(shù)據(jù)庫，尚處于發(fā)展早期，但已呈現(xiàn)蓬勃之勢。雖然仍有很多不足，但發(fā)展空間巨大。這里送給分布式數(shù)據(jù)庫從業(yè)者一句話：道阻且長，行則將至；行而不輟，未來可期！

作者介紹

韓鋒，51CTO社區(qū)編輯，CCIA（中國計算機協(xié)會）常務理事，前Oracle ACE，騰訊TVP，阿里云MVP，dbaplus等多家社群創(chuàng)始人或專家團成員。有著豐富的一線數(shù)據(jù)庫架構、軟件研發(fā)、產品設計、團隊管理經驗。曾擔任多家公司首席DBA、數(shù)據(jù)庫架構師等職。在云、電商、金融、互聯(lián)網等行業(yè)均有涉獵，精通多種關系型數(shù)據(jù)庫，對NoSQL及大數(shù)據(jù)相關技術也有涉足，實踐經驗豐富。曾著有數(shù)據(jù)庫相關著作《SQL優(yōu)化最佳實踐》、《數(shù)據(jù)庫高效優(yōu)化》。