在5G、物聯(lián)網(wǎng)、人工智能等技術(shù)的推動下,企業(yè)數(shù)據(jù)呈現(xiàn)爆發(fā)式增長,數(shù)據(jù)間的關(guān)聯(lián)復雜度也隨之劇增。在處理這些雜關(guān)聯(lián)數(shù)據(jù)時,傳統(tǒng)關(guān)系型數(shù)據(jù)庫運算效率較低,難以進一步挖掘海量關(guān)系數(shù)據(jù)背后的價值。

為了更好地利用數(shù)據(jù)間的連接,企業(yè)需要一種將實體間的關(guān)系進行存儲、靈活拓展數(shù)據(jù)模型的數(shù)據(jù)庫技術(shù),這時圖數(shù)據(jù)庫出現(xiàn)了。

Gartner指出,圖分析是未來公司可持續(xù)競爭力唯一且最有效的數(shù)據(jù)處理手段。Forrester則將圖形數(shù)據(jù)平臺確定為一種新興技術(shù),使企業(yè)能夠生成快速解決復雜問題所需的見解。

清華大學鄭緯民院士認為,圖數(shù)據(jù)庫以事物和事物間關(guān)系的數(shù)據(jù)結(jié)構(gòu)存儲數(shù)據(jù),專門針對復雜關(guān)聯(lián)深鏈查詢優(yōu)化,成為了近年崛起速度最快的數(shù)據(jù)庫技術(shù)。

“全球圖數(shù)據(jù)庫市場尚未定型,現(xiàn)在布局正當其時,我們要牢牢把握住這一難得的發(fā)展機遇。”

1.圖數(shù)據(jù)庫揭示事務之間的關(guān)聯(lián)關(guān)系

在企業(yè)的眾多業(yè)務場景當中,企業(yè)用戶開始關(guān)注事物之間的關(guān)聯(lián)關(guān)系,希望發(fā)現(xiàn)隱藏的關(guān)系,這是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫很難做到的。

解決這一問題的圖數(shù)據(jù)庫的基本含義是以“圖”這種數(shù)據(jù)結(jié)構(gòu)做為邏輯結(jié)構(gòu),存儲和查詢數(shù)據(jù)。在圖數(shù)據(jù)庫中,圖將實體表現(xiàn)為節(jié)點,實體與其他實體連接的方式表現(xiàn)為聯(lián)系(邊),可以用這一通用的、富有表現(xiàn)力的結(jié)構(gòu)來建模各種場景。

首先,圖數(shù)據(jù)庫是一種NoSQL數(shù)據(jù)庫,也可稱為面向/基于圖的數(shù)據(jù)庫,是基于圖模型的數(shù)據(jù)庫。由于提供了對關(guān)聯(lián)數(shù)據(jù)最直接的表達,以及圖模型對異構(gòu)數(shù)據(jù)天然的包容力,因此圖數(shù)據(jù)庫技術(shù)未來必將成為最熱門的技術(shù)之一,為企業(yè)存儲和分析大規(guī)模圖數(shù)據(jù)提供強有力的支持。

其次,圖數(shù)據(jù)庫和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫就是圖和表的差別。圖數(shù)據(jù)庫是用點和邊來表達數(shù)據(jù)之間的關(guān)系,是更自然的存儲方式,更專注于對象之間的關(guān)聯(lián),能夠直接揭示事物之間的關(guān)聯(lián)關(guān)系。因此,相較于關(guān)系型數(shù)據(jù)庫,圖數(shù)據(jù)庫在處理關(guān)聯(lián)關(guān)系上性能提升2～4個數(shù)量級。

第三,圖數(shù)據(jù)庫的功能是傳統(tǒng)關(guān)系型數(shù)據(jù)庫的一個拓展,相比較關(guān)系型數(shù)據(jù)庫僅支持表結(jié)構(gòu),圖數(shù)據(jù)支持的圖結(jié)構(gòu)更為靈活。圖數(shù)據(jù)庫在基于圖的數(shù)據(jù)增加、刪除、查詢、修改等方面做了不同于其他數(shù)據(jù)庫的設計。

目前,市場上根據(jù)圖數(shù)據(jù)庫底層存儲模式對圖數(shù)據(jù)庫產(chǎn)品進行分類,可以分為原生(Native)圖存儲和非原生(Non-Native)圖存儲兩種。

其中原生圖存儲數(shù)據(jù)存儲模式專門為存儲和處理圖而設計優(yōu)化,可支持各類圖算法的快速遍歷;非原生圖存儲則采用關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫或其它通用數(shù)據(jù)存儲策略存儲數(shù)據(jù),未專門優(yōu)化存儲方式。

從技術(shù)上看,行業(yè)專家介紹,圖數(shù)據(jù)庫的發(fā)展主要有兩個階段:

第一個階段主要是解決關(guān)系網(wǎng)絡數(shù)據(jù)的存儲、查詢和分析問題,能支持上層應用對關(guān)系網(wǎng)絡數(shù)據(jù)的OLTP業(yè)務需求,以及離線大規(guī)模圖數(shù)據(jù)的OLAP業(yè)務需求。

第二階段的圖數(shù)據(jù)庫不光滿足OLTP業(yè)務和離線OLAP業(yè)務,實現(xiàn)實時大規(guī)模圖數(shù)據(jù)的OLAP業(yè)務。

2.圖數(shù)據(jù)庫成為發(fā)達國家布局的熱門領(lǐng)域

大數(shù)據(jù)時代,企業(yè)業(yè)務的增長使得數(shù)據(jù)量劇增以及數(shù)據(jù)關(guān)聯(lián)的復雜化,同時,企業(yè)對數(shù)據(jù)價值的期望度也更高。圖數(shù)據(jù)庫將成為數(shù)據(jù)庫的熱門發(fā)展方向之一。

經(jīng)歷了多年的飛速發(fā)展,圖技術(shù)到了爆發(fā)式增長的邊緣。

Gartner 預計到2022 年全球圖處理及圖數(shù)據(jù)庫市場將以每年100% 的速度迅猛增長,2020 年保守估計市場將達到80 億美元。

圖數(shù)據(jù)庫是數(shù)據(jù)庫領(lǐng)域近期發(fā)展最快的領(lǐng)域之一,據(jù)Gartner預言,圖數(shù)據(jù)庫很快約占到數(shù)據(jù)庫領(lǐng)域10%市場。

DB Engines近年數(shù)據(jù)庫流行趨勢也顯示,圖數(shù)據(jù)庫相較其他主流數(shù)據(jù)庫受歡迎程度遙遙領(lǐng)先。

需求迸發(fā)，自研圖數(shù)據(jù)庫生逢其時

圖1 三大圖數(shù)據(jù)庫進幾年的發(fā)展態(tài)勢

國內(nèi)外新興的圖數(shù)據(jù)庫初創(chuàng)企業(yè)融資規(guī)模不斷擴大,在國內(nèi)一些企業(yè)的融資額達到數(shù)千萬美元級別。眾多互聯(lián)網(wǎng)企業(yè)紛紛布局圖數(shù)據(jù)庫領(lǐng)域。

2021年Cypher 圖查詢語言已經(jīng)正式進入ISO 標準,行業(yè)標準的出現(xiàn)也是技術(shù)成熟化的一個標志。

鄭瑋民院士認為,當前,圖數(shù)據(jù)庫正在成為發(fā)達國家在數(shù)據(jù)庫領(lǐng)域競相布局的新興熱門領(lǐng)域,并已形成初步的市場規(guī)模,正處于快速發(fā)展之中。

盡管在傳統(tǒng)數(shù)據(jù)庫時代,國外企業(yè)一直占據(jù)國內(nèi)數(shù)據(jù)庫市場的絕對份額,但在圖數(shù)據(jù)庫時代,我們有機會與國外企業(yè)同期起步。“全球圖數(shù)據(jù)庫市場尚未定型,現(xiàn)在布局正當其時,我們要牢牢把握住這一難得的發(fā)展機遇。”

近年來,市場對圖技術(shù)的認知程度和需求在上升。

目前市場上主要圖數(shù)據(jù)庫用戶大多在像全球五百強企業(yè)這樣的大企業(yè),一方面大企業(yè)的數(shù)據(jù)體量和復雜度更高,對圖技術(shù)的需求更早更強烈;另一方面,這些大企業(yè)有足夠的資源嘗試新技術(shù),是技術(shù)應用中的創(chuàng)新者。

從需求端來說,市場上熟悉分布式圖數(shù)據(jù)庫技術(shù)的企業(yè)還非常少,從整個數(shù)據(jù)庫市場來看,只有不到5%的用戶使用了圖數(shù)據(jù)庫,使用圖計算的則更少。

從供給端來說,雖然市場上出現(xiàn)了各種圖數(shù)據(jù)庫產(chǎn)品,包括開源和非開源的,但是真正的原生圖數(shù)據(jù)庫產(chǎn)品并不多,成熟的自研的商業(yè)化原生圖數(shù)據(jù)庫產(chǎn)品和圖計算產(chǎn)品更是屈指可數(shù)。

3.行業(yè)應用潛力巨大

圖數(shù)據(jù)庫應用涉及眾多行業(yè),如社交、電商、金融、零售、公安、物聯(lián)網(wǎng)等行業(yè),也應用在更多的應用場景中。

在幾乎每個行業(yè),都有許多“吃螃蟹者”,首先應用圖數(shù)據(jù)庫,受惠于企業(yè)業(yè)務的發(fā)展。

在金融領(lǐng)域,應用機器學習算法和知識圖譜的智能風控系統(tǒng)在風險識別能力和大規(guī)模運算方面具有突出優(yōu)勢,逐漸成為金融領(lǐng)域風控反欺詐的主要手段。同時國內(nèi)金融監(jiān)管的知識圖譜迅速發(fā)展,出現(xiàn)了如集團派系知識圖譜、產(chǎn)業(yè)鏈知識圖譜、擔保鏈知識圖譜、反洗錢知識圖譜等應用。

利用圖數(shù)據(jù)庫和知識圖譜平臺打造的“公安大腦”,針對公安破案時所需的人、事、地、物、組織構(gòu)建的社會關(guān)系網(wǎng)和系統(tǒng)中凝結(jié)警察專家研判經(jīng)驗規(guī)則和知識,分析推演出案件研判結(jié)果,幫助普通警察快速實現(xiàn)基于自然語言交互的人案關(guān)系雙向可視化自助推演分析,提供精準和效率雙提升的高危團伙和高危人員預測預警,助力警察破案事半功倍。

在電信領(lǐng)域,AT&T、Orange、Verizon,以及中國的三大運營商等,依靠圖數(shù)據(jù)庫來管理網(wǎng)絡,控制訪問并支持客戶畫像。中國移動移動云知識圖譜項目將實現(xiàn)了一站式端到端的知識圖譜解決方案,通過在線云的方式讓用戶可以自己構(gòu)建知識圖譜和完成各種應用。

在汽車制造領(lǐng)域,沃爾沃、戴姆勒和豐田等頂級汽車制造商依靠圖數(shù)據(jù)庫推動創(chuàng)新制造解決方案。eBay、沃爾瑪使用圖數(shù)據(jù)庫實現(xiàn)商品實時推薦,給買家更好的購物體驗。

萬豪和雅高酒店等頂級酒店公司使用圖數(shù)據(jù)庫來管理復雜且快速變化的庫存。Facebook、Twitter、Linkedin等社交應用用圖數(shù)據(jù)庫來管理社交關(guān)系,實現(xiàn)好友推薦。

在發(fā)展階段上,行業(yè)專家普遍認為,分布式圖數(shù)據(jù)庫市場剛剛度過了萌芽期,開始進入了快速發(fā)展期,但尚未到達成熟期。

不過大量涌現(xiàn)的圖計算需求,正成為圖數(shù)據(jù)庫發(fā)展的強勁動力。

4.圖數(shù)據(jù)庫市場格局還沒有成型

市場對圖技術(shù)的認知程度和需求在上升。目前,市場上圖數(shù)據(jù)庫產(chǎn)品不斷增加,進入DB-Engines Graph數(shù)據(jù)庫監(jiān)控范圍的產(chǎn)品就達到32款。如下圖是2021年8月DB-Engines圖數(shù)據(jù)庫排行。

需求迸發(fā)，自研圖數(shù)據(jù)庫生逢其時

圖2 DB-Engines Graph數(shù)據(jù)庫2021年8月排行

雖然圖數(shù)據(jù)庫市場的參與者如意增加,但是市場格局還遠沒有定型。目前,國內(nèi)進入圖數(shù)據(jù)庫市場的企業(yè)和產(chǎn)品可以分為三類:

第一類:開源系統(tǒng)及其發(fā)行版。

相關(guān)調(diào)查數(shù)據(jù)顯示,開源圖數(shù)據(jù)庫的市場占比達到68.4%。目前,市場上的開源圖數(shù)據(jù)庫數(shù)量眾多,發(fā)展參次不齊。

Neo4j是最流行的高度可擴展的開源本地圖數(shù)據(jù)庫之一。Neo4j的Graph平臺經(jīng)過優(yōu)化,可以存儲、映射、分析和遍歷連接的數(shù)據(jù)網(wǎng)絡,發(fā)現(xiàn)不可見的上下文和隱藏的關(guān)系。

通過直觀地映射數(shù)據(jù)點及其之間的連接,Neo4j支持智能實時應用程序,包括人工智能、機器學習、物聯(lián)網(wǎng)、實時推薦、主數(shù)據(jù)管理、欺詐識別、身份和訪問管理等。

Neo4j有社區(qū)版和企業(yè)版2個版本社。其中社區(qū)版是學習Neo4j和不需要大量擴展或?qū)I(yè)服務與支持的小型項目的理想選擇。開源的社區(qū)版本只支持單機,不支持分布式,在 GPL3 許可的開源社區(qū)版中提供。

社區(qū)版最多支持 320 億個節(jié)點、320 億個關(guān)系和 640 億個屬性。數(shù)以萬計的社區(qū)部署和 600 多個客戶利用與 Neo4j 連接的數(shù)據(jù)來分析和揭示人員、流程、位置和系統(tǒng)是如何相互關(guān)聯(lián)的。

企業(yè)版具有與社區(qū)版相同的功能,具有企業(yè)級可用性,管理以及向上和向外擴展功能。企業(yè)版可以部署成高可用集群,從而可以解決高并發(fā)量的問題。

Forrester在其報告中認為,Neo4j 企業(yè)版包括聚類、多數(shù)據(jù)中心、高級安全功能、圖形分析、視覺圖形發(fā)現(xiàn)和探索等。

在國內(nèi)市場,圖數(shù)據(jù)庫研發(fā)商歐若數(shù)網(wǎng)最近宣布已完成800萬美元Pre-A輪融資。其核心產(chǎn)品是分布式圖數(shù)據(jù)庫Nebula Graph2.0版本已具備云端架構(gòu),方便用戶隨時調(diào)取服務,面向社交、支付、金融等領(lǐng)域。

第二類是自主研發(fā)系統(tǒng)。

令人欣喜的是,目前我國圖數(shù)據(jù)庫領(lǐng)域展現(xiàn)良好的上升勢頭,出現(xiàn)了許多自主研發(fā)的圖數(shù)據(jù)庫與知識圖譜平臺,未來將是中國圖數(shù)據(jù)庫應用的主導力量。

作為國內(nèi)領(lǐng)先的大數(shù)據(jù)與人工智能軟件供應商,星環(huán)科技向市場提供基于自主研發(fā)的分布式圖數(shù)據(jù)庫StellarDB與知識圖譜平臺Sophon KG,并得到了廣泛的應用。

星環(huán)圖數(shù)據(jù)庫StellarDB是國內(nèi)第一款自研分布式圖數(shù)據(jù)庫,用于快速查找數(shù)據(jù)間的關(guān)聯(lián)關(guān)系,并提供強大的算法分析能力。StellarDB克服了海量關(guān)聯(lián)圖數(shù)據(jù)存儲的難題,通過自定義圖存儲格式和集群化存儲,實現(xiàn)了傳統(tǒng)數(shù)據(jù)庫無法提供的低延時多層關(guān)系查詢,在社交網(wǎng)絡、公安、金融領(lǐng)域都有巨大應用潛力,可以幫助用戶快速開發(fā)欺詐檢測、推薦引擎、社交網(wǎng)絡分析、知識圖譜等應用。

在功能上,StellarDB可以提供高性能的圖存儲、計算、分析、查詢和展示服務;具備10+層的深度鏈路分析能力,提供豐富的圖分析算法和深度圖算法;支持標準圖查詢語言并兼容OpenCypher,且具備海量數(shù)據(jù)3D圖展示能力。

在性能上,StellarDB 可支持萬億邊規(guī)模圖數(shù)據(jù)存儲,具備查詢速度快、分析能力強、穩(wěn)定性高的特點。

2021年Transwarp StellarDB通過了信通院圖數(shù)據(jù)庫基礎能力評測,這是繼2019年知識圖譜通過信通院大數(shù)據(jù)產(chǎn)品能力評測后再獲權(quán)威認可。

在2021年8月愛分析發(fā)布的《2021愛分析數(shù)據(jù)智能平臺廠商全景報告》,星環(huán)科技憑借成熟的數(shù)據(jù)智能解決方案和落地能力入選“數(shù)據(jù)存儲與處理”、“圖分析”兩大場景的代表廠商。

第三類是云服務商。

在圖數(shù)據(jù)庫方面,亞馬遜云科技、微軟,以及中國的阿里云、騰訊云、百度等都有積極的布局,也推出推出了自己的產(chǎn)品。云服務商將在云應用環(huán)境下不斷發(fā)展壯大。

2020年,騰訊云就發(fā)布分布式圖數(shù)據(jù)庫產(chǎn)品騰訊云數(shù)圖TGDB(Tencent GraphDatabase)。騰訊云數(shù)圖以原生方式實現(xiàn)屬性圖,高效存儲關(guān)聯(lián)數(shù)據(jù),支持大圖的高效查詢和關(guān)聯(lián)分析。通過支持PageRank、社群發(fā)現(xiàn)、相似度計算、模糊子圖匹配等社群發(fā)現(xiàn)算法實現(xiàn)高性能圖計算。同時,高可用、高健壯也是騰訊云數(shù)圖的一大性能優(yōu)勢。

亞馬遜的Amazon Neptune是一項快速、可靠且完全托管的圖數(shù)據(jù)庫服務,核心是專門構(gòu)建的高性能圖數(shù)據(jù)庫引擎,進行了優(yōu)化以存儲數(shù)十億個關(guān)系并將圖形查詢延遲降低到毫秒級。

Amazon Neptune支持常見的圖形模型 Property Graph 和 W3C 的 RDF 及其關(guān)聯(lián)的查詢語言 Apache TinkerPop Gremlin 和 SPARQL,支持圖形使用案例,如建議引擎、欺詐檢測、知識圖譜、藥物開發(fā)和網(wǎng)絡安全。

Forrester在其報告中認為,客戶喜歡該平臺的易于設置、完全管理的產(chǎn)品、AWS 生態(tài)系統(tǒng)的一部分、其技術(shù)支持和性能。

2020年,阿里云圖數(shù)據(jù)庫GDB于2020年3月正式在發(fā)布商用,產(chǎn)品使用、運維成本,僅為外國圖數(shù)據(jù)庫產(chǎn)品的40%,支持Gremlin、Cypher語言,使其能更好的兼容開源社區(qū)中的圖查詢、圖計算代碼,降低用戶的開發(fā)成本;支持數(shù)據(jù)存儲模式自由(Schema-free),可以滿足圖數(shù)據(jù)結(jié)構(gòu)跟隨業(yè)務靈活調(diào)整。

速度和支持數(shù)據(jù)規(guī)模是圖數(shù)據(jù)庫的核心,隨著技術(shù)的不斷進步,圖數(shù)據(jù)庫應用將不斷擴大,自主研發(fā)的圖數(shù)據(jù)庫產(chǎn)品更能贏得用戶。