揚(yáng)帆大數(shù)據(jù)時(shí)代,英特爾攜手星環(huán)打造全閃存分布式數(shù)據(jù)庫(kù)
數(shù)字化時(shí)代,我們的的一舉一動(dòng),一言一行,都幻化成了海量的數(shù)據(jù)。
許多人都有過(guò)這樣的經(jīng)歷——你可以隨時(shí)在銀行、運(yùn)營(yíng)商查詢最近幾個(gè)月或者近一年的賬單;但當(dāng)時(shí)間跨度超過(guò)一年的時(shí)候,系統(tǒng)查詢的時(shí)間就要長(zhǎng)一些,你可能會(huì)間歇性的等待幾秒鐘。這并不是系統(tǒng)在“偷懶”,相反它正在全速幫你從曾經(jīng)的數(shù)據(jù)庫(kù)中檢索數(shù)據(jù)。
這就是在線業(yè)務(wù)與離線業(yè)務(wù)的區(qū)別。對(duì)于那些檢索頻次高、應(yīng)用范圍廣的數(shù)據(jù),許多都存儲(chǔ)在在線數(shù)據(jù)庫(kù)中,方便用戶隨時(shí)調(diào)??;而對(duì)于那些時(shí)間比較長(zhǎng)或者檢索頻率低的數(shù)據(jù),更多時(shí)候會(huì)存儲(chǔ)在離線數(shù)據(jù)庫(kù)中,這樣就可以進(jìn)一步降低使用成本,也提升了整個(gè)系統(tǒng)的資源利用效率。
但是這種好處也并不是一概而論的。數(shù)據(jù)查詢與檢索是一件復(fù)雜性的工程。要知道,目前中國(guó)用于商用的數(shù)據(jù)庫(kù)種類達(dá)到了60多種,這還不包括許多企業(yè)自行開(kāi)發(fā)的開(kāi)源版本。換句話說(shuō),這些不同品牌的數(shù)據(jù)庫(kù)很容易產(chǎn)生數(shù)據(jù)應(yīng)用的壁壘,也讓你在數(shù)據(jù)應(yīng)用中遇到包括應(yīng)用復(fù)雜性、數(shù)據(jù)處理速度、系統(tǒng)吞吐能力、平臺(tái)部署與調(diào)優(yōu)等多個(gè)層面的問(wèn)題,相應(yīng)的也就影響了用戶決策,制約行業(yè)發(fā)展的關(guān)鍵。而想要解決這個(gè)問(wèn)題,最重要的就是提升數(shù)據(jù)檢索的效率,即提升數(shù)據(jù)處理性能與系統(tǒng)吞吐能力。
以最看中安全、穩(wěn)定性的金融業(yè)務(wù)為例。我們?cè)S多人都有跟銀行打交道的經(jīng)歷。以往我們?nèi)ャy行辦理業(yè)務(wù)大多是對(duì)應(yīng)后端的結(jié)構(gòu)化數(shù)據(jù)庫(kù),比如我們的每一筆交易都在這里;但是如今銀行也強(qiáng)調(diào)非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用,比如人臉識(shí)別、比如賬戶開(kāi)戶的全程錄像,這些非結(jié)構(gòu)化的數(shù)據(jù)同樣需要存儲(chǔ)在數(shù)據(jù)中,也使得原本的數(shù)據(jù)應(yīng)用形態(tài)和方式產(chǎn)生了改變。
在傳統(tǒng)環(huán)境中,數(shù)據(jù)庫(kù)大多針對(duì)結(jié)構(gòu)化數(shù)據(jù)所構(gòu)建,所采用的也多是機(jī)械硬盤;許多人對(duì)于數(shù)據(jù)庫(kù)的性能雖然有所認(rèn)知,但是受限于吞吐量能力,大部分人對(duì)于數(shù)據(jù)庫(kù)性能的要求也并不高,甚至穩(wěn)定性的要求更勝一籌。但是伴隨著大數(shù)據(jù)和人工智能時(shí)代的來(lái)臨,高效率、低延遲、實(shí)時(shí)響應(yīng)等需求的出現(xiàn)使得傳統(tǒng)數(shù)據(jù)庫(kù)已經(jīng)不再?gòu)?fù)合應(yīng)用需求,越來(lái)越多的供應(yīng)商也開(kāi)始結(jié)合全閃存開(kāi)發(fā)新的數(shù)據(jù)庫(kù)平臺(tái),以滿足用戶對(duì)于極致性能的需求。
分布式數(shù)據(jù)庫(kù)的出現(xiàn)恰恰是解決了數(shù)據(jù)利用的效率與安全性等諸多問(wèn)題。集群中的每臺(tái)服務(wù)器可能有DBMS的一份完整拷貝副本,或者部分拷貝副本,并具有自己局部的數(shù)據(jù)庫(kù),位于不同地點(diǎn)的許多計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)互相連接,共同組成一個(gè)完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫(kù)。這樣無(wú)論是從數(shù)據(jù)調(diào)取的效率還是在數(shù)據(jù)安全、穩(wěn)定等多個(gè)方面都有所提升。
星環(huán)科技就是這其中的佼佼者。作為一家專注于企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)軟件的公司,星環(huán)科技自創(chuàng)立時(shí)起就推出了多款大數(shù)據(jù)基礎(chǔ)軟件平臺(tái),特別是其中一款名為Transwarp ArgoDB的分布式關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品獲得行業(yè)的認(rèn)可與青睞。甚至在幾年前,星環(huán)科技還憑借Transwarp ArgoDB成為了英特爾精選解決方案之一。而伴隨著不久前的升級(jí),Transwarp ArgoDB也采用了全新發(fā)布的第三代英特爾至強(qiáng)可擴(kuò)展處理器,從而將性能表現(xiàn)提升到了新的層級(jí)。
Argo這個(gè)單詞取自太陽(yáng)帆,由一個(gè)中心出發(fā)展開(kāi)多個(gè)葉片,同時(shí)也是星座名,星環(huán)科技用Argo來(lái)命名自家的分布式閃存數(shù)據(jù)庫(kù)產(chǎn)品,體現(xiàn)一個(gè)多模數(shù)據(jù)庫(kù)可以滿足多種應(yīng)用場(chǎng)景,同時(shí)太陽(yáng)帆螺旋結(jié)構(gòu)具有運(yùn)動(dòng)感和速度感,體現(xiàn)出ArgoDB的高性能,也是希望Argo這艘太陽(yáng)帆能幫助客戶徜徉在大數(shù)據(jù)的世界當(dāng)中,與大家一起迎風(fēng)破浪,披荊斬棘。事實(shí)上,結(jié)合當(dāng)下開(kāi)源開(kāi)放的趨勢(shì),分布式數(shù)據(jù)庫(kù)也成為了許多企業(yè)的選擇,Transwarp ArgoDB更是憑借完整的SQL支持、分布式事務(wù)支持、實(shí)時(shí)與批量數(shù)據(jù)接入、海量數(shù)據(jù)OLAP和離線分析、支持三級(jí)混合存儲(chǔ)等五大特性獲得了行業(yè)的認(rèn)可。而在這五大特性之中,后三者都與全閃存的性能直接相關(guān)。
比如“實(shí)時(shí)與批量數(shù)據(jù)接入”。ArgoDB的這一特性支持實(shí)時(shí)和批量?jī)煞N數(shù)據(jù)導(dǎo)入方式。在線業(yè)務(wù)使用實(shí)時(shí)數(shù)據(jù)接入,保證數(shù)據(jù)時(shí)效性;數(shù)據(jù)倉(cāng)庫(kù)等離線業(yè)務(wù)使用批量數(shù)據(jù)導(dǎo)入方式,吞吐更高。很顯然,這就要求系統(tǒng)具備實(shí)時(shí)響應(yīng)的效果,而借助于英特爾閃存平臺(tái)的優(yōu)勢(shì),ArgoDB不但保質(zhì)保量的完成數(shù)據(jù)寫(xiě)入任務(wù),還可以在PB級(jí)別的數(shù)據(jù)量上同時(shí)支撐離線分析和高并發(fā)的實(shí)時(shí)/準(zhǔn)實(shí)時(shí)的數(shù)據(jù)集市類業(yè)務(wù),讓系統(tǒng)的存儲(chǔ)與計(jì)算能力得到更大幅度的提升,具備了更大的性能優(yōu)勢(shì)。
更重要的是,ArgoDB支持內(nèi)存/閃存/磁盤的三級(jí)混合存儲(chǔ),這讓它不僅僅具備了全閃存的優(yōu)勢(shì),還能夠兼容傳統(tǒng)的數(shù)據(jù)庫(kù)平臺(tái)。比如對(duì)于同一張報(bào)表來(lái)說(shuō),DBA可以指定副本的存儲(chǔ)策略,如一副本存儲(chǔ)在閃存,兩副本存儲(chǔ)在磁盤,這樣多種備份方式大大提升了系統(tǒng)安全性和可靠性。多級(jí)存儲(chǔ)也使得用戶可以更好的在性能和硬件預(yù)算間找到平衡點(diǎn)。
俗話說(shuō)——火車跑得快,全憑車頭帶。想要讓數(shù)據(jù)處理速度更上一層樓,除了提升存儲(chǔ)介質(zhì)與算法優(yōu)化之外,更重要的、更直接的方式就是采用更強(qiáng)大的計(jì)算平臺(tái),為此星環(huán)采用了第三代英特爾至強(qiáng)可擴(kuò)展處理器,通過(guò)軟硬件結(jié)合的方式為客戶提供超強(qiáng)算力。
為了驗(yàn)證這種提升,星環(huán)科技與英特爾在測(cè)試中選擇了TPC-H基準(zhǔn)測(cè)試。這是一個(gè)面向決策支持系統(tǒng)的基準(zhǔn)測(cè)試,由一套面向業(yè)務(wù)的即席查詢和并發(fā)數(shù)據(jù)修改組成,模擬數(shù)據(jù)庫(kù)日常應(yīng)用的情況,可以檢索大量數(shù)據(jù),執(zhí)行高度復(fù)雜的查詢,并為關(guān)鍵業(yè)務(wù)問(wèn)題提供答案。
(基于Transwarp ArgoDB2.0)
在實(shí)際測(cè)試中,星環(huán)科技選擇了計(jì)算密集的相關(guān)查詢 1、4、5、9、10、16、18、20 和 21等項(xiàng)目。而測(cè)試結(jié)果顯示,相較于上代CPU, 第三代英特爾至強(qiáng)可擴(kuò)展處理器使得星環(huán)科技Transwarp ArgoDB的每小時(shí)查詢處理數(shù)(Query Per Hour,QPH)提升了40%。這大大解決了以往計(jì)算密集作業(yè)下CPU性能不足的效率瓶頸,更好地滿足離線批處理數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)數(shù)據(jù)分析平臺(tái)、OLAP 數(shù)據(jù)庫(kù)、全文檢索數(shù)據(jù)庫(kù)等負(fù)載的計(jì)算要求,也讓整體性能獲得提升。
不僅如此,借助于英特爾固態(tài)盤DC P4510、英特爾固態(tài)盤D3 S4510和英特爾網(wǎng)卡等產(chǎn)品,整個(gè)英特爾至強(qiáng)可擴(kuò)展家族也對(duì)性能實(shí)現(xiàn)了加成,這樣對(duì)于用戶來(lái)說(shuō)也一勞永逸的解決了后續(xù)應(yīng)用困難。而從用戶最關(guān)心的成本控制角度來(lái)說(shuō),正因?yàn)樾缕脚_(tái)性能的優(yōu)勢(shì),使得原本單服務(wù)器節(jié)點(diǎn)的QPH性能得到巨大提升,用戶能夠減少基礎(chǔ)設(shè)施所需要部署的服務(wù)器節(jié)點(diǎn)規(guī)模,減少相應(yīng)的采購(gòu)、能源、運(yùn)維、空間等成本,也符合當(dāng)下國(guó)家強(qiáng)調(diào)的“碳達(dá)峰”、“碳中和”需求。
正如星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁朱珺辰所強(qiáng)調(diào)的那樣:“近年來(lái),星環(huán)科技與英特爾進(jìn)行了廣泛而深入的合作,不但持續(xù)在英特爾架構(gòu)上優(yōu)化大數(shù)據(jù)、云計(jì)算和人工智能產(chǎn)品,還合作加快第三代英特爾至強(qiáng)可擴(kuò)展處理器的應(yīng)用落地。此次在星環(huán)科技Transwarp ArgoDB測(cè)試中的實(shí)例顯示,第三代英特爾至強(qiáng)可擴(kuò)展處理器在性能上相對(duì)上代產(chǎn)品有著顯著的優(yōu)勢(shì),結(jié)合精選解決方案在可用性、擴(kuò)展性等方面的優(yōu)勢(shì),能夠幫助用戶加快以數(shù)據(jù)為中心的變革。”
如今,隨著互聯(lián)網(wǎng)的飛速發(fā)展,人類社會(huì)的數(shù)據(jù)量迅速激增,我們一年產(chǎn)生的數(shù)據(jù)就相當(dāng)于人類進(jìn)入現(xiàn)代化以前所有歷史的總和,甚至許多業(yè)務(wù)量很可能在短短的一個(gè)月內(nèi)突然爆發(fā)式地增長(zhǎng)幾千倍,對(duì)應(yīng)的數(shù)據(jù)也很可能快速地從原來(lái)的幾百GB飛速上漲到了幾百個(gè)TB,這對(duì)于各行各業(yè)都產(chǎn)生了全新的挑戰(zhàn),尤其對(duì)于一貫以穩(wěn)健著稱的金融行業(yè)來(lái)說(shuō),更需要的全面的轉(zhuǎn)型與升級(jí)。
在這個(gè)過(guò)程中,我們更需要能夠快速響應(yīng)、零延遲服務(wù)的數(shù)據(jù)平臺(tái),而基于第三代英特爾至強(qiáng)可擴(kuò)展處理器的星環(huán)分布式數(shù)據(jù)庫(kù)Transwarp ArgoDB則扮演了更為重要的角色,使得以銀行為代表的金融業(yè)無(wú)論是在結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)上都能夠快速響應(yīng),同時(shí)也幫助金融應(yīng)用更快落地,使得業(yè)務(wù)本身無(wú)論從運(yùn)行速度還是從用戶體驗(yàn)上都有了全新的升級(jí),更適合未來(lái)大數(shù)據(jù)、數(shù)字化的應(yīng)用需求。