Google打造新大數(shù)據(jù)系統(tǒng)Mesa
Mesa是什么
先行發(fā)布的論文摘要可以讓我們對(duì)Mesa一窺究竟:
Mesa是一個(gè)高度可擴(kuò)展的分析數(shù)據(jù)倉庫系統(tǒng),能存儲(chǔ)與Google廣告業(yè)務(wù)有關(guān)的關(guān)鍵測量數(shù)據(jù)。Mesa能滿足復(fù)雜和具有挑戰(zhàn)性的用戶與系統(tǒng)需求,包括近實(shí)時(shí)數(shù)據(jù)提取和查詢,同時(shí)在海量數(shù)據(jù)和查詢量中保持高可用性、可靠性、容錯(cuò)率和擴(kuò)展性。Mesa每秒能處理數(shù)百萬行更新,每天進(jìn)行數(shù)十億查詢抓取數(shù)萬億行數(shù)據(jù)。Mesa能進(jìn)行跨數(shù)據(jù)中心復(fù)制,即使在整個(gè)數(shù)據(jù)中心故障時(shí),也能以低延遲返回一致和可重復(fù)的查詢結(jié)果。
本質(zhì)上來說,Mesa是一個(gè)ACID式數(shù)據(jù)庫(即,如果有人進(jìn)行查詢,就會(huì)得到相應(yīng)數(shù)據(jù)),速度快,規(guī)模大,可靠性強(qiáng)。它被設(shè)計(jì)為處理與Google廣告業(yè)務(wù)有關(guān)的需求(服務(wù)內(nèi)部用戶,以及消費(fèi)者的前端查詢服務(wù)),但也能作為一般數(shù)據(jù)倉庫系統(tǒng),供其他用途。
與其他產(chǎn)品有何區(qū)別
當(dāng)然,Google早就擁有自己的數(shù)據(jù)系統(tǒng),比如BigTable、Megastore、Spanner和F1。但BigTable無法提供必要的原子性;Megastore、Spanner和F1在跨區(qū)域數(shù)據(jù)上能保證一致性,卻無法滿足峰值更新吞吐量需求。當(dāng)然,Mesa在元數(shù)據(jù)存儲(chǔ)和維護(hù)上利用了之前的技術(shù)。
另外Google自身的Dremel,以及Facebook 與Twitter數(shù)據(jù)系統(tǒng),一般只用作處理批量數(shù)據(jù)裝載,而不是像 Mesa那樣即時(shí)處理數(shù)據(jù)。而且,目前的商業(yè)產(chǎn)品或產(chǎn)品系統(tǒng)均不能用來管理跨數(shù)據(jù)中心的重復(fù)數(shù)據(jù),這些系統(tǒng)也并非基于云技術(shù),靈活性也不強(qiáng)。它們對(duì)動(dòng)態(tài)條款和資源置換的適應(yīng)性也很弱,無法處理數(shù)據(jù)負(fù)載波動(dòng)。
不只是一個(gè)數(shù)據(jù)庫
Mesa比較值得注意的一點(diǎn)是其硬件。之前的系統(tǒng)都使用價(jià)格昂貴的企業(yè)級(jí)硬件,但Mesa使用Google的標(biāo)準(zhǔn)云設(shè)施,均由自己設(shè)計(jì)和建立。
長期來看,Mesa不只是一個(gè)數(shù)據(jù)倉庫系統(tǒng)。像Hadoop那樣的社區(qū)也在密切關(guān)注Google的新動(dòng)向,這可能會(huì)代表一波技術(shù)潮流。另外,從云計(jì)算角度看,這會(huì)加劇與亞馬遜和微軟云服務(wù)的競爭,進(jìn)一步拉低市場價(jià)格。Google一直以高精尖技術(shù)聞名,這一次Mesa估計(jì)也會(huì)拉開其與同類公司的距離。