又到了收貨的季節(jié)。深秋與初冬交接，剛剛醞釀完一年情緒的女人們，帶著滿臉的期待，血液的溫度開始上揚(yáng)，微微張開的毛孔，配上快遞員呼嘯而過留下的微風(fēng)，這滋味，剛剛好。對于辛勤勞作的人們來說，這也正是一年中享受這個(gè)時(shí)代寶貴饋贈的時(shí)刻——雙十一！

對于雙十一，關(guān)注它火爆的人太多。且聽阿里數(shù)據(jù)猿來談?wù)?，雙十一背后的大數(shù)據(jù)，是如何快速運(yùn)轉(zhuǎn)和保證數(shù)據(jù)質(zhì)量不出錯(cuò)的。

一筆交易數(shù)據(jù)檢查70余次 

相信有不少人認(rèn)為，自己能產(chǎn)生數(shù)據(jù)，卻不明白數(shù)據(jù)是如何為自己服務(wù)的。其實(shí)，你的每一步操作，都需要靠數(shù)據(jù)來保障。假如你是一個(gè)美國用戶，剛剛看上一件庫存只剩一件的衣服，你趕忙下單并付好款。如果此時(shí)，正好國際間網(wǎng)絡(luò)突然出現(xiàn)了閃斷，你“已付款”這個(gè)狀態(tài)的數(shù)據(jù)并沒有從支付寶傳輸?shù)教詫毜南到y(tǒng)中來。那么，在網(wǎng)頁上，就有可能依然是“等待付款”狀態(tài)。

為了讓大家避免遇到類似狀況，保障購物體驗(yàn)“如絲般順滑”，阿里特別推出了一項(xiàng)秘密武器，對線上每筆交易進(jìn)行實(shí)時(shí)檢測。一旦發(fā)現(xiàn)數(shù)據(jù)出現(xiàn)問題，就會立即報(bào)警并且提交給相關(guān)技術(shù)人員處理。每筆交易，都要對其中的相關(guān)數(shù)據(jù)檢查超過70次。

 秒至毫秒級別實(shí)時(shí)計(jì)算

去年雙十一，幾百媒體圍著一塊4500公斤的大屏歡呼。那里面實(shí)時(shí)展示的數(shù)據(jù)，正是基于我們的實(shí)時(shí)計(jì)算而來。Galaxy，是阿里自研的通用增量計(jì)算平臺，能提供秒級別甚至毫秒級別延遲的實(shí)時(shí)數(shù)據(jù)計(jì)算能力。

Galaxy解決了計(jì)算通用性、開發(fā)成本、數(shù)據(jù)質(zhì)量等諸多難題，并提供可擴(kuò)展、規(guī)?；募悍?wù)能力。相對于傳統(tǒng)的批量計(jì)算模型MapReduce，Galaxy提出了通用增量計(jì)算框架，在此之上提供算子層和SQL語法，大大降低了用戶門檻和開發(fā)運(yùn)維成本。

而實(shí)時(shí)計(jì)算的運(yùn)用場景，可不只是為了做個(gè)大屏讓大家熱鬧一下。它的服務(wù)對象已經(jīng)覆蓋內(nèi)部包括淘寶、天貓、聚劃算、無線、搜索、廣告、數(shù)據(jù)產(chǎn)品、菜鳥、安全、阿里云等多個(gè)BU或業(yè)務(wù)線，為廣告、內(nèi)容投放、數(shù)據(jù)魔方等產(chǎn)品或應(yīng)用提供實(shí)時(shí)計(jì)算服務(wù)。你剛剛看完口罩，馬上就能看到廣告位上出現(xiàn)的空氣凈化器，正是實(shí)時(shí)計(jì)算的一項(xiàng)應(yīng)用。

宕機(jī)也不怕丟數(shù)據(jù)

正如上述案例中，如果出現(xiàn)數(shù)據(jù)丟失，對于用戶來說將會是一次非常糟糕的體驗(yàn)。在阿里內(nèi)部，保障數(shù)據(jù)質(zhì)量，也是所有產(chǎn)品和系統(tǒng)應(yīng)用的前提條件。實(shí)時(shí)計(jì)算系統(tǒng)，也是如此。

在數(shù)據(jù)準(zhǔn)確性和有狀態(tài)計(jì)算方面，Galaxy提供了高可靠的容錯(cuò)機(jī)制，確保任意場景下的“不多不少”的精確語義；在內(nèi)存快照與容錯(cuò)機(jī)制配合下有效解決了有狀態(tài)計(jì)算依賴全局存儲帶來的吞吐下降的問題。

在這套機(jī)制下，哪怕出現(xiàn)了計(jì)算的服務(wù)器宕機(jī)，galaxy還是能從之前的數(shù)據(jù)流中找回丟失的數(shù)據(jù)，“媽媽再也不用擔(dān)心宕機(jī)會丟數(shù)據(jù)了！”

千萬條數(shù)據(jù)計(jì)算僅需1秒

大數(shù)據(jù)需要在應(yīng)用中發(fā)揮出價(jià)值，考驗(yàn)的是海量數(shù)據(jù)的處理能力。需要指出的是，隨著時(shí)間的推移，大部分?jǐn)?shù)據(jù)的價(jià)值越來越低。實(shí)時(shí)計(jì)算的出現(xiàn)，正是極速加快了數(shù)據(jù)閉環(huán)的周期，讓數(shù)據(jù)更值錢。

目前， galaxy每秒可計(jì)算數(shù)據(jù)已達(dá)500萬條，每日處理的記錄數(shù)超過2500億，日處理數(shù)據(jù)量近2PB。預(yù)計(jì)今年雙十一，Galaxy的計(jì)算量每秒將超過1000萬，日處理消息數(shù)將超過1萬億條。

作者為阿里集團(tuán)著名碼農(nóng)，負(fù)責(zé)阿里數(shù)據(jù)治理。曾多次主導(dǎo)阿里雙十一數(shù)據(jù)保障系統(tǒng)，多個(gè)數(shù)據(jù)系統(tǒng)負(fù)責(zé)人。