2019雙11，支付寶參戰(zhàn)的第十一年。

與十一年前相比，雙11的許多東西都改變了。比如金額——2684億，差不多是十一年前的5000倍；比如流量——訂單峰值54.4萬筆/秒，曾經(jīng)是想都不敢想的數(shù)字；再比如層出不窮的新技術(shù)，就是這些驚人數(shù)字背后的“秘密武器”，給迎戰(zhàn)雙11的戰(zhàn)士們作最完備的武裝。

也有始終不變的東西。大戰(zhàn)來臨前的緊張、不安、如履薄冰，對每一個細節(jié)反復(fù)check的“強迫癥”，以及勝利之后的欣喜、釋然、滿心充實，和下一步砥礪前行。

支付寶的技術(shù)工作，就是“半年搞建設(shè)，半年搞大促”。雖然是一句戲言，但足夠從側(cè)面證明大促作為實踐戰(zhàn)場的重要性。而每當(dāng)雙11圓滿落下帷幕，技術(shù)人也就到了收獲的季節(jié)。那些歷經(jīng)雙11大考的新技術(shù)，就像經(jīng)歷過了“成人式”一樣，一一走到臺前開始獨當(dāng)一面。

SOFAMesh：金融級云原生第一步

眾所周知，金融機構(gòu)因為肩負(fù)的責(zé)任重大，面對新技術(shù)時，普遍都是比較保守的。支付寶也不例外，尤其是在雙11這種場景下，流量大，峰值高，平時不管多小的問題，在這時候都可能被放大成不得了的大問題。

于是，今年的大促迫在眉睫時，SOFAMesh團隊還在糾結(jié)。來自周圍的各種聲音，讓他們感到壓力很大。被問到的最多的問題，就是“這個靠不靠譜？”

一個“行”字，在雙11的面前，可能有千鈞之重。能不能扛過零點的流量峰值？能不能保障穩(wěn)定？能不能保證不出差錯？

Mesh是一項很新的技術(shù)，社區(qū)開源項目本就不成熟，而SOFAMesh是支付寶從第一行代碼開始完全自主開發(fā)的項目，在金融級的嚴(yán)苛要求面前，在雙11的極端場景之下，究竟行不行？誰心里都沒有底。

然而此時不上，整整兩年的心血就白費了。反過來說，如果能打贏這一仗，就證明云原生之路在雙11這種體量的考驗之下都是可行的，這對于整個行業(yè)而言，會是一個很好的標(biāo)桿。

“螞蟻金服要做金融行業(yè)技術(shù)的拓荒者和實踐者。”資深技術(shù)專家楊海悌說。

這已不是螞蟻金服第一次做“吃螃蟹的人”，在金融機構(gòu)普遍依賴IOE時，他們率先開始探索分布式，現(xiàn)在分布式漸漸成為主流，他們又率先琢磨起云原生。

“以前都是業(yè)務(wù)推動技術(shù)，現(xiàn)在到了技術(shù)為業(yè)務(wù)提供紅利的時候了。”對于自己看著長大的SOFAMesh，楊海悌一面很有信心，一面也十分忐忑。

SOFAMesh是支付寶針對金融行業(yè)的特殊需求而開發(fā)的金融級中間件，屬于金融級云原生分布式框架SOFAStack的一部分，這個框架的開發(fā)始于2009年，幾乎和雙11同齡。

是騾子是馬，總得遛過了才知道。SOFAMesh的第一份答卷很快交了出來——以往分時復(fù)用的資源切換需要4小時，用上了SOFAMesh之后，不到4分鐘。性能提升將近百倍。

分時復(fù)用，顧名思義，就是在不同的時間段里讓同一個資源能夠“復(fù)用”于多個應(yīng)用。這一技術(shù)能夠減少資源閑置，提高資源的利用效率。這一技術(shù)在2018年雙11就曾立過功——當(dāng)時，支付寶面對這天貓雙11和自己的會員大促的“雙大促”挑戰(zhàn)，為了節(jié)約成本少采購一些資源，上線了分時調(diào)度1.0，使用同一批資源同時支持兩個大促，在支撐天貓雙 11 和經(jīng)濟體用戶增長兩個大促的同時，IT成本一分錢也沒有漲。

但去年在彈性架構(gòu)模式下做分時調(diào)度，切換資源需要重新配置和部署相關(guān)系統(tǒng)，4個小時的切換時間，雖然成功支持了“雙大促”，還是滿足不了對短時間內(nèi)快速調(diào)用資源有需求的業(yè)務(wù)。

到了今年，由于SOFAMesh的上線，切換資源不再需要重新部署，切換時間縮短到了3分40秒。這意味著，像螞蟻森林那樣每天都會面臨流量小高峰的業(yè)務(wù)，無需事先留足資源余量，提前10分鐘開始切換資源，都綽綽有余。

“將來，切換時間還有望縮短到秒級。”楊海悌說。

2019年雙11，SOFAMesh扮演了非常重要角色——100%覆蓋螞蟻金服核心支付鏈路，幾十萬容器，峰值千萬QPS，平均RT（響應(yīng)時間） 0.2ms，是業(yè)界超大的 Service Mesh 集群。它在洪峰面前的穩(wěn)定性和平滑性，以及對效率的顯著提升，都是有目共睹的。

這張漂亮的成績單背后，其實就是一個字——行。

“云原生”已經(jīng)成為業(yè)界公認(rèn)的技術(shù)趨勢，它的目標(biāo)是提升運維效率、降低資源使用成本、提升服務(wù)安全可靠性等。云原生帶來的基礎(chǔ)設(shè)施升級，為技術(shù)演進提供基礎(chǔ)能力支撐，并且提升未來架構(gòu)空間的想象力。2019也是支付寶的金融級云原生落地元年，包括SOFAMesh在內(nèi)的一系列云原生技術(shù)，經(jīng)歷雙11的考驗之后，向整個業(yè)界證明——我們行，云原生這條路，也行。

雙11之后，螞蟻金服舉辦的發(fā)布會上，副CTO胡喜宣布，會將打磨十年之久的SoFAStack對外公開。

正如“元年”一詞所說，這只是螞蟻金服在新的開拓之路上邁出的第一步。

OceanBase 2.2：世界紀(jì)錄就是用來打破的

OceanBase被人質(zhì)疑“行不行”的次數(shù)，更是多到數(shù)不過來。

數(shù)據(jù)庫是命脈，尤其是金融機構(gòu)的數(shù)據(jù)庫，出一點問題都是真金白銀的問題，哪個業(yè)務(wù)都不敢冒風(fēng)險，老老實實抱著老牌進口貨Oracle，圖個太平。

但Oracle也沒見過雙11這種陣仗，隨著雙11的流量連年翻番，它的性能眼見著碰到了天花板。2014年雙11前的壓測，Oracle出現(xiàn)了10%的流量缺口。

OceanBase感到機會來了。在那之前，他們已經(jīng)“蟄伏”了四五年，沒有固定的業(yè)務(wù)，最落魄的時候，甚至面臨團隊解散和項目取消的境況。

當(dāng)時的OcaenBase將滿5歲，版本號卻還是0.x，外表看來甚至還是個demo，一上來就要承接雙11的10%的流量，相當(dāng)于支付寶平日流量的最高峰，而且要做的還是最核心的交易系統(tǒng)——一分錢都不能出錯的那種。

一時之間，“你們行不行”的質(zhì)疑聲此起彼伏。

“別人說我們不行的時候，我們都非常堅定地認(rèn)為，行。”螞蟻金服研究員楊傳輝說。他是OceanBase開發(fā)團隊的初期成員之一，親眼見過OceanBase寫下第一行代碼。

從拿下10%的任務(wù)，到雙11的正式大考，時間不足兩周。最后十來天，資深運維專家?guī)熚膮R帶著全團隊幾乎不眠不休地做優(yōu)化，硬是把長達10毫秒的響應(yīng)時間降低到了1毫秒以下。

那一年的雙11，OceanBase沒出一個差錯，一戰(zhàn)成名。

今年的雙11，OceanBase的版本號是2.2。在為版本命名方面，他們的謹(jǐn)慎作風(fēng)一如既往。

但是OceanBase的每一次版本迭代，發(fā)生的都是“脫胎換骨”的變化，自己創(chuàng)下的紀(jì)錄，也由自己不斷刷新——

2018年雙11，基于OceanBase 2.0分區(qū)方案的架構(gòu)正式上線，這一架構(gòu)解決了數(shù)據(jù)庫可擴展的瓶頸，將每秒交易的承載能力提升到百萬級，并讓性能提升了50%。

50%的提升不是個小數(shù)目，但更令人驚訝的是，僅僅一年之隔，在2019年的雙11中，全新上線的OceanBase 2.2版本，在2.0的基礎(chǔ)上，又讓性能提高了50%。

就在今年的10月3日，權(quán)威機構(gòu)國際事務(wù)處理性能委員會TPC披露：螞蟻金服的分布式關(guān)系數(shù)據(jù)庫OceanBase，打破美國甲骨文公司保持了9年的世界紀(jì)錄，登頂TPC-C榜單，同時也成為首個登上該榜單的中國數(shù)據(jù)庫系統(tǒng)。

短短的一個月之后，在2019年雙11的考場之上，OceanBase2.2又再次刷新了數(shù)據(jù)庫處理峰值，達6100萬次/秒，創(chuàng)造了新的世界紀(jì)錄。

在金融級核心數(shù)據(jù)庫的嚴(yán)格要求之下，OceanBase為何還能有這樣跨越式的性能升級？

關(guān)鍵的秘密在于，OceanBase背后是原生的分布式數(shù)據(jù)庫設(shè)計以及PAXOS協(xié)議，通過水平擴展x86服務(wù)器就可以達到無限伸縮，支持大規(guī)模高并發(fā)的效果。

另一方面，今年為了進一步提升性能和降低延遲，OceanBase還通過中間件的優(yōu)化，自動將多條SQL聚合成輕量級的存儲過程，這個過程讓原本需要數(shù)十次SQL網(wǎng)絡(luò)交互的任務(wù)降低為單次網(wǎng)絡(luò)交互，整體RT降低了20%。

現(xiàn)在，支付寶的業(yè)務(wù)已經(jīng)100%跑在OceanBase上，作為我國第一個自研的金融級分布式數(shù)據(jù)庫，經(jīng)過六年的雙11錘煉，它也已經(jīng)具備了走出螞蟻金服、走向更廣闊天地的底氣。

今年雙11中，支付寶支付業(yè)務(wù)100%切換到OceanBase內(nèi)置的Oracle兼容模式上，支持Oracle語法以及存儲過程優(yōu)化的同時，又兼具OceanBase的分布式能力，如分布式分區(qū)表、全局事務(wù)等，響應(yīng)時間也更加平穩(wěn)。雙11之后，OceanBase2.2也將正式公開發(fā)布。

“不過，在別人覺得我們什么都行的時候，我們反而會冷靜下來，想想自己還有哪些不行的地方。”楊傳輝說，對技術(shù)上一切未知的敬畏，才能讓大家走得更遠。

圖智能：復(fù)雜金融關(guān)系的最優(yōu)解

“過去很長一段時間圖數(shù)據(jù)庫和圖計算一直停留在學(xué)術(shù)研究階段，行業(yè)應(yīng)用場景不多，是因為沒有強的場景驅(qū)動，所以市場沒有太多發(fā)展”， 螞蟻金服計算存儲首席架構(gòu)師何昌華指出。但是反過來看，圖相關(guān)的產(chǎn)品近年來熱度不斷攀升，其核心原因是因為強場景的驅(qū)動，特別是金融場景，它非常善于處理大量的、復(fù)雜的、關(guān)聯(lián)的、多變的網(wǎng)狀數(shù)據(jù)，通過節(jié)點和關(guān)聯(lián)的數(shù)據(jù)模型去快速解決復(fù)雜的關(guān)系問題。

螞蟻的一站式圖平臺的誕生，也有著鮮明的螞蟻金服特色，同樣是“被業(yè)務(wù)倒逼出來的”。

螞蟻金服在2014年左右就開始跟進社區(qū)的圖計算的研究，當(dāng)時的團隊在一些開源產(chǎn)品基礎(chǔ)上進行了小規(guī)模的嘗試，做了之后發(fā)現(xiàn)效果很好，圖數(shù)據(jù)庫能夠很好地和金融、社交業(yè)務(wù)結(jié)合起來。但是，螞蟻金服有著巨大的數(shù)據(jù)量，需要以分布式架構(gòu)來支撐高并發(fā)的大數(shù)據(jù)量和大吞吐量，但當(dāng)時無論是開源還是商業(yè)數(shù)據(jù)庫產(chǎn)品都只是單機版，都難以適應(yīng)螞蟻金服如此大的數(shù)據(jù)量和復(fù)雜的環(huán)境。于是，艱難而又步步扎實的自研之路開始了。

最開始，要解決的是圖數(shù)據(jù)的存儲和在線查詢的問題。

從數(shù)據(jù)量來看，分布式架構(gòu)是唯一的選擇。從滿足金融場景高并發(fā)低延時的需求來看，選擇原生圖結(jié)構(gòu)而非基于關(guān)系型數(shù)據(jù)庫基礎(chǔ)上封裝圖數(shù)據(jù)，成為必然。但也因為以上兩點，導(dǎo)致整個開發(fā)難度大大增加。

從2015年初團隊開始組建，經(jīng)過“冬練三九、夏練三伏”的苦修，以及在代碼、運維、穩(wěn)定性等每一環(huán)節(jié)的極致追求，第一個圖數(shù)據(jù)庫版本GeaBase在2016年初發(fā)布。

而這時候，剛好遇到支付寶史上最大一次改版，模塊化功能被替換成信息流，大大強化了社交關(guān)系屬性，GeaBase開始接入支付寶鏈路。

百煉成鋼，經(jīng)過幾個月的壓測，2016年6月，新版支付寶上線，GeaBase迎來了第一筆流量。接著幾年，從支付寶大改版到新春紅包再到雙11，GeaBase迎來了業(yè)務(wù)的綻放期，到2019年雙11，GeaBase雙11主鏈路上單集群規(guī)模突破萬億邊，點邊查詢突破800萬QPS，平均時延小于10ms；成為支付寶核心鏈路上非常重要的一環(huán)；

數(shù)據(jù)存儲和查詢的問題解決了，緊接著要解決的是分析計算的問題。

在一開始，我們思考的是如何在海量的圖數(shù)據(jù)里做數(shù)據(jù)挖掘的問題。在面對千億乃至萬億級規(guī)模，幾TB到幾百TB的數(shù)據(jù)，用超大內(nèi)存物理機和高速網(wǎng)絡(luò)來實現(xiàn)離線全圖計算，對企業(yè)來說不太現(xiàn)實，資源也存在極大的浪費。因此，我們重點放在如何在滿足業(yè)務(wù)功能/性能需求的同時，利用碎片化的現(xiàn)有資源，實現(xiàn) “按需計算”的能力。

因此，2017年，我們在海量數(shù)據(jù)基礎(chǔ)上，設(shè)計了一套離線計算的框架，提供自適應(yīng)的分區(qū)策略，資源消耗能比同類產(chǎn)品降低一個數(shù)量級，同時性能還能遠遠優(yōu)于GraphX等開源產(chǎn)品。

同時，為了方便業(yè)務(wù)算法人員根據(jù)其業(yè)務(wù)進行二次開發(fā)，還開放了C++和JAVA的接口，除了業(yè)界常見的圖編程框架的Pregel、GAS，我們還做了一定的“微創(chuàng)新”和能力擴展，提供了更高性能，更加豐富功能的接口。

全量分析計算的事情解決了，但隨著“310”策略的推進，風(fēng)控業(yè)務(wù)的發(fā)展，對分析的時效性的要求越來越高，分析需要更快，更實時，2018年，我們開始考慮在線圖計算的能力。

有時候，并不是所有業(yè)務(wù)都需要進行復(fù)雜的圖分析，而是在滿足一定的條件后才開始進行子圖的迭代計算。最后，基于圖的迭代計算的結(jié)果，在進行數(shù)據(jù)鏈路的處理后再提供給在線使用。

因此，一個場景在完整的計算鏈路中，需要流計算和圖計算兩種模態(tài)的融合計算。我們打破了傳統(tǒng)計算模態(tài)的邊界，提供流圖融合的計算系統(tǒng)。通過將數(shù)據(jù)流和控制流相結(jié)合，并提供動態(tài)DAG的能力，從而實現(xiàn)按需計算，彈性擴縮容。

用戶可以通過一套統(tǒng)一的DSL（SQL+Gremlin/GQL）、一套計算系統(tǒng)來實現(xiàn)完成流圖融合的鏈路，實現(xiàn)基于數(shù)據(jù)驅(qū)動的在線圖計算能力，同時，減少了用戶的學(xué)習(xí)、運維成本。

在2019年雙11上，在線圖計算技術(shù)大放異彩，通過秒級決策，在花唄等場景幫助業(yè)務(wù)效果提升12倍。

從“海量”圖存儲，到離線全圖 “按需計算”，再到“實時”在線圖計算，螞蟻的圖智能技術(shù)跟隨業(yè)務(wù)一步步發(fā)展，壯大。

融合計算引擎：新計算威力初現(xiàn)

今年的雙11還落地應(yīng)用了一套新的“神器”——融合計算引擎，它耗費了近百位工程師一整年的心血。

融合計算引擎的基礎(chǔ)，是螞蟻金服聯(lián)合 UC Berkeley 大學(xué)推進的新一代計算引擎Ray，它很年輕，2018年融合計算引擎項目啟動時，它只有幾萬行代碼，距離金融級線上環(huán)境的應(yīng)用還差得很遠。

“我們用了一整年，把它增加到了幾十萬行代碼，并且涵蓋了C++、java、Python等所有語言。”螞蟻金服資深技術(shù)專家周家英說。

至少4個團隊在共同“養(yǎng)育”這個引擎，四個奶爸帶娃，磕磕絆絆，在所難免，難度遠遠大于一個團隊負(fù)責(zé)一個引擎。

但開發(fā)時的“難”，是為了應(yīng)用時的“簡”。

在計算引擎執(zhí)行層面，不同計算模式的數(shù)據(jù)是可以在引擎內(nèi)共享的，很少借助第三方存儲，因此對外部存儲和網(wǎng)絡(luò)傳輸?shù)拈_銷也都有極大的節(jié)省。

在應(yīng)用方面，融合計算引擎不僅能夠解決金融場景中需要銜接多個不同計算模式的難題，還能支持各種不同時效性的業(yè)務(wù)，并在支付過程中提供秒級智能決策能力。

并且隨著融合引擎的落地，也改變著技術(shù)同學(xué)的研發(fā)習(xí)慣。我們希望通過融合計算引擎，達成研發(fā)態(tài)，運行態(tài)，運維態(tài)三位一體的統(tǒng)一：例如在動態(tài)圖計算場景，計算開發(fā)同學(xué)只需要編寫一個流+圖的計算作業(yè)，就可以實現(xiàn)秒級6度鄰居的圖迭代計算；同樣在機器學(xué)習(xí)領(lǐng)域，通過編寫一個包含流+模型訓(xùn)練+服務(wù)的計算作業(yè)，就可以實現(xiàn)端到端秒級模型導(dǎo)出的在線學(xué)習(xí)能力。這樣從研發(fā)到運行態(tài)，計算整體效率都得到了極大提升。

2018年，融合計算就在花唄反套現(xiàn)的智能甄別之中表現(xiàn)卓越。到了2019年，融合計算引擎已經(jīng)在支付寶不同場景中落地——圖計算在花唄，螞蟻森林等場景中大規(guī)模上線，圖數(shù)據(jù)庫Geabase突破萬億邊。

2019年支付寶新春紅包活動中，融合計算引擎用在線學(xué)習(xí)能力支持了新春紅包的智能文案，讓它的算法跑在了新的在線學(xué)習(xí)的體系上。這個體系融合了流計算和機器學(xué)習(xí)，讓機器學(xué)習(xí)的模型迭代速度從以前的小時級別，提升到了現(xiàn)在的秒級別。本次雙11時，它在“支日歷”的推薦算法方面發(fā)揮了重要作用。

通過融合流計算、服務(wù)和并發(fā)查詢，融合計算引擎減少了60%的機器資源使用，把端到端的延遲壓低到了毫秒級，同時還能支持金融網(wǎng)絡(luò)的業(yè)務(wù)查詢和監(jiān)控。

今年雙11中，融合計算引擎在至少三個場景中成功落地并被驗證可行，“還跑在了螞蟻金融級關(guān)鍵決策鏈路上。”周家英不無興奮，“這證明了我們的計算引擎具備了金融級的能力。”

事實上，無論是在雙11這樣的極端大考場景中，還是在支付寶、阿里巴巴，以及各個互聯(lián)網(wǎng)科技公司的日常應(yīng)用場景中，數(shù)據(jù)驅(qū)動的業(yè)務(wù)也越來越多。相應(yīng)地，海量數(shù)據(jù)的實時處理、分析和應(yīng)用，以及人工智能、深度學(xué)習(xí)等新技術(shù)的開發(fā)，都在要求著更強大的計算能力，以及能夠應(yīng)對復(fù)雜場景的多種計算模式。

面對未來，更多的是未知——我們尚且不知未來會出現(xiàn)什么樣的場景，這些場景會要求什么樣的計算模式和計算能力。“融合計算是真正意義上的新計算的第一步。”螞蟻金服計算存儲首席架構(gòu)師何昌華說。