阿里云資深專家湯子楠:雙11背后的計(jì)算力量
12月23日,2015云棲大會廣東峰會在廣州召開。阿里云資深專家湯子楠在演講中表示,雙11不斷打破交易紀(jì)錄的背后,有阿里巴巴強(qiáng)大的計(jì)算力量作為技術(shù)支撐。
湯子楠在演講中重點(diǎn)介紹了阿里***規(guī)模混合云架構(gòu)、異地多活技術(shù)、自研數(shù)據(jù)庫OceanBase、https加密技術(shù)、云上商家系統(tǒng)聚石塔、大數(shù)據(jù)處理引擎ODPS等等,展示了阿里巴巴強(qiáng)大的底層技術(shù)研發(fā)實(shí)力。
阿里云資深專家湯子楠
湯子楠表示,今天阿里內(nèi)部的計(jì)算能力正通過阿里云向外界開放,越來越多的合作伙伴也從阿里的技術(shù)中受益,服務(wù)于更多的客戶。
全球***規(guī)?;旌显萍軜?gòu)實(shí)踐
湯子楠介紹,今年雙11阿里巴巴把淘寶、天貓私有云機(jī)房與阿里云公共云機(jī)房連在一起,打造了全球***的混合云架構(gòu)。淘寶和天貓的交易鏈條和支付寶核心支付鏈條的部分流量,直接切換到阿里云的公共云計(jì)算平臺上。通過將公共云和專有云無縫連接的模式,全面支撐雙11。
因此,今年雙11成為了一場全球***規(guī)模的混合云彈性架構(gòu)實(shí)踐。阿里巴巴也成為全球大型互聯(lián)網(wǎng)公司中,***將核心交易系統(tǒng)放在云上的企業(yè)。阿里云也成為***家有能力支撐核心交易系統(tǒng)的云服務(wù)商。
上云之后,阿里巴巴能夠充分利用云計(jì)算的彈性優(yōu)勢,隨時調(diào)度資源。而在雙11之后,又能快速歸還資源到公共計(jì)算池,避免高峰期過后的閑置浪費(fèi)。正是基于此,系統(tǒng)成功應(yīng)對了當(dāng)天14萬筆/秒的交易創(chuàng)建峰值,和8.59萬筆/秒的支付峰值。
會議當(dāng)天,阿里云與國內(nèi)***的第三方高等級數(shù)據(jù)中心服務(wù)商萬國數(shù)據(jù)(GDS)達(dá)成戰(zhàn)略合作,共同推出云計(jì)算技術(shù)服務(wù)平臺CloudMix,打造企業(yè)級混合云數(shù)據(jù)中心,推出多個垂直領(lǐng)域的企業(yè)級混合云解決方案和混合云服務(wù),重構(gòu)企業(yè)級云生態(tài)。
今年6月份,阿里云還同全球***的數(shù)據(jù)存儲服務(wù)商N(yùn)etApp達(dá)成混合云合作。雙方共同開發(fā)適用于阿里云的NetApp私有存儲(NetApp Private Storage,簡稱NPS)。客戶可借此完成混合云搭建,并實(shí)現(xiàn)數(shù)據(jù)的無縫管理。
異地多活:超越傳統(tǒng)災(zāi)備
去年雙11,阿里巴巴在全球首創(chuàng)交易系統(tǒng)“異地雙活”,而今年有了更大的突破:在支付寶這樣高度復(fù)雜與嚴(yán)謹(jǐn)?shù)慕鹑谙到y(tǒng)中,實(shí)現(xiàn)1000公里以上的“異地多活”能力。
湯子楠介紹,“異地多活”已經(jīng)超越了兩地三中心等傳統(tǒng)災(zāi)備概念,可實(shí)現(xiàn)多地?cái)?shù)據(jù)中心像一個數(shù)據(jù)中心一樣工作,即使某一處數(shù)據(jù)中心出現(xiàn)故障,雙11在線業(yè)務(wù)仍然能夠快速恢復(fù)正常運(yùn)轉(zhuǎn)。
公開資料顯示,全球能夠做到異地多活技術(shù)的只有少數(shù)幾家互聯(lián)網(wǎng)巨頭,如Google、Facebook。但二者的搜索、社交場景對數(shù)據(jù)同步性的要求遠(yuǎn)不如交易、支付場景苛刻。
同時,阿里巴巴正在將這一過程中積累的技術(shù)逐步開放。比如,可以在較長延時的情況下解決多點(diǎn)數(shù)據(jù)同步的技術(shù),已經(jīng)通過阿里云數(shù)據(jù)傳輸產(chǎn)品(Data Transmission)對外開放,能夠讓云用戶輕松實(shí)現(xiàn)遠(yuǎn)距離、毫秒級異步數(shù)據(jù)傳輸。
OceanBase: 中國自研數(shù)據(jù)庫
今年雙11的核心交易流量,100%由金融級海量數(shù)據(jù)庫OceanBase承載。這一事件將對全球IT業(yè)的格局產(chǎn)生深遠(yuǎn)影響。
OceanBase由阿里巴巴自主研發(fā),是中國***具有自主知識產(chǎn)權(quán)的數(shù)據(jù)庫,也是全球***應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫。
OceanBase 2010年誕生,2014年支撐了10%的雙11交易流量。今年6月,網(wǎng)商銀行開業(yè),底層數(shù)據(jù)庫全部采用OceanBase,是***家完全擺脫商業(yè)數(shù)據(jù)庫的金融機(jī)構(gòu)。
與傳統(tǒng)數(shù)據(jù)庫相比,OceanBase的系統(tǒng)維護(hù),不需要昂貴的共享存儲設(shè)備和高性能服務(wù)器,還能節(jié)省數(shù)據(jù)庫軟件的許可費(fèi),和常用的商業(yè)數(shù)據(jù)庫相比,成本不到其一半。同時,分布式的系統(tǒng),可以更好地應(yīng)對雙11這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴(kuò)容、大促之后實(shí)現(xiàn)一鍵縮容。
OceanBase目前已上線公測,計(jì)劃明年通過阿里云的公共云計(jì)算平臺對外界大規(guī)模開放。
聚石塔:商家可日處理400萬訂單
在傳統(tǒng)模式下,淘寶商家做促銷時要進(jìn)行服務(wù)器擴(kuò)容,小賣家要去電腦城買幾臺機(jī)器扛回家,大賣家則需要臨時尋找IDC資源,在應(yīng)對了促銷節(jié)點(diǎn)之后,業(yè)務(wù)量回落,服務(wù)器又會閑置無用,造成了很大浪費(fèi)。通過阿里云聚石塔,商家可隨時擴(kuò)容和釋放服務(wù)器資源。
2012年開始,聚石塔以阿里云為基礎(chǔ)推出一整套的解決方案,為天貓、淘寶平臺上的服務(wù)商及商家服務(wù)。聚石塔部署在阿里云的遠(yuǎn)程數(shù)據(jù)中心中,安全條件、穩(wěn)定性、性能遠(yuǎn)超過商家的辦公環(huán)境和傳統(tǒng)IDC,針對設(shè)備故障,斷網(wǎng)斷電等均有應(yīng)急預(yù)案。
2014年,聚石塔處理了96%的雙11訂單,無一故障、無一漏單。2015年,通過云計(jì)算系統(tǒng)的優(yōu)化,中間件能力的使用,服務(wù)商應(yīng)用系統(tǒng)整體性能比之前提升62%,能支持單個商家每天400萬以上的訂單處理能力。
ODPS:數(shù)據(jù)狂歡背后的超強(qiáng)計(jì)算引擎
今年雙11,無線端的交易將占主導(dǎo)地位。如何利用阿里巴巴存儲的數(shù)百PB數(shù)據(jù),在狹小的手機(jī)屏幕為用戶創(chuàng)造更智能化的購物體驗(yàn)?這一切都將通過阿里云自主研發(fā)的大數(shù)據(jù)處理平臺ODPS來計(jì)算。
湯子楠表示,淘寶、天貓、支付寶、菜鳥等所有大數(shù)據(jù)處理工作,都由阿里云ODPS來完成。在剛剛結(jié)束的2015世界Sort Benchmark排序比賽中,阿里云ODPS用377秒完成了100TB的數(shù)據(jù)排序,打破了此前Apache Spark創(chuàng)造的1406秒紀(jì)錄,一舉創(chuàng)造4項(xiàng)世界紀(jì)錄。
此外,ODPS的實(shí)時計(jì)算系統(tǒng)StreamSQL,雙11當(dāng)天預(yù)計(jì)日消息處理量達(dá)上萬億條。而這一能力,正在通過阿里云逐步開放出來。
dataV:實(shí)時觸摸數(shù)據(jù)世界的脈搏
在阿里巴巴每天海量的交易面前,如何精準(zhǔn)把握由數(shù)據(jù)脈搏帶來的趨勢也成為極大的挑戰(zhàn)。對此,阿里巴巴研發(fā)了dataV數(shù)據(jù)可視化引擎,該引擎完全基于Web技術(shù),可快速、低成本的部署。用于內(nèi)部的商品、交易、支付、數(shù)據(jù)中心等的可視化呈現(xiàn)和管理,幫助實(shí)現(xiàn)更精準(zhǔn)的調(diào)控。
自2013年起,雙11交易數(shù)據(jù)大屏成為對外直播狂歡節(jié)的重要窗口。2015年的雙11全球狂歡節(jié)上,這一巨型數(shù)據(jù)大屏移植到水立方,以實(shí)時動態(tài)可視圖的方式向全球用戶直播雙11的數(shù)據(jù)魅力。
目前,這一技術(shù)已計(jì)劃通過阿里云向外輸出,很快將會有標(biāo)準(zhǔn)化產(chǎn)品推出。
全站Https加密 保全球用戶訪問安全
為提供更安全快速的訪問體驗(yàn),阿里云今年在全球部署CDN的國家和地區(qū)增加到30多個,覆蓋除南極洲外的六大洲,可從容應(yīng)對越來越多的海外用戶同時訪問。在國內(nèi),阿里云擁有近500個CDN節(jié)點(diǎn),帶寬服務(wù)能力超10Tbps,實(shí)現(xiàn)毫秒級響應(yīng)。
不僅要快,還要安全,阿里云CDN為保障此次雙11狂歡節(jié),幫助淘寶、天貓、聚劃算等阿里電商平臺全面實(shí)現(xiàn)了HTTPS加密訪問,能有效防止資源被劫持,使用戶端與服務(wù)器之間收發(fā)的信息傳輸更加安全。據(jù)悉,這也是全球首家大型電商網(wǎng)站實(shí)現(xiàn)全站Https加密訪問。
湯子楠表示,阿里云目前正在全球部署云計(jì)算節(jié)點(diǎn),希望阿里巴巴的計(jì)算能力不僅服務(wù)中國客戶,還能服務(wù)全世界。目前阿里云在北京、青島、杭州、深圳、中國香港以及新加坡、美國西部建有云計(jì)算機(jī)房,明年將進(jìn)一步加速國際化部署,在日本、迪拜、俄羅斯、歐洲以及在美國東部繼續(xù)拓展。