11.11求愛戰(zhàn)之京東的告白:技術(shù)控給你三大保障
原創(chuàng)又是一年11.11。我知道你和我一樣,從沒有一個時刻如昨晚不希望被人打擾。長期以來,在各大電商一次次的瘋狂示愛中,11.11對于單身狗們來說,“搶單”已經(jīng)遠遠比“脫單”重要。面對早就心甘情愿等剁手的消費者,京東這位電商領域的技術(shù)控究竟擺好了怎樣的姿勢,在今年這場電商求愛戰(zhàn)中殺出重圍呢?
帶著這些問題,51CTO云計算頻道記者采訪了京東集團高級副總裁、研發(fā)體系負責人張晨,京東集團京東云平臺***架構(gòu)師、系統(tǒng)技術(shù)部負責人劉海鋒,京東集團商城研發(fā)部交易平臺總監(jiān)王曉鐘和以及京東集團研發(fā)部研發(fā)總監(jiān)楊光信。下面就讓我們一起看看京東技術(shù)團的眾男神,是如何在昨晚點燃你的欲望和激情。
張晨:我會給你最想要的,即使錯了,60秒內(nèi)我馬上改
張晨提到,為打好今年的11.11戰(zhàn)役已經(jīng)做好了充足的準備。通過技術(shù)支撐為用戶創(chuàng)造更好的體驗和價值,是京東人的使命。為了不影響用戶的正常訪問,各團隊已經(jīng)利用無數(shù)個夜晚進行壓力測試:150多場聯(lián)合軍演、1500多套應急方案保證用戶體驗,使京東有信心保證,無論出現(xiàn)任何問題都可以在一分鐘內(nèi)迅速恢復。
今年11.11京東技術(shù)研發(fā)體系的三把亮劍分別是“諾亞方舟計劃、多中心交易和京東大腦”。
諾亞方舟扛起突發(fā)流量。諾亞方舟計劃是指京東整個業(yè)務完成向云平臺的全面遷移。張晨告訴我們,今年雙十一的彈性云集群比618時的集群規(guī)模增加了5倍多,并且運行了世界罕見的6萬個Docker集群,來保證在突發(fā)流量下系統(tǒng)能夠?qū)崿F(xiàn)快速擴容,輕松應對商品秒殺、商品詳情頁等場景下的壓力,為整個技術(shù)體系提供良好支撐。
多中心交易讓用戶就近快速訪問。目前,京東***期多中心交易項目已經(jīng)正式投入使用,通過機房間的連接解決交易問題,實現(xiàn)同城機房多活。另外張晨還透露,預計在明年雙十一,京東會完成真正的多中心交易,實現(xiàn)異地多活,完全是任何的機房出現(xiàn)災難都沒問題。將來會通過多個中心,讓用戶就近訪問,進一步提高用戶體驗。
京東大腦讀懂用戶的個性化需求。京東非常強調(diào)運營***效率的實現(xiàn)。如何使用戶能夠最快得到想要的產(chǎn)品,這里面涉及到怎樣做庫存減少,怎樣能夠減少拆單,怎樣把庫存前置,能夠分布到新開的區(qū)域內(nèi)等等。京東大腦就是要利用小區(qū)畫像、用戶畫像、商品畫像等手段,深度剖析用戶需求,從而做到精準營銷。通過京東大腦,無論是從庫存管理還是到管理前端,就東都希望用數(shù)據(jù)來幫助每一位用戶,這將是一個長線的項目。
對于這三大法寶如何在雙十一戰(zhàn)役中發(fā)揮價值,三位技術(shù)負責人分別做了更加深入的闡釋。
彈性云:你要穩(wěn)定的基礎,我懂
劉海峰是京東彈性云平臺的***架構(gòu)師,主要負責云平臺的技術(shù)研發(fā)和云體系的建設。他說到,隨著京東的快速發(fā)展,物理服務器、數(shù)據(jù)中心越來越多。為了更好的管理數(shù)據(jù)中心和服務資源,并且向上能夠?qū)I(yè)務有更好的應用體驗,從今年春節(jié)后開始,京東啟動了諾亞方舟換底計劃。
劉海峰告訴記者,京東的云平臺基于OpenStack和Docker打造,自主研發(fā)數(shù)據(jù)中心存儲技術(shù)并自建CDN,更好地應對突發(fā)流量的情況。截至目前,京東自有數(shù)據(jù)中心已有非常大的規(guī)模集群,并且對外的業(yè)務交互有將近10萬級別的Docker的體系識別,使資源隨業(yè)務需求的靈活調(diào)整,大幅縮短生產(chǎn)上線和申請資源的周期,***程度提高生產(chǎn)效率。并使公司整體的運營體系更加明確。
劉海鋒透露,618時私有云體系建設不到半年的時間,還比較年輕,但已經(jīng)有了非常亮眼的表現(xiàn)。而在11.11,云平臺又實現(xiàn)了一次質(zhì)的飛躍,將承擔100%的業(yè)務流量。這樣一來,結(jié)合多年來的實踐經(jīng)驗,業(yè)務系統(tǒng)會根據(jù)11.11當天的使用情況、流量、資源占用等做出實時響應和調(diào)整,使得各個業(yè)務之間的資源分配能夠更合理的利用,對業(yè)務做全自動的拓展。比如有一個業(yè)務進行秒殺可以點一個按紐,立刻把資源準備好,秒殺會把資源收回來。從另外一個角度來說,可以實現(xiàn)對資源的快速搜索,橫向地把實例減少,或者實例數(shù)不變,原來是16核CPU,把多余的資源拿過來。
對于業(yè)務的全面上云對原有的基礎架構(gòu)提出巨大挑戰(zhàn)這個問題,劉海峰表示這只是一方面,針對新的基礎架構(gòu)、新的機房、新的軟件,原有業(yè)務邏輯分較分散的系統(tǒng)都要進行重新梳理和整合,許多十多年的系統(tǒng)都要按照新的數(shù)據(jù)庫里,使新老機房都可以靈活的配比,這個完成數(shù)量的挑戰(zhàn)是更大的。
在京東全面云化的過程中,劉海峰從技術(shù)層面總結(jié)出了幾點經(jīng)驗。
首先是在整個機房基礎設施建設方面。這不易在于懂機房、懂數(shù)據(jù)中心建設這些方面的人才匱乏,許多經(jīng)驗需要自己摸索。劉海峰建議,各個互聯(lián)網(wǎng)公司應該聯(lián)合起來獲得經(jīng)驗。
第二,對于整個技術(shù)平臺來說,為了迎接更大的業(yè)務規(guī)模和發(fā)展,需要提前做很多工作。因為不同的階段會遇見不同的問題,因此應該將基礎架構(gòu)每一個項目都看作是長期的項目來完成,提前規(guī)劃好,這樣才不至于被動,不至于追在業(yè)務發(fā)展的后面去配合。
第三,要緊扣業(yè)務的需求跟業(yè)務合作幫助業(yè)務做一個基礎架構(gòu)的改革,而不是一成不變地將管理作為手段,更多的要通過大家的認可形成口碑效應。
#p#
多中心交易:你要更快的體驗,我懂
京東集團商城研發(fā)部交易平臺總監(jiān)王曉鐘表示,目前京東的交易流量規(guī)模和數(shù)據(jù)是以前的好幾倍,所以不同于往年,這一次京東通過多中心交易與諾亞方舟計劃的結(jié)合,對基礎架構(gòu)進行了重大改造,將整個交易的流量和數(shù)據(jù)分布到多個中心進行。整個交易從數(shù)據(jù)層面來說,可以分為用戶的數(shù)據(jù)和商家的數(shù)據(jù)。用戶的數(shù)據(jù)比如說用戶購物車的數(shù)據(jù)、訂單數(shù)據(jù)。商家的數(shù)據(jù)包括商家的商品、促銷,以及商家的庫存。
目前,所有的商家數(shù)據(jù)都已經(jīng)實現(xiàn)同城熱備。按照一定的比例和流量,在機房間承載流量。這樣做有有兩個好處。一是系統(tǒng)吞吐量直接翻倍;二是如果發(fā)生單邊數(shù)據(jù)丟失或者短時間不可寫這些因素導致的發(fā)生,也能通過其他機房頂起來。
對于用戶數(shù)據(jù),比如說用戶訂單的數(shù)據(jù),目前以冷備的形式存儲,就是用戶訪問機房A這些數(shù)據(jù)的時候,有可能流量會回到冷備機房B。
對于兩種備份策略的結(jié)合,王曉鐘解釋到,熱備的好處有兩點。***熱備高可用比冷備強。第二熱備非常穩(wěn)定。第三在軟件成本上面,熱備的成本要比冷備要低。但是熱備對軟件架構(gòu)的挑戰(zhàn)特別大。具體表現(xiàn)在:
- 數(shù)據(jù)不一致:寫數(shù)據(jù)時如何保證雙邊一致性是很大的問題。
- 集群規(guī)模:熱備的集群規(guī)模要很大。整個交易系統(tǒng)是逐漸發(fā)展的過程,最開始的適合軟件架構(gòu)還不成熟。冷備的集群規(guī)模可以做的小一點。
- 線上高可用需求不統(tǒng)一。隨著交易量的增大,架構(gòu)要跟著不同的系統(tǒng)要求做不同的變化。
根據(jù)以往的經(jīng)驗來預測,王曉鐘對今年雙十一進行了平時所有時間峰值的20倍做系統(tǒng)的流量規(guī)劃,來保證用戶訪問的良好體驗。
談及京東交易系統(tǒng)與云平臺的關系,王曉鐘表示整個京東的交易架構(gòu)來說是一個很復雜很龐大的集群。云平臺就像是在底層鋪路,提供穩(wěn)定性和基礎框架。整個的交易系統(tǒng)是跑在基礎平臺之上的,二者相輔相成。不存在那種脫離了實際系統(tǒng)穩(wěn)定,也不可能說系統(tǒng)架在一個很大的底層建筑之上。
京東大腦:你要***的自己,我懂
京東集團研發(fā)部研發(fā)總監(jiān)楊光信用“一二三四”對京東大腦進行了立體解讀,即一個目標,兩個主要問題,三大主體和四個技術(shù)層面。
一個目標——京東大腦。就是說用人工智能或者叫AI的技術(shù)去提高京東或者是拿到電商的運營效率,為京東帶來巨大優(yōu)勢。
兩個主要的問題——連接用戶和商品。如何讓用戶最快的找到它最合適的商品,這是一個永恒的話題。第二個就是反過來講有了商品,怎樣通過線上線下的共同努力,怎樣讓他找到最適合他應用的消費者。
三大主體——用戶、供應商、電商平臺。找到三者間的平衡,為京東用戶提供個性化的體驗,為供應商提供精準營銷及產(chǎn)品設計的方案,以及為京東平臺優(yōu)化倉儲、配送、售后等方面的效率。
四大技術(shù)層面——
***個技術(shù)層面是數(shù)據(jù)。楊光信自信地表示,京東的數(shù)據(jù)質(zhì)量在電商行業(yè)里是很難企及的。因為京東絕大部分是用戶交易自己完成的行為,避免刷單等數(shù)據(jù)的產(chǎn)生。基于這些準確的數(shù)據(jù)對用戶進行精準畫像,描述用戶各種自然的比如說性別、年齡和購買偏好、購買力等,使不同的用戶群體共同的特征表征出來,為用戶提供送達更加精準的服務。
第二個層次是模型。京東大腦基本的功能是指導業(yè)務的判斷和決策。在電商各種各樣的應用場景里需要很多的功能,本質(zhì)上呈現(xiàn)的都是用戶在打開京東首頁看到商品列表時,特別在手機用戶屏幕是有限的情況下,根據(jù)各種不同的排序,使用戶***時間能看到他真正想要的。
排序的因素有很多很多種,京東今天用到的因素大概有幾百種這。為了實現(xiàn)綜合排序的功能,需要在機器學習方面做大量的工作。怎樣利用用戶在京東網(wǎng)站上留下的數(shù)據(jù)建立相應模型,對單個模型進行預測,利用數(shù)據(jù)優(yōu)化采銷等等方面的流程。這實際上是第二個層面就是說機器學習的模型。
第三個層面是系統(tǒng)。有了這些數(shù)據(jù),建立好之后模型,如何通過機器把各種不同的因素綜合起來,幫助人來尋找一個***捷的方式,進行高性能的計算讓系統(tǒng)變得更加智能,滿足不同的業(yè)務需求。
第四個層面是在系統(tǒng)模型的基礎上搭出來的各種應用,解決用戶痛點和平臺運營痛點。比如說如何幫助供應商為新開發(fā)出的產(chǎn)品尋找用戶。有了用戶方向和數(shù)據(jù),系統(tǒng)可以對會對產(chǎn)品感興趣的用戶,發(fā)放一些試用品或者發(fā)放一些優(yōu)惠券,達到吸引用戶的目的。在這基礎如何能夠有針對性地在大量用戶中進行篩選,提高轉(zhuǎn)化率,就要借助于上面提到的數(shù)據(jù)、模型、系統(tǒng)等等去解決問題。
對于京東大腦發(fā)揮價值的背后,楊光信說實際上是依靠京東十幾年在數(shù)據(jù)、業(yè)務需求等方面的積累,以及在技術(shù)存儲備上堅實的基礎,順勢而為的一件事情。
滿足用戶需求是我們的興奮劑
***,讓我們用張晨對中國電商快速發(fā)展的推動因素分析來結(jié)尾。他說,在中國有兩個特點成就了電商的快速發(fā)展,一是中國人口密集度特別大,這也從客觀條件上也讓京東能夠快速做大做強。二是相較于西方發(fā)達國家完善的線下商業(yè)模式,中國的電商更能針對于用戶體驗上做出創(chuàng)新。這兩點決定了中國電商的巨大機會,真正幫中國老百姓提高生活質(zhì)量。