專訪京東搜索部總監(jiān):雙十一能夠從容應(yīng)對的背后
原創(chuàng)11.11,又被稱為光棍節(jié),似乎不少用戶都會將自己的‘怨念’化為消費的欲望,又似乎只有消費的快感才能滿足這特殊日子那‘孤獨的靈魂’。但不知各位發(fā)覺沒有,在這消費的節(jié)日,京東與平時瀏覽起來并無差異。我猜沒有,畢竟多數(shù)人都沉浸在購物的快感和滿足感當(dāng)中。
回想前幾年,在類似的日子里,服務(wù)器宕機、頁面無法加載現(xiàn)象頻頻出現(xiàn)。而這類現(xiàn)象在今年卻并未發(fā)生,所以不僅讓我們產(chǎn)生一個疑問,在用戶在瘋狂的進行流暢瀏覽、搜索、下單的背后,究竟是什么樣的設(shè)備與架構(gòu)才能支撐住如此龐大的流量。為此我們特意采訪京東營銷研發(fā)部零售平臺架構(gòu)師與推薦搜索部總監(jiān),他們給出了以下答案。
營銷研發(fā)部零售平臺負(fù)責(zé)內(nèi)容
對于大多用戶來說,雙十一當(dāng)天關(guān)注最多的便是商品交易環(huán)節(jié),在交易的背后還有一個最重要的環(huán)節(jié),便是拆單與后續(xù)的生產(chǎn),而這塊的服務(wù),全是由京東營銷研發(fā)部零售平臺負(fù)責(zé)。
在采訪京東商城技術(shù)研發(fā)體系營銷研發(fā)部零售平臺架構(gòu)師蔣佳濤時,他對這個平臺職責(zé)進行了一個介紹,主要分為:
京東商城技術(shù)研發(fā)體系營銷研發(fā)部零售平臺架構(gòu)師——蔣佳濤
1.從用戶下單角度來說,用戶在前臺網(wǎng)站下了訂單提交之后看到的就是交易體系這塊,交易下單后的生產(chǎn)流程目前是零售平臺訂單生單體系負(fù)責(zé)。
2.用戶在網(wǎng)上下單后,訂單進行拆單,例如一個訂單下了多個商品,訂單會被拆成多個紙單。后續(xù)的生產(chǎn)(如211、411、限時達配送)訂單履約時效上也是這個系統(tǒng)和外圍系統(tǒng)進行配合,負(fù)責(zé)訂單生產(chǎn)計劃的流程。
3.當(dāng)拆單過后會生成紙單,此時這個訂單就真正生成了,這部分和交易有些關(guān)系,后面就進入了訂單生產(chǎn)體系的流程。訂單進入庫房生產(chǎn)之前,還會對訂單進行二次加工(如提供發(fā)票數(shù)據(jù)、面單數(shù)據(jù)、用戶數(shù)據(jù)、如何定位、如何派車這些環(huán)節(jié)也在這個體系完成)。隨后才會將相關(guān)信息下發(fā)到庫房,庫房人員進行生產(chǎn)。
4.當(dāng)單子在庫房真正進行生產(chǎn)時,前臺用戶想要看到訂單(打包、配送信息)信息的回傳。
5.當(dāng)配送完成后,用戶想要取消、退款。
此外生產(chǎn)體系的全景監(jiān)控能夠快速定位哪一個環(huán)節(jié)出了問題,對客服和用戶都有一個良好的反饋。
從訂單的下單到生產(chǎn)再到最后的完成,營銷研發(fā)部零售平臺主要參與拆單以及除了生產(chǎn)之外的其余部分的信息流轉(zhuǎn)過程。
無需直接面對用戶,限流輔助兄弟團隊
這個流程雖然看似沒有交易重要,但雙十一的大量訂單,也會讓生產(chǎn)體系壓力倍增。對于京東來說,拆分服務(wù)屬于零級系統(tǒng),單子一旦無法拆分,便意味著生產(chǎn)與配送無法完成,在可控因素下造成的貨物無法及時送達,會讓用戶體驗直線下降。
在采訪蔣佳濤時得知:“這個體系與交易系統(tǒng)相同,從硬件研發(fā)、技術(shù)架構(gòu)升級、團隊管理等方面做了新的整合。6.18后便針對生產(chǎn)體系的系統(tǒng)進行重新架構(gòu)梳理,把處理量級提升至億萬級訂單處理量,達到這樣一個量級的分布式訂單處理系統(tǒng)。”
(關(guān)于交易系統(tǒng)部分的優(yōu)化,詳見為了雙十一,你知道京東都做了什么嗎? )
以往京東交易的文本數(shù)據(jù),在下單過程時,文本就是用戶的原始單,這塊有大量數(shù)據(jù)要處理?,F(xiàn)今使用了京東自主研發(fā)的文件處理系統(tǒng),以前是放到Oracle數(shù)據(jù)庫當(dāng)中,但隨著單量的增長,數(shù)據(jù)庫大文本處理能力并不是很高,京東研發(fā)的GFS分布式文件處理系統(tǒng),在高并發(fā)小文件處理能力很高,非常適合京東的應(yīng)用場景(針對交易來說,雖然數(shù)量比較多,但大多都是10K左右的小文件)。
此外在數(shù)據(jù)庫架構(gòu)升級方面,從以前的MySQL、Oracle庫調(diào)到Oracle庫中進行分庫。
之前介紹過的交易系統(tǒng)雖被比喻為一輛‘跑車’,但生產(chǎn)體系并不需要如此快速,生產(chǎn)作為一個主導(dǎo)系統(tǒng)能夠?qū)ο掠蜗到y(tǒng)進行很好的限流、限速、泄洪,幫助兄弟團隊緩解壓力。
說起交易與訂單,相必很多人都有所了解,但我們還忽略了一個重要性環(huán)節(jié)——搜索,沒有搜索環(huán)節(jié)我們無法看到最近瀏覽、之前購買、關(guān)注過的商品等信息,而很多人認(rèn)為只是一個搜索而已,對于雙十一并沒有太大影響,其實不然。
#p#
推薦搜索部的壓力
首先我們要知道京東推薦搜索部門負(fù)責(zé)的內(nèi)容是京東平臺、移動平臺、微信購物平臺的搜索引擎和推薦系統(tǒng)。同時這幾個平臺搜索引擎都是由這個部門負(fù)責(zé)研發(fā)底層搜索導(dǎo)航以及類目導(dǎo)航服務(wù)。并且隨著移動互聯(lián)網(wǎng)時代的來臨,移動端搜索量已經(jīng)反超PC端,對于搜索部門來說更是一項挑戰(zhàn)。
據(jù)京東商城技術(shù)研發(fā)體系推薦搜索部總監(jiān)劉尚堃介紹:“雙十一流量比較大,為了能夠從容面對,此次主要做了擴容、接口降級。主要通過增加搜索引擎的服務(wù)器,按照6倍以上的量去預(yù)估與擴容。在采訪中得知:“以目前來看雙十一是6.18的一倍,根據(jù)6.18一倍的量去進行預(yù)估,加上考慮到攻擊等不穩(wěn)定因素,所以才會預(yù)估6倍這樣一個量級。”
京東商城技術(shù)研發(fā)體系推薦搜索部總監(jiān)劉尚堃
搜索引擎能夠展示庫存,如果庫存過慢,這時便會庫存進行一個展示的降級。此外如果搜索引擎遭受到了攻擊,便會有針對iP和Cookie的限流。限流主要針對機器或是惡意攻擊進行限流,對單個iP閥值設(shè)置很高,用戶正常行為完全能夠放過。限流也只是當(dāng)搜索引擎出現(xiàn)異常,網(wǎng)絡(luò)硬件比較高時才會開啟,平時一直處于關(guān)閉狀態(tài)。
之所以平時處于關(guān)閉狀態(tài)也得力于平時的演練,當(dāng)網(wǎng)絡(luò)訪問量較少時,采用PC去復(fù)制一些流量去測試最大限度的吞吐量,再通過分布式索引,保證了高峰時期的正常使用。
同時為了以防網(wǎng)絡(luò)出現(xiàn)故障,京東特意做了一些調(diào)整,其中包括多機房容災(zāi)、多機房入口存活以及緩存調(diào)整。雙十一不光是對性能和系統(tǒng)方面的考驗,整個網(wǎng)絡(luò)和網(wǎng)絡(luò)架構(gòu)因素也需要充分考慮進來,以保證在極端情況下,搜索引擎也能夠存活。”
據(jù)京東商城技術(shù)研發(fā)體系推薦搜索部總監(jiān)劉尚堃透露:“就算搜索引擎服務(wù)全部掛掉,也會有一套兜底KV服務(wù),將所有的類目和關(guān)鍵詞97%以上進行KV緩存。”
PC與移動端的兩面優(yōu)化
上述也說過,移動互聯(lián)網(wǎng)時代,移動端帶來的流量已經(jīng)不容小覷,所以在保證搜索引擎能夠存活的前提下,移動端與PC端的優(yōu)化也成了重中之重,一個人性化與美觀的界面才能夠捕獲用戶的放心。
但移動端又有一個天生的弊端,便是屏幕展示有限,所以京東做了一些個性化的調(diào)整,如針對地域也會做一些個性化的搜索,不過雙十一期間,個性化耗費的性能比較高,并沒有進行開啟。據(jù)透露,這部分會在雙十一之后投入使用。
PC端也優(yōu)化了個性化搜索,比如用戶最近瀏覽、之前購買、關(guān)注過的商品在排序方面會有一些基于用戶行為、實施偏好的調(diào)整。未來京東還會考慮基于社交關(guān)系的調(diào)整,例如微信社交關(guān)系鏈的數(shù)據(jù)使用(朋友,以及朋友的朋友都購買過什么會有標(biāo)注)。
雖然移動端調(diào)用了搜索后臺,但移動端會有一些工具干預(yù),跟PC端搜索結(jié)果部分會有差異,運營人員會在移動端排序結(jié)果方面有一些處理。
這些個性化搜索的引入,全部歸功于用戶所有搜索行為、在全站的行為數(shù)據(jù)都會做成用戶的長期偏好和實施偏好,每千次搜索產(chǎn)生的GMV以及搜索的用戶轉(zhuǎn)化率,使用搜索下單的UV除以使用搜索的UV數(shù)值以及首頁點擊率為判定標(biāo)準(zhǔn)。同時搜索后的一系列點擊也會影響后續(xù)的商品排序,做成點擊預(yù)測和CTR、CBR預(yù)測。
此外針對標(biāo)類(京東自營為主的產(chǎn)品,標(biāo)類有明確的規(guī)格,例如三星系列筆記本電腦)和非標(biāo)類(第三方商家的商品,如錢包、鞋帽、禮品主要以開放平臺為主)的排名搜索引擎均是同等對待。
和交易部門相同,京東營銷研發(fā)部零售平臺與推薦搜索部唯一的擔(dān)心依舊是怕流量不夠多。而能夠讓內(nèi)部能夠從容應(yīng)對雙十一的背后,全依賴于6.18之后的軟硬件兩個維度的備戰(zhàn),可以說相比去年,無論在系統(tǒng)架構(gòu)方面還是贏家方面以及團隊方面,都進行了全面升級。所以這時不禁會讓我們產(chǎn)生一個遐想,明年的雙十一,京東內(nèi)部又將有什么樣的升級以及解決方案來給我們進行分享,想想似乎都有些小期待呢。