WOT2015何岳娟:數(shù)據(jù)分析助電商笑對(duì)用戶蜂擁而至這件好事
原創(chuàng)許多電商平臺(tái)都會(huì)經(jīng)歷相似的過程:流量和業(yè)績(jī)每年以幾倍至十幾倍的速度增長(zhǎng);瞬間訪問量可能是平時(shí)的幾十倍;網(wǎng)絡(luò)帶寬被占滿,用戶響應(yīng)很慢;機(jī)器負(fù)載高甚至宕機(jī);數(shù)據(jù)庫(kù)壓力過大導(dǎo)致服務(wù)不可用……
大數(shù)據(jù)技術(shù)的發(fā)展引發(fā)眾多電商架構(gòu)師思考,在面對(duì)用戶蜂擁而至這件好事,如何在海量數(shù)據(jù)處理中實(shí)時(shí)發(fā)現(xiàn)有效信息,為構(gòu)建穩(wěn)定高效的系統(tǒng)架構(gòu)設(shè)計(jì)提供指導(dǎo)。在【W(wǎng)OT2015"互聯(lián)網(wǎng)+"時(shí)代大數(shù)據(jù)技術(shù)峰會(huì)】 現(xiàn)場(chǎng),魅族電商平臺(tái)高級(jí)架構(gòu)師 何岳娟就魅族電商平臺(tái)架構(gòu)變遷之路的經(jīng)驗(yàn)和體會(huì)和51CTO記者進(jìn)行交流。
高速發(fā)展下的問題
何岳娟告訴記者,魅族電商架構(gòu)分為四個(gè)層級(jí):
- 業(yè)務(wù)層:第三方天貓,京東,蘇寧與官網(wǎng)的商城及APP;
- 業(yè)務(wù)服務(wù)層:交易,新品發(fā)布,手機(jī)導(dǎo)購(gòu),推薦服務(wù)為各平臺(tái)提供營(yíng)銷策略;
- 基礎(chǔ)服務(wù)層:訂單,用戶,支付,庫(kù)存,圖片等為業(yè)務(wù)服務(wù)與營(yíng)銷層提供基本的服務(wù)點(diǎn);
- 據(jù)層存儲(chǔ)層:MySQL, NoSQL, MQ , HBase以及一些分布式文件系統(tǒng)
基于這四個(gè)層級(jí)產(chǎn)生的數(shù)據(jù)建立分析平臺(tái), 對(duì)用戶行為用戶需求進(jìn)行分析。
隨著魅族近兩年的發(fā)展,用戶對(duì)其電商平臺(tái)的關(guān)注度越來越高,用戶增長(zhǎng)速度非???。在享受這種進(jìn)步的同時(shí),平臺(tái)性能也在經(jīng)歷嚴(yán)峻考驗(yàn)。談及貫穿平臺(tái)架構(gòu)變遷之路的指導(dǎo)思想,何岳娟將提升高可用、高并發(fā)、容災(zāi)性三個(gè)能力的提升視為核心,來實(shí)現(xiàn)對(duì)網(wǎng)站穩(wěn)定性能的保障。搶購(gòu)場(chǎng)景中LVS崩潰、DDoS攻擊、刷單帶來的高并發(fā)以及搶購(gòu)時(shí)服務(wù)器如何實(shí)現(xiàn)快速擴(kuò)容等,都是在業(yè)務(wù)高速發(fā)展下迫切需要解決的問題。
變遷之路繞了哪些遠(yuǎn)
在針對(duì)這些問題進(jìn)行平臺(tái)架構(gòu)變遷的過程中,何岳娟和魅族技術(shù)團(tuán)隊(duì)曾經(jīng)也走過許多彎路。比如說之前用GLSB、OSPF、智能DS分發(fā)解決數(shù)據(jù)容災(zāi)問題。但采用OSPF時(shí),要對(duì)整個(gè)機(jī)房交換部署模式進(jìn)行變?cè)?,影響非常大。而且,OSPF也并不能很好地解決魅族電商平臺(tái)高并發(fā)故障遷移的問題。
這是因?yàn)樵谠庥龈卟l(fā)時(shí),LS、分發(fā)服務(wù)器不保證不會(huì)崩潰,一旦崩潰,轉(zhuǎn)給其他的分發(fā)服務(wù)器,其他的分發(fā)服務(wù)器也不具備承受能力。魅族后來直接放棄了這個(gè)方案,結(jié)合業(yè)務(wù)需求和自身能力,改為族采用放棄一部分用戶然后采用活動(dòng)能正常的進(jìn)行下去來做LS斷點(diǎn)的問題。
新方案的優(yōu)勢(shì)在于,當(dāng)一個(gè)機(jī)房的LS宕或是群宕掉時(shí),可以自動(dòng)切換到其他機(jī)房。何岳娟秀露,魅族計(jì)劃采用GLSB,進(jìn)行大LS的方案解決以后更高并發(fā)的模式以及以后跨機(jī)房容災(zāi)的問題。
利用數(shù)據(jù)評(píng)級(jí)防止誤傷
對(duì)于“黃牛”這個(gè)世界性難題,魅族在最開始把只它看成功能性防御。但實(shí)際上,這種數(shù)據(jù)請(qǐng)求的模式極有可能出現(xiàn)偽造數(shù)據(jù)。因此,魅族通過對(duì)用戶行為數(shù)據(jù)分析構(gòu)建了信用分值評(píng)估系統(tǒng),如果用戶行為數(shù)據(jù)是偽造數(shù)據(jù)的話,在進(jìn)行分析時(shí)可以看到,這些數(shù)據(jù)非常“死板”。
所謂“死板”,就是說黃牛一般只會(huì)注冊(cè)一個(gè)帳戶,而不會(huì)關(guān)注魅族官網(wǎng),在網(wǎng)站只留下非常有限的行為信息,可以將具有這種特點(diǎn)的用戶看作是是死點(diǎn)用戶。而如果是在整個(gè)官網(wǎng)體系里比較活躍的用戶,系統(tǒng)會(huì)將他評(píng)為優(yōu)質(zhì)用戶。
一般來講,面對(duì)評(píng)級(jí)較低的用戶,系統(tǒng)在做防殺時(shí)會(huì)有一些“誤傷”的現(xiàn)象。為了避免一些評(píng)級(jí)較低的用戶無法正常方問,在做防殺的時(shí)候,魅族不會(huì)沒有把所有的數(shù)據(jù)全部“干死”,而是將自有數(shù)據(jù)與第三方數(shù)據(jù)進(jìn)行交換,引入第三方的數(shù)據(jù)評(píng)級(jí),對(duì)兩者數(shù)據(jù)分析結(jié)果進(jìn)行對(duì)比之后再進(jìn)行防御。
跨機(jī)房容災(zāi)和數(shù)據(jù)同步仍待探索
何岳娟表示,跨機(jī)房容災(zāi)和跨機(jī)房的數(shù)據(jù)同步問題,仍然是魅族在未來一段時(shí)間內(nèi)關(guān)注的重點(diǎn)。魅族在這些方面一直在努力,比如在魅族有一個(gè)OKR評(píng)級(jí)功能,這個(gè)評(píng)級(jí)會(huì)根據(jù)業(yè)務(wù)故障時(shí)間來評(píng)級(jí)。這種互聯(lián)網(wǎng)評(píng)級(jí)模式不可能做到不產(chǎn)生故障,但可以盡量減少故障產(chǎn)品的產(chǎn)生。
對(duì)于技術(shù)和工具的選型,何岳娟的建議在選用新功能前,一定要對(duì)性能進(jìn)行前期測(cè)試。一旦產(chǎn)生問題,通過測(cè)試可以及時(shí)暴露出來,引導(dǎo)我們尋找解決方案。對(duì)于實(shí)在解決不了的問題,魅族會(huì)選擇直接放棄這種模式,而在上線采用第三方服務(wù)。當(dāng)然,還是要注意對(duì)服務(wù)進(jìn)行大規(guī)模、全方位的測(cè)試,來避免之后突發(fā)情況下的措手不及。
戳下方圖片,更有料!