百億互金平臺(tái)救火故事
多年前，又是周六客服打電話過(guò)來(lái)，平臺(tái)官網(wǎng)不能訪問(wèn)，app完全無(wú)法打開(kāi)，客戶在QQ群和微信群中各種反饋，說(shuō)平臺(tái)是不是跑路了?客服的多條400熱線完全被打爆，電話已經(jīng)接不過(guò)來(lái)...
前言
一直以來(lái)總是想以什么方式去記錄下自己在互金行業(yè)的這段經(jīng)歷，趁著自己還記得清楚，還能找到一些資料原型，一方面可以分享出來(lái)供大家參考，但是更重要就是多年以后我可以根據(jù)這些文章回憶起來(lái)自己的那段激情歲月。
想了很久但一直沒(méi)有實(shí)施，后來(lái)覺(jué)得應(yīng)該從架構(gòu)的角度來(lái)梳理一篇文章，就寫(xiě)了《從零到百億互聯(lián)網(wǎng)金融架構(gòu)發(fā)展史》這篇文章;最后認(rèn)為只有實(shí)戰(zhàn)出來(lái)的東西以及解決問(wèn)題的過(guò)程，才是工作中最寶貴的經(jīng)驗(yàn)，應(yīng)該把它分享出來(lái)，在梳理的過(guò)程中有三起事故和黑客攻擊事件比較有代表性，就整理出了下面這四篇文章，本篇文章從整體來(lái)回憶一下一路走過(guò)來(lái)所經(jīng)歷過(guò)的救火故事。
作為一個(gè)互聯(lián)網(wǎng)金融平臺(tái)，涉及到用戶資金，任何的服務(wù)(資金)差錯(cuò)用戶都是不可容忍的，用戶不懂什么是數(shù)據(jù)庫(kù)，不知道什么網(wǎng)絡(luò)不通，就是一會(huì)看不到錢在app里面展示都會(huì)覺(jué)得不安。在已經(jīng)有很多P2P公司跑路的前提下，用戶個(gè)個(gè)已經(jīng)被鍛煉成為福爾摩斯偵探，每天打開(kāi)app查看收益，監(jiān)控著平臺(tái)一切，甚至半夜升級(jí)斷網(wǎng)十分鐘，也會(huì)被用戶察覺(jué)，直接就發(fā)到群里面，更有甚者直接在QQ群或者微信群中說(shuō)你們的技術(shù)行不行!
我們常說(shuō)的互聯(lián)網(wǎng)工作經(jīng)驗(yàn)，一方面是開(kāi)發(fā)經(jīng)驗(yàn)，但其實(shí)更重要的是處理問(wèn)題的能力。那么處理問(wèn)題的能力怎么來(lái)呢，就是不斷的去解決問(wèn)題，不斷的去總結(jié)經(jīng)驗(yàn)，其中處理生產(chǎn)環(huán)境中問(wèn)題的經(jīng)驗(yàn)更甚,因?yàn)樵谔幚砩a(chǎn)環(huán)境中對(duì)個(gè)人的壓力和臨危應(yīng)變的能力要求最高，你不但需要面臨千萬(wàn)個(gè)用戶反饋，客服不時(shí)得催促而且旁邊可能就站了N個(gè)領(lǐng)導(dǎo)在看著你，一副你行不行的樣子要求立刻馬上解決問(wèn)題!這個(gè)時(shí)候你的操作就非常重要，稍有不慎便會(huì)引發(fā)二次生產(chǎn)事故。
說(shuō)了這么多，只是想說(shuō)明，生產(chǎn)事故對(duì)技術(shù)綜合能力要求頗高，更是鍛煉處理問(wèn)題能力最佳時(shí)機(jī)!下面給大家介紹我們從零開(kāi)發(fā)到現(xiàn)在百億交易量所遇到的幾次關(guān)鍵事故，有大有小挑出一些比較有代表性的事件來(lái)分享。
并發(fā)滿標(biāo)
公司系統(tǒng)剛上線的時(shí)候，其實(shí)沒(méi)有經(jīng)歷過(guò)什么大量用戶并發(fā)的考驗(yàn)，結(jié)果公司做了一個(gè)大的推廣，涌入了一批用戶來(lái)?yè)寴?biāo)，共1000萬(wàn)的標(biāo)的幾乎都在10秒之內(nèi)搞定，大概會(huì)有上萬(wàn)左右的用戶會(huì)同時(shí)去搶標(biāo)，平均每秒大概有千人左右的并發(fā)，滿標(biāo)控制這塊沒(méi)有經(jīng)過(guò)大的并發(fā)測(cè)試，上來(lái)之后就被打垮了，導(dǎo)致得結(jié)果是什么呢，1000萬(wàn)的標(biāo)的，有可能到一千零幾萬(wàn)滿標(biāo)，也有可能會(huì)九百多萬(wàn)就滿標(biāo)，也就說(shuō)要不就是多了一些，要不就是少了一些，就滿標(biāo)了。
這就會(huì)很尷尬，因?yàn)榻杩钣脩艟徒杩钜磺f(wàn)整，那么多出來(lái)的錢不能給用戶回退，因?yàn)橛脩艉貌蝗菀撞艙屔狭?，無(wú)端退了用戶也鬧;少了也是問(wèn)題，用戶借款一千萬(wàn)，少了幾十萬(wàn)也不行，如果缺的少了可以想辦法找一些有錢的客戶直接給買了，多了就必須重新放出來(lái)讓用戶投資，非常影響士氣，這個(gè)問(wèn)題困擾了我們有一段時(shí)間。
購(gòu)買標(biāo)的流程圖，不知道大家是否能根據(jù)此圖發(fā)現(xiàn)問(wèn)題呢?
超募
為何會(huì)產(chǎn)生超募?在最早前的版本中沒(méi)有使用樂(lè)觀鎖來(lái)控制，如果在最后購(gòu)買的用戶一單出現(xiàn)并發(fā)，就會(huì)出現(xiàn)超募，比如最后剩余30000份的購(gòu)買份額，因?yàn)椴l(fā)量特別大，可能同時(shí)會(huì)有十幾個(gè)用戶拿到了剩余30000份余額的可購(gòu)買額度，有的買1000份、有的買上3000份、有的買上20000份都會(huì)驅(qū)動(dòng)滿標(biāo)，所以最后導(dǎo)致了超募。
針對(duì)這個(gè)問(wèn)題，主要是引入了memcached樂(lè)觀鎖的概念(底層主要是 cas、 gets兩個(gè)命令)，在發(fā)標(biāo)的時(shí)候存入標(biāo)的總份額，當(dāng)用戶購(gòu)買的時(shí)候首先去鎖定用戶購(gòu)買的份額，因?yàn)闃?lè)觀鎖的原因，如果同時(shí)有兩個(gè)用戶拿到份額的時(shí)候保證只有一個(gè)最后可以更新成功(鎖定份額)，(鎖定份額)失敗直接返回，這樣就保證了在入口的時(shí)候就直接屏蔽了部分并發(fā)的請(qǐng)求。
少募
為何產(chǎn)生少募?少募是可能1000萬(wàn)的標(biāo)的突然到980萬(wàn)就給滿標(biāo)了，這是因?yàn)樵诔记闆r下我們完善了代碼，用戶一進(jìn)來(lái)首先就是鎖定購(gòu)買份額，只有鎖定購(gòu)買份額才能進(jìn)行下面的流程，如果鎖定購(gòu)買份額失敗直接返回，這樣雖然保證了在1000萬(wàn)份額在購(gòu)買初期必須每一個(gè)用戶只能鎖定一份，但是在高并發(fā)的情況下，因?yàn)橘?gòu)買流程中有十幾個(gè)分支，每一個(gè)分支失敗就會(huì)退回鎖定的份額，這樣就會(huì)導(dǎo)致這樣的現(xiàn)象，就是可能是并發(fā)一上來(lái)，馬上就滿標(biāo)了，過(guò)了一會(huì)進(jìn)度就回退回來(lái)了。
少募主要是因?yàn)榉种』赝藢?dǎo)致的，一方面我們分析了容易導(dǎo)致回退熱點(diǎn)，因?yàn)樵谟脩魮寴?biāo)的時(shí)候會(huì)給用戶實(shí)時(shí)的展示標(biāo)的進(jìn)度，在很早的版本中直接就是存入到一個(gè)標(biāo)的進(jìn)度表里面，并且采用了樂(lè)觀鎖，如果并發(fā)一高就頻繁的更新失敗導(dǎo)致回退，因此優(yōu)化了標(biāo)的進(jìn)度這塊，直接去掉了標(biāo)的進(jìn)度表，實(shí)時(shí)根據(jù)查詢來(lái)展示標(biāo)的進(jìn)度(可以有延遲，有緩存);另一方面在回退份額的時(shí)候在次判斷試下memcached的份額和標(biāo)的的狀態(tài)，如果份額不為零并且標(biāo)的狀態(tài)是滿標(biāo)，馬上自動(dòng)更新?tīng)顟B(tài)保證后續(xù)用戶可以立即購(gòu)買再次驅(qū)動(dòng)滿標(biāo)。
做了以上的兩種優(yōu)化后，我們還遇到了其它的一些小問(wèn)題，在不斷的優(yōu)化過(guò)程中，終于穩(wěn)定下來(lái);在后期版本中將考慮使用MQ隊(duì)列或者redis隊(duì)列來(lái)處理?yè)寴?biāo)更合理對(duì)用戶也更公平一些。
重復(fù)派息
15年的某一天看到一個(gè)新聞?wù)f是陸金所的一個(gè)用戶發(fā)現(xiàn)自己銀行里面突然多了很多錢，沒(méi)過(guò)多久又被扣走了，然后收到陸金所那邊的解釋，說(shuō)是給用戶還本派息的時(shí)候程序出現(xiàn)了問(wèn)題導(dǎo)致還本派息兩次，當(dāng)他們程序員發(fā)現(xiàn)了此問(wèn)題后緊急進(jìn)行了處理，用戶當(dāng)然鬧了呀，就上了新聞，當(dāng)然陸金所通道能力確實(shí)比較強(qiáng)可以直接從用戶卡里面扣，當(dāng)大家都興致勃勃的談?wù)撨@個(gè)話題的時(shí)候，我卻有一股淡淡的憂傷，為什么呢?因?yàn)檫@個(gè)錯(cuò)誤我們也犯過(guò)，具體說(shuō)就是我搞的，大家可不知道當(dāng)時(shí)的心里壓力有多大!
事情是這樣子的，我們使用的第三方支付的扣款接口不是特別的穩(wěn)定，于是我們前期就對(duì)接了兩種不通的扣款接口，平時(shí)前端投資的時(shí)候走一個(gè)接口，后端派息或者還本的時(shí)候走另外的一個(gè)接口，在初期的時(shí)候扣款接口不穩(wěn)定，因此在給用戶跑批的時(shí)候經(jīng)常會(huì)有個(gè)別用戶失敗，需要手動(dòng)給失敗的用戶二次派息。做為一個(gè)有志向的程序員當(dāng)然覺(jué)得這種方式是低效的，于是將程序改造了一下，在后端派息的時(shí)候當(dāng)?shù)谝环N扣款失敗的時(shí)候，自動(dòng)再次調(diào)用第二種扣款接口進(jìn)行扣款，當(dāng)時(shí)想著這種方式挺好的，各個(gè)環(huán)境測(cè)試也沒(méi)有問(wèn)題，上線之后監(jiān)控過(guò)一段時(shí)間也運(yùn)行穩(wěn)定。
當(dāng)我感覺(jué)一切都很美妙的時(shí)候，事故就來(lái)了，突然有一天客服反饋說(shuō)有的用戶說(shuō)自己收到的利息感覺(jué)不對(duì)，好像是多了(真的是太感謝這個(gè)用戶了)，我登錄后臺(tái)看了一下派息的流水復(fù)核了一遍，果然利息被重復(fù)派了，一股冷水從頭而下，把當(dāng)天所有的用戶派息記錄和到期記錄都進(jìn)行了檢查，影響了70多個(gè)用戶，導(dǎo)致多派息了6萬(wàn)多元，幸虧只是派息出了問(wèn)題，如果是到期的話金額會(huì)翻N倍，其中70多個(gè)人里面有幾個(gè)進(jìn)行了體現(xiàn)、幾個(gè)進(jìn)行了再次投資，絕大部分用戶在我們發(fā)現(xiàn)的時(shí)候還不知情，金額也沒(méi)有動(dòng)。
怎么處理呢，當(dāng)然不能直接就動(dòng)用戶的錢了，給每個(gè)重復(fù)派息的用戶打電話，說(shuō)明原因贈(zèng)送小禮物，請(qǐng)求諒解后我們把重復(fù)派過(guò)的利息再次調(diào)回來(lái)。大部分用戶進(jìn)行了核對(duì)之后都還是比較配合的，但是肯定有一些用戶不干了，當(dāng)然也不能怪客戶，都是我的原因，有的客戶需要上門賠禮道歉，有的客戶需要公司出具證明材料，我們的老板親自給客戶打了N個(gè)電話被客戶罵了N遍，我心里壓力可想而知，其中有一個(gè)客戶特別難纏，各種威脅說(shuō)既然到了我的賬戶里面肯定是我的，你們的失誤不應(yīng)該讓他來(lái)承擔(dān)，折騰了很久，還是不能怪客戶?？赡軙?huì)說(shuō)有的互聯(lián)網(wǎng)公司經(jīng)常出現(xiàn)這種問(wèn)題后就送給客戶了，哎，我們是小公司呀!這個(gè)噱頭玩不起。
到底是什么原因呢，事后進(jìn)行了復(fù)盤也給領(lǐng)導(dǎo)做了匯報(bào)，平時(shí)都是首先進(jìn)行派息的定時(shí)任務(wù)，過(guò)一個(gè)小時(shí)之后進(jìn)行到期的定時(shí)任務(wù)，當(dāng)天的派息標(biāo)的比較多，跑了一個(gè)半小時(shí)，就導(dǎo)致了派息和到期的兩個(gè)定時(shí)任務(wù)同時(shí)進(jìn)行，轉(zhuǎn)賬有了并發(fā)，第三方支付的接口不穩(wěn)定給我們返回的失敗，其實(shí)有的是成功的，就導(dǎo)致了我們進(jìn)行了二次的扣款嘗試引發(fā)了此問(wèn)題。這個(gè)事情給我?guī)?lái)了非常大的教訓(xùn)，對(duì)于金融扣款的這種事情一定需要謹(jǐn)慎，那怕付款引發(fā)報(bào)警之后再人工處理，也不能盲目重試可能引發(fā)雪崩效應(yīng)。
雜七雜八
還有就是其它一些零碎的問(wèn)題了，記的有一次對(duì)用戶的登錄過(guò)程進(jìn)行優(yōu)化，導(dǎo)致有一塊判斷少了一個(gè)括號(hào)結(jié)果用戶在那兩個(gè)小時(shí)內(nèi)，只要輸入賬戶，任意密碼就可以登錄了，幸好及時(shí)發(fā)現(xiàn)這個(gè)問(wèn)題，正是這個(gè)問(wèn)題才導(dǎo)致了我們正式確立了規(guī)范的上線流程，為以后的上線制度建定了基礎(chǔ)。
還有一次我們?cè)谀M用戶投資一種標(biāo)的時(shí)候，留了一個(gè)入口通過(guò)http就可以調(diào)用，測(cè)試也沒(méi)有問(wèn)題，有一天正好給領(lǐng)導(dǎo)演示呢，就在次用http請(qǐng)求的方式在瀏覽器執(zhí)行了一下，前端就會(huì)看到自動(dòng)投標(biāo)的過(guò)程，因?yàn)樯a(chǎn)的數(shù)據(jù)有點(diǎn)多，投標(biāo)的過(guò)程有點(diǎn)長(zhǎng)，我們?yōu)榱思涌爝M(jìn)度，找了好幾個(gè)人同時(shí)來(lái)執(zhí)行這http請(qǐng)求，導(dǎo)致最后出現(xiàn)了問(wèn)題，最后發(fā)現(xiàn)寫(xiě)測(cè)試腳本的這個(gè)同事根本就沒(méi)有考慮并發(fā)的情況，才導(dǎo)致出現(xiàn)了問(wèn)題。
也做了很多的活動(dòng)，記得做一個(gè)網(wǎng)貸之家的一個(gè)活動(dòng)的時(shí)候，活動(dòng)上線比較緊張，我們團(tuán)隊(duì)曾經(jīng)連續(xù)工作超過(guò)30個(gè)小時(shí)(一天一夜再一天)，當(dāng)天晚上我2點(diǎn)左右寫(xiě)完程序，測(cè)試從2兩點(diǎn)測(cè)試到早上9點(diǎn)，最終確認(rèn)沒(méi)有任何問(wèn)題，才進(jìn)行投產(chǎn)。半夜公司沒(méi)有暖氣，我們實(shí)在凍的不行了，就在辦公室跑步，從這頭跑到那頭，第二天上線之后，又害怕出現(xiàn)問(wèn)題，監(jiān)控了一天，確認(rèn)沒(méi)有任何問(wèn)題，才到下午正常下班回家，那時(shí)候真是激情滿滿呀。
說(shuō)到做活動(dòng)肯定少不了羊毛黨，說(shuō)哪一家互金公司沒(méi)有遇到過(guò)羊毛黨那很少見(jiàn)，而且現(xiàn)在的羊毛黨規(guī)模簡(jiǎn)直逆天了，我們用戶里面就有一個(gè)羊毛黨在兩三天之內(nèi)邀請(qǐng)了六七千位用戶，如果說(shuō)邀請(qǐng)一個(gè)用戶送1元，那這個(gè)用戶就可以搞幾千塊一次，而且有很多專業(yè)的網(wǎng)站、QQ群、微信公共賬號(hào)都是他們的聚集地，哪天哪個(gè)平臺(tái)有活動(dòng)門清，他們寫(xiě)的淘羊毛操作手冊(cè)有時(shí)候比我們官網(wǎng)的幫助文檔還清晰，所以做活動(dòng)的時(shí)候要考慮特別周全，各種限制，有封頂、有預(yù)案、講誠(chéng)信，只要是符合我們活動(dòng)規(guī)則的堅(jiān)決按照流程走。
還有一個(gè)有趣的事情，app推送，一次我在公交車上就看到xx盒子app彈出hhhhh的推送，這個(gè)事情我們也搞過(guò)，因?yàn)樵谡{(diào)試的時(shí)候生產(chǎn)和測(cè)試就差了一個(gè)參數(shù)，有時(shí)候開(kāi)發(fā)人員不注意就把生產(chǎn)參數(shù)部署到uat環(huán)境了，測(cè)試一發(fā)送就跑到生產(chǎn)了，這方面只能嚴(yán)格按照流程管理來(lái)防止。
其實(shí)還很多問(wèn)題：mongodb集群和mysql的同步出現(xiàn)的一些狀況、后臺(tái)大量數(shù)據(jù)查詢下的sql優(yōu)化、golang使用mapreduce碰到的問(wèn)題... 限于篇幅這里就不一一清晰的描述了。
其實(shí)每次的出現(xiàn)問(wèn)題都是對(duì)團(tuán)隊(duì)一次非常好的鍛煉機(jī)會(huì)，通過(guò)發(fā)現(xiàn)問(wèn)題，定位問(wèn)題，解決問(wèn)題，再次回過(guò)頭來(lái)反思這些問(wèn)題;重新梳理整個(gè)環(huán)節(jié)， 舉一反三避免下次再次出現(xiàn)類似的問(wèn)題。正是因?yàn)榻?jīng)歷這些種種的困難、考驗(yàn)才讓團(tuán)隊(duì)變的更強(qiáng)大更穩(wěn)定，也更體現(xiàn)了流程的重要性，更是避免再次發(fā)生類似問(wèn)題。
總結(jié)
古人有云，胸有驚雷而面如平湖者,可拜上將軍。在互聯(lián)網(wǎng)行業(yè)對(duì)大牛的要求也同如此，特別是技術(shù)的負(fù)責(zé)人，在面對(duì)生產(chǎn)事故的時(shí)候，一定首先是安撫同事，靜下心來(lái)找到問(wèn)題本質(zhì)再去解決，而不是不斷去施加壓力催促解決，重壓之下很多心里承受能力稍弱的隊(duì)友，更加慌亂而不利于解決問(wèn)題或者引發(fā)二次事故。
在看淘寶雙十一視頻中，有一段特別受到感觸，在雙十一初期，雖然技術(shù)團(tuán)隊(duì)做了很多的準(zhǔn)備，但是在零點(diǎn)過(guò)后流量瞬間涌入，服務(wù)被打垮，部分用戶投訴刷新不出網(wǎng)頁(yè)，緊接著隔壁同事也都反饋網(wǎng)站打不開(kāi)，在大家都在慌亂中，xx一拍桌子大喊一聲，大家都別動(dòng)，三分鐘之后再說(shuō)，過(guò)了幾分鐘之后服務(wù)慢慢部分恢復(fù)了正常。后來(lái)回憶說(shuō)，當(dāng)時(shí)雖然服務(wù)癱瘓，但是監(jiān)控還是有部分得業(yè)務(wù)成功，說(shuō)明系統(tǒng)并沒(méi)有被壓垮，而此時(shí)的任何操作都有可能引發(fā)更大的問(wèn)題，從此之后此人一戰(zhàn)成名，成為阿里大將。
互聯(lián)網(wǎng)平臺(tái)發(fā)展大抵都會(huì)經(jīng)歷三個(gè)階段：
1、上線初期，此階段問(wèn)題最為繁多，生產(chǎn)事故不斷，系統(tǒng)快速迭代優(yōu)化。有人說(shuō)為什么不測(cè)試到完全沒(méi)有問(wèn)題再投產(chǎn)嗎?說(shuō)實(shí)話在互聯(lián)網(wǎng)行業(yè)這個(gè)很難，小公司很難做到生產(chǎn)環(huán)境和測(cè)試環(huán)境一致，成本太高;時(shí)間緊迫，一般都是很短的時(shí)間內(nèi)要求上線，上線之后在快速迭代。另外互聯(lián)網(wǎng)本就是一個(gè)快速試錯(cuò)的行業(yè)，錯(cuò)過(guò)半年時(shí)間可能風(fēng)口早過(guò);
2、發(fā)展期，此階段主要業(yè)務(wù)模式已經(jīng)得到驗(yàn)證，系統(tǒng)出現(xiàn)問(wèn)題的頻繁度較少，低級(jí)錯(cuò)誤減少，但此時(shí)是用戶量和交易量不斷爆發(fā)的時(shí)候，對(duì)系統(tǒng)性能、高并發(fā)的要求又上來(lái)了，所以此時(shí)出現(xiàn)的問(wèn)題大多都是性能的問(wèn)題;
3、成熟期，發(fā)展期過(guò)后系統(tǒng)相對(duì)比較平穩(wěn)，用戶量和交易量都已經(jīng)慢慢穩(wěn)定下來(lái)，生產(chǎn)問(wèn)題越來(lái)越少，出現(xiàn)問(wèn)題幾乎都是細(xì)小的bug，這個(gè)階段也是公司最忽略技術(shù)得階段，恰好我們公司就處于這個(gè)階段，在這個(gè)階段就需要靜下心來(lái)，組織架構(gòu)升級(jí)，補(bǔ)齊在初期和發(fā)展期所欠的技術(shù)債務(wù)，做好公司在升下一個(gè)量級(jí)的技術(shù)準(zhǔn)備。
【本文為51CTO專欄作者“純潔的微笑”的原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)通過(guò)微信公眾號(hào)聯(lián)系作者獲取授權(quán)】
