【51CTO.com原創(chuàng)稿件】說到“秒殺”，恐怕大多數(shù)人想到的就是“雙 11”，“促銷”，“買買買”等火爆的場面吧。

[[276668]]
圖片來自 Pexels 

大家為了打折商品蜂擁而至，造成電商網(wǎng)站一片繁華的景象。但作為程序員的我們，看到的卻是背后的高并發(fā)和可靠性。無論你處在軟件開發(fā)的哪個階段，都希望能夠設(shè)計一套屬于自己的秒殺系統(tǒng)。

今天我們一起來看看，一套秒殺系統(tǒng)在架構(gòu)設(shè)計上需要有哪些考量：

• 秒殺場景的特點
• 系統(tǒng)隔離的設(shè)計思路
• 客戶端設(shè)計
• 代理層設(shè)計
• 應(yīng)用層設(shè)計
• 數(shù)據(jù)庫設(shè)計
• 壓力測試
• 總結(jié)

秒殺場景的特點

秒殺場景是電商網(wǎng)站定期舉辦的活動，這個活動有明確的開始和結(jié)束時間，而且參與互動的商品是事先定義好了，參與秒殺商品的個數(shù)也是有限制的。同時會提供一個秒殺的入口，讓用戶通過這個入口進行搶購。

總結(jié)一下秒殺場景的特點：

• 定時開始，秒殺時大量用戶會在同一時間，搶購?fù)簧唐?，網(wǎng)站瞬時流量激增。
• 庫存有限，秒殺下單數(shù)量遠遠大于庫存數(shù)量，只有少部分用戶能夠秒殺成功。
• 操作可靠，秒殺業(yè)務(wù)流程比較簡單，一般就是下訂單減庫存。庫存就是用戶爭奪的“資源”，實際被消費的“資源”不能超過計劃要售出的“資源”，也就是不能被“超賣”。

系統(tǒng)隔離的設(shè)計思路

在分析秒殺的特點后，我們發(fā)現(xiàn)秒殺活動是有計劃的，并且在短時間內(nèi)會爆發(fā)大量的請求。為了不影響現(xiàn)有的業(yè)務(wù)系統(tǒng)的正常運行，我們需要把它和現(xiàn)有的系統(tǒng)做隔離。

即使秒殺活動出現(xiàn)問題也不會影響現(xiàn)有的系統(tǒng)。隔離的設(shè)計思路可以從三個維度來思考。

• 業(yè)務(wù)隔離
• 技術(shù)隔離
• 數(shù)據(jù)庫隔離

業(yè)務(wù)隔離

既然秒殺是一場活動，那它一定和常規(guī)的業(yè)務(wù)不同，我們可以把它當成一個單獨的項目來看。在活動開始之前，最好設(shè)計一個“熱場”。

“熱場”的形式多種多樣，例如：分享活動領(lǐng)優(yōu)惠券，領(lǐng)秒殺名額等等。“熱場”的形式不重要，重要的是通過它獲取一些準備信息。

例如：有可能參與的用戶數(shù)，他們的地域分布，他們感興趣的商品。為后面的技術(shù)架構(gòu)提供數(shù)據(jù)支持。

技術(shù)隔離

 

技術(shù)隔離架構(gòu)圖

前面有了準備工作，那么從技術(shù)上需要有以下幾個方面的考慮：

• 客戶端，前端秒殺頁面使用專門的頁面，這些頁面包括靜態(tài)的 HTML 和動態(tài)的 JS，他們都需要在 CDN 上緩存。
• 接入層，加入過濾器專門處理秒殺請求，即使我們擴展再多的應(yīng)用，使用再多的應(yīng)用服務(wù)器，部署再多的負載均衡器，都會遇到支撐不住海量請求的時候。

所以，在這一層我們要考慮的是如何做好限流，當超過系統(tǒng)承受范圍的時候，需要果斷阻止請求的涌入。

• 應(yīng)用層，瞬時的海量請求好比請求的“高峰”，我們架構(gòu)系統(tǒng)的目的就是“削峰”。

需要使用服務(wù)集群和水平擴展，讓“高峰”請求分流到不同的服務(wù)器進行處理。同時，還會利用緩存和隊列技術(shù)減輕應(yīng)用處理的壓力，通過異步請求的方式做到最終一致性。

由于是多線程操作，而且商品的額度有限，為了解決超賣的問題，需要考慮進程鎖的問題。

數(shù)據(jù)庫隔離

秒殺活動持續(xù)時間短，瞬時數(shù)據(jù)量大。為了不影響現(xiàn)有數(shù)據(jù)庫的正常業(yè)務(wù)，可以建立新的庫或者表來處理。

在秒殺結(jié)束以后，需要把這部分數(shù)據(jù)同步到主業(yè)務(wù)系統(tǒng)中，或者查詢表中。如果數(shù)據(jù)量特別巨大，到千萬級別甚至上億，建議使用分表或者分庫。

客戶端設(shè)計

上面提到的三個隔離維度中，我們對技術(shù)維度是最為關(guān)心的。如果說瀏覽器/客戶端是用戶接觸“秒殺系統(tǒng)”的入口，那么在這一層提供緩存數(shù)據(jù)就是非常必要的。

在設(shè)計之初，我們會為秒殺的商品生成專門的商品頁面和訂單頁面。這些頁面以靜態(tài)的 HTML 為主，包括的動態(tài)信息盡量少。

從業(yè)務(wù)的角度來說，這些商品的信息早就被用戶熟識了，在秒殺的時候，他們關(guān)心的是如何快速下單。

既然商品的詳情頁面和訂單頁面都是靜態(tài)生成的，那么就需要定義一個 URL，當要開始秒殺之前，開放這個 URL 給用戶訪問。

為了防止“程序員或者內(nèi)部人員”作弊，這里的地址可以通過時間戳和 Hash 算法來生成，也就是說這個地址只有系統(tǒng)知道，到了快秒殺之前才由系統(tǒng)發(fā)放出去。

有人說瀏覽器/客戶端如果存放的都是靜態(tài)頁面，那么“控制開始下單”的按鈕，以及發(fā)送“下單請求”的按鈕，也是靜態(tài)的嗎?

答案是否定的，其實靜態(tài)頁面是方便客戶端好緩存，下單的動作以及下單時間的控制還是在服務(wù)器端。

只不過是通過 JS 文件的方式發(fā)送給客戶端，在快要秒殺之前，會把這部分 JS 下載到客戶端。

因為，其業(yè)務(wù)邏輯很少，基本只包括時間，用戶信息，商品信息等等。所以，其對網(wǎng)絡(luò)的要求不高。

同時，在網(wǎng)絡(luò)設(shè)計上，我們也會將 JS 和 HTML 同時緩存在 CDN 上面，讓用戶從離自己最近的 CDN 服務(wù)器上獲取這些信息。

為了避免秒殺程序參與秒殺，在客戶端也會設(shè)計一些問答或者滑塊的功能，減少此類機器人對服務(wù)器的壓力。

 

秒殺系統(tǒng)前端設(shè)計簡圖

代理層設(shè)計

說完了秒殺系統(tǒng)的前端設(shè)計，請求自然地來到了代理層。由于用戶的請求量大，我們需要用負載均衡加上服務(wù)器集群，來面對如此空前的壓力。

 

代理層三大功能簡圖

在這一層是可以做緩存，過濾和限流的：

• 緩存，以 Nginx 為例，它可以緩存用戶的信息。假設(shè)用戶信息的修改沒有那么頻繁，即使有類似的修改也可以通過更新服務(wù)來刷新?？偙葟姆?wù)器上獲取效率要高得多。
• 過濾，既然緩存了用戶信息，這里就可以過濾掉一些不滿足條件的用戶。注意，這里的用戶信息的過濾和緩存只是一個例子。

主要想表達的意思是，可以將一些變化不頻繁的數(shù)據(jù)，提到代理層來緩存，提高響應(yīng)的效率。

同時，還可以根據(jù)風控系統(tǒng)返回的信息，過濾一些疑似機器人或者惡意請求。例如：從固定 IP 過來的，頻率過高的請求。最重要的就是在這一層，可以識別來自秒殺系統(tǒng)的請求。

如果是帶有秒殺系統(tǒng)的參數(shù)，就要把請求路由到秒殺系統(tǒng)的服務(wù)器集群。這樣才能和正常的業(yè)務(wù)系統(tǒng)分割開來。

• 限流，每個服務(wù)器集群能夠承受的壓力都是有限的。代理層可以根據(jù)服務(wù)器集群能夠承受的最大壓力，設(shè)置流量的閥值。

閥值的設(shè)置可以是動態(tài)調(diào)整的。例如：集群服務(wù)器中有 10 個服務(wù)器，其中一臺由于壓力過大掛掉了。

此時就需要調(diào)整代理層的流量閥值，將能夠處理的請求流量減少，保護后端的應(yīng)用服務(wù)器。

當服務(wù)器恢復(fù)以后，又可以將閥值調(diào)回原位?？梢酝ㄟ^ Nginx+Lua 合作完成，Lua 從服務(wù)注冊中心讀取服務(wù)健康狀態(tài)，動態(tài)調(diào)整流量。

應(yīng)用層設(shè)計

“秒殺系統(tǒng)”秒殺的是什么?無非是商品。對于系統(tǒng)來說就是商品的庫存，購買的商品一旦超過了庫存就不能再賣了。

防止超賣

超過了庫存還可以賣給用戶，這就是“超賣”，也是系統(tǒng)設(shè)計需要避免的。為了承受大流量的訪問，我們用了水平擴展的服務(wù)，但是對于他們消費的資源“庫存”來說，卻只有一個。

為了提高效率，會將這個庫存信息放到緩存中。以流行的 Redis 為例，用它存放庫存信息，由多個線程來訪問就會出現(xiàn)資源爭奪的情況。也就是分布式程序爭奪唯一資源，為了解決這個問題我們需要實現(xiàn)分布式鎖。

假設(shè)這里有多個應(yīng)用響應(yīng)用戶的訂單請求，他們同時會去訪問 Redis 中存放的庫存信息，每接受用戶一次請求，都會從 Redis 的庫存中減去 1 個商品庫存量。

當任何一個進程訪問 Redis 中的庫存資源時，其他進程是不能訪問的，所以這里需要考慮鎖的情況(樂觀，悲觀)。

Redis 緩存承載庫存變量 

如果鎖長期沒有釋放，需要考慮鎖的過期時間，需要設(shè)置兩個超時時間：

• 資源本身的超時時間，一旦資源被使用一段時間還沒有被釋放，Redis 會自動釋放掉該資源給其他服務(wù)使用。
• 服務(wù)獲取資源的超時時間，一旦一個服務(wù)獲取資源一段時間后，不管該服務(wù)是否處理完這個資源，都需要釋放該資源給其他服務(wù)使用。

訂單處理流程

這里的“扣減服務(wù)”完成了最簡單的扣減庫存工作，并沒有和其他項目服務(wù)打交道，更沒有訪問數(shù)據(jù)庫。

 

訂單流程示意圖

后面的流程相對比較復(fù)雜，我們先看圖，根據(jù)圖示來講解：

• 首先，扣減服務(wù)作為下單流程的入口，會先對商品的庫存做扣減。同樣它會檢查商品是否還有庫存?
• 由于訂單對應(yīng)的操作步驟比較多，為了讓流量變得平滑，這里使用隊列存放每個訂單請求，等待訂單處理服務(wù)完成具體業(yè)務(wù)。
• 訂單處理服務(wù)實現(xiàn)多線程，或者水平擴展的服務(wù)陣列，它們不斷監(jiān)聽隊列中的消息。一旦發(fā)現(xiàn)有新訂單請求，就取出訂單進行后續(xù)處理。

注意，這里可以加入類似 ZooKeeper 這樣的服務(wù)調(diào)度來幫助，協(xié)調(diào)服務(wù)調(diào)度和任務(wù)分配。

• 訂單處理服務(wù)，處理完訂單以后會把結(jié)果寫到數(shù)據(jù)庫。寫數(shù)據(jù)庫是 IO 操作，耗時長。
• 所以，在寫數(shù)據(jù)庫的同時，會把結(jié)果先寫入緩存中，這樣用戶是可以第一時間查詢自己是否下單成功了。
• 結(jié)果寫入數(shù)據(jù)庫，這個操作有可能成功也有可能失敗。
• 為了保證數(shù)據(jù)的最終一致性，我們用訂單結(jié)果同步的服務(wù)不斷的對比，緩存和數(shù)據(jù)庫中的訂單結(jié)果信息。

一旦發(fā)現(xiàn)不一致，會去做重試操作。如果重試依舊不成功，會重寫信息到緩存，讓用戶知道失敗原因。

• 用戶下單以后，焦慮地刷新頁面查看下單的結(jié)果，實際上是讀到的緩存上的下單結(jié)果信息。

雖然，這個信息和最終結(jié)果有偏差，但是在秒殺的場景，要求高性能是前提，結(jié)果的一致性，可以后期補償。

數(shù)據(jù)庫設(shè)計

講完了秒殺的處理流程，來談?wù)剶?shù)據(jù)庫設(shè)計要注意的點。

數(shù)據(jù)估算

前面說了秒殺場景需要注意隔離，這里的隔離包括“業(yè)務(wù)隔離”。就是說我們在秒殺之前，需要通過業(yè)務(wù)的手段，例如：熱場活動，問卷調(diào)查，歷史數(shù)據(jù)分析。通過他們?nèi)ス浪氵@次秒殺可能需要存儲的數(shù)據(jù)量。

這里有兩部分的數(shù)據(jù)需要考慮：

• 業(yè)務(wù)數(shù)據(jù)
• 日志數(shù)據(jù)

前者不言而喻是給業(yè)務(wù)系統(tǒng)用的。后者，是用來分析和后續(xù)處理問題訂單用的，秒殺完畢以后還可以用來復(fù)盤。

分表分庫

對于這些數(shù)據(jù)的存放，需要分情況討論，例如，MySQL 單表推薦的存儲量是 500W 條記錄(經(jīng)驗數(shù)字)。

如果估算的時候超過了這個數(shù)據(jù)，建議做分表。如果服務(wù)的連接數(shù)較多，建議進行分庫的操作。

數(shù)據(jù)隔離

由于大量的數(shù)據(jù)操作是插入，有少部分的修改操作。如果使用關(guān)系型數(shù)據(jù)來存儲，建議用專門的表來存放，不建議使用業(yè)務(wù)系統(tǒng)正在使用的表。

這個開頭提到了，數(shù)據(jù)隔離是必須的，一旦秒殺系統(tǒng)掛了，不會影響到正常業(yè)務(wù)系統(tǒng)，這個風險意識要有。表的設(shè)計除了 ID 以外，最好不要設(shè)置其他主鍵，保證能夠快速地插入。

數(shù)據(jù)合并

由于是用的專用表存儲，在秒殺活動完畢以后，需要將其和現(xiàn)有的數(shù)據(jù)做合并。其實，交易已經(jīng)完成，合并的目的也就是查詢。

這個合并需要根據(jù)具體情況來分析，如果對于那些“只讀”的數(shù)據(jù)，對于做了讀寫分離的公司，可以導入到專門負責讀的數(shù)據(jù)庫或者 NoSQL 數(shù)據(jù)庫中。

壓力測試

構(gòu)建了秒殺系統(tǒng)，一定會面臨上線，那么在上線之前壓力測試是必不可少的。

我們做壓力測試的目的是檢驗系統(tǒng)崩潰的邊緣在哪里?系統(tǒng)的極限在哪里?

這樣才能合理地設(shè)置流量的上限，為了保證系統(tǒng)的穩(wěn)定性，多余的流量需要被拋棄。

壓力測試的方法

合理的測試方法可以幫助我們對系統(tǒng)有深入的了解，這里介紹兩種壓力測試的方法：

• 正壓力測試
• 負壓力測試

正壓力測試。每次秒殺活動都會計劃，使用多少服務(wù)器資源，承受多少的請求量。

可以在這個請求量上面不斷加壓，直到系統(tǒng)接近崩潰或者真正崩潰。簡單的說就是做加法。

 

正壓力測試示意圖

負壓力測試。在系統(tǒng)正常運行的情況下，逐步減少支撐系統(tǒng)的資源(服務(wù)器)，看什么時候系統(tǒng)無法支撐正常的業(yè)務(wù)請求。

例如：在系統(tǒng)正常運行的情況下，逐步減少服務(wù)器或者微服務(wù)的數(shù)量，觀察業(yè)務(wù)請求的情況。說白了就是做減法。

 

負壓力測試示意圖

壓力測試的步驟

 

測試步驟

有了測試方法的加持，我們來看看需要遵循哪些測試步驟。下面的操作偏套路化，大家在其他系統(tǒng)的壓力測試也可以這么做，給大家做個參考。

第一，確定測試目標。與性能測試不同的是，壓力測試的目標是，什么時候系統(tǒng)會接近崩潰。比如：需要支撐 500W 訪問量。

第二，確定關(guān)鍵功能。壓力測試其實是有重點的，根據(jù) 2/8 原則，系統(tǒng)中 20% 的功能被使用的是最多的，我們可以針對這些核心功能進行壓力測試。例如：下單，庫存扣減。

 

關(guān)注核心服務(wù)

第三，確定負載。這個和關(guān)鍵服務(wù)的思路一致，不是每個服務(wù)都有高負載的，我們的測試其實是要關(guān)注那些負載量大的服務(wù)，或者是一段時間內(nèi)系統(tǒng)中某些服務(wù)的負載有波動。這些都是測試目標。

第四，選擇環(huán)境，建議搭建和生產(chǎn)環(huán)境一模一樣的環(huán)境進行測試。

第五，確定監(jiān)視點，實際上就是對關(guān)注的參數(shù)進行監(jiān)視，例如 CPU 負載，內(nèi)存使用率，系統(tǒng)吞吐量等等。

第六，產(chǎn)生負載，這里需要從生產(chǎn)環(huán)境去獲取一些真實的數(shù)據(jù)作為負載數(shù)據(jù)源，這部分數(shù)據(jù)源根據(jù)目標系統(tǒng)的承受要求由腳本驅(qū)動，對系統(tǒng)進行沖擊。

建議使用往期秒殺系統(tǒng)的數(shù)據(jù)，或者實際生產(chǎn)系統(tǒng)的數(shù)據(jù)進行測試。

第七，執(zhí)行測試，這里主要是根據(jù)目標系統(tǒng)，關(guān)鍵組件，用負載進行測試，返回監(jiān)視點的數(shù)據(jù)。

建議團隊可以對測試定一個計劃，模擬不同的網(wǎng)絡(luò)環(huán)境，硬件條件進行有規(guī)律的測試。

第八，分析數(shù)據(jù)，針對測試的目的，對關(guān)鍵服務(wù)的壓力測試數(shù)據(jù)進行分析得知該服務(wù)的承受上限在哪里。

對一段時間內(nèi)有負載波動或者大負載的服務(wù)進行數(shù)據(jù)分析，得出服務(wù)改造的方向。

總結(jié)

秒殺系統(tǒng)的特點，并發(fā)量大，資源有限，操作相對簡單，訪問的都是熱點數(shù)據(jù)。因此，我們需要把它從業(yè)務(wù)，技術(shù)，數(shù)據(jù)上做隔離，保證不影響到現(xiàn)有的系統(tǒng)。

因此，架構(gòu)設(shè)計需要分幾層來考慮，從客戶請求到數(shù)據(jù)庫存儲，到最后上線前的壓力測試。

 

簡易的思維導圖送給大家

思考順序如下，客戶端→代理層→應(yīng)用層→數(shù)據(jù)庫→壓力測試：

客戶端 90% 靜態(tài) HTML+10% 動態(tài) JS;配合 CDN 做好緩存工作。

接入層專注于過濾和限流。

應(yīng)用層利用緩存+隊列+分布式處理好訂單。

做好數(shù)據(jù)的預(yù)估，隔離，合并。

上線之前記得進行壓力測試。

作者：崔皓

簡介：十六年開發(fā)和架構(gòu)經(jīng)驗，曾擔任過惠普武漢交付中心技術(shù)專家，需求分析師，項目經(jīng)理，后在創(chuàng)業(yè)公司擔任技術(shù)/產(chǎn)品經(jīng)理。善于學習，樂于分享。目前專注于技術(shù)架構(gòu)與研發(fā)管理。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】