沒有最多，只有更多！

誰也沒有料到，淘寶會在2011年11月11日（光棍節(jié)）那天創(chuàng)下史無前例的電子商務單日銷售記錄。在經過前期投入數億元大手筆的廣告宣傳后，2011年11月10日23點，淘寶人就在緊張地期待著2011“光棍節(jié)”的結果。

去年11月11日凌晨剛剛開始的8分鐘內，淘寶商城支付寶交易額突破1億元，20分鐘實現2億交易額，1小時實現4.39億交易額。淘寶商城官方數據顯示，“光棍節(jié)”期間訂單數突破2000萬單，“支付寶”交易額突破33.6億，為去年同日交易量的近4倍；而淘寶網、淘寶商城“支付寶”交易總額突破了52億，這個數字超過購物天堂香港6天的零售總額。

事實上，去年11月11日當天除了淘寶銷售及市場人員在密切關注交易情況外，一支幕后隊伍——技術團隊也一直在緊張地盯著交易結算的峰值。阿里集團共享技術平臺核心系統(tǒng)研發(fā)產品經理何燕鋒就是其中的一員。好在一切都平安地度過了。

頂住“光棍節(jié)”瘋狂沖擊

忽如一夜春風來，千樹萬樹梨花開。談到“光棍節(jié)”以及隨后的“12.12”兩次單日高交易量，何燕鋒認為是CDN內容分發(fā)網絡系統(tǒng)確保了淘寶應對交易峰值和大交易量的實現。

“淘寶CDN內容分發(fā)網絡系統(tǒng)承擔了‘光棍節(jié)’將近90%以上的訪問，當天的流量達到了800Gbps的帶寬。目前淘寶在全國布了100多個點，用戶訪問和交易時，不需要從主數據庫調用圖片等，而是只需要就近從CDN系統(tǒng)上調用即可。這樣大大提高了消費者的瀏覽速度”何燕鋒說，“2012年淘寶的CDN節(jié)點部署將會接近300個，每個節(jié)點服務的帶寬是10Gbps，屆時用戶會有更好的體驗。”。

在杭州市華數機房，DOSERV記者看到了部署在這里的淘寶CDN節(jié)點機，這也是淘寶首批部署的低功耗CDN節(jié)點機之一，主要針對通過杭州廣電接入互聯(lián)網的用戶。

淘寶CDN節(jié)點是一個小型的服務器集群，由存儲系統(tǒng)、調度系統(tǒng)和網絡系統(tǒng)組成。其中，調度系統(tǒng)由兩臺基于英特爾至強的服務器組成，負責把用戶的請求分發(fā)給緩存系統(tǒng)中的不同服務器，讓它們響應請求；網絡系統(tǒng)則由兩臺交換機組成雙鏈路，確保系統(tǒng)的可靠性；緩存系統(tǒng)則由7個2U機架組成，存放在一個機柜中，每個2U機架里部署了4個刀片，而每個刀片上有2臺單獨的基于英特爾凌動（ATOM）處理器的低功耗服務器。這樣存儲系統(tǒng)總計有56臺服務器組成。

低功耗所以更高效

由于CDN節(jié)點托管在華數機房，一般而言，一個機柜能最多只能承受2200瓦的功耗，二十多臺服務器的功耗就超過了2200瓦的閥值。那淘寶CDN節(jié)點的存儲系統(tǒng)是如何將56臺服務器存放在一個機柜中的呢？何燕鋒介紹，由于采用了英特爾低功耗處理器作為服務器的“芯”，所以大大降低了服務器的功耗。普通處理器的功耗為80瓦左右，而ATOM處理器只有13瓦，因而即使是在2U機架中部署了8臺服務器，總功耗才200瓦，7個機柜就是1400多瓦，遠沒有達到一個機柜的功耗上限。

而淘寶CDN節(jié)點服務器之所以能做到如此低的功耗，原因在于淘寶聯(lián)合超微和英特爾對服務器進行了全方位的“改造”。用何燕鋒的話來說，就是完全針對CDN加速的需要，將不需要的功能和配件全部舍棄了。同時針對CDN屬于I/O密集型的特點，采用英特爾低功耗處理器替代傳統(tǒng)的服務器處理器，弱化了CPU的計算能力，強化了輸入輸出能力。

另外考慮到熱插拔的需要，服務器的硬盤和系統(tǒng)通過一個主板隔離開，一旦某塊硬盤出現故障，技術人員不需要宕機就能將壞的硬盤更換掉。目前，淘寶給每個2U機柜配24塊硬盤，也即每臺服務器有3塊硬盤來存取數據。這3塊硬盤又按照1塊SSD硬盤和2塊SATA硬盤的配比，將熱點數據存放在SSD盤上，而非熱點數據則存放在SATA盤上。這樣的配比大大提高了用戶訪問時的數據快速調取和命中的幾率。而實現這種機制的，正是淘寶自己開發(fā)的緩存管理系統(tǒng)。

在華數機房試驗成功后，淘寶又在青島、廈門和佛山等地部署了同樣的CDN節(jié)點，總的服務器數量超過了800臺。正是這些CDN分發(fā)服務器，幫助淘寶順利渡過了“光棍節(jié)”等超大交易量的考驗。

CDN節(jié)點機的前世今生

CDN節(jié)點機在“光棍節(jié)”交易高峰中居功至偉，然而查遍市場上的服務器，卻較少見其蹤跡，這又為何呢？何燕鋒表示，這是淘寶、超微和英特爾聯(lián)合研制的專有產品，專門為CDN分發(fā)量身定制。參與該項目的阿里集團技術品牌部高級研究員（副總裁）章文嵩博士則向DOSERV記者介紹了節(jié)點機中低功耗服務器的來龍去脈。

淘寶技術團隊在多年的實踐中發(fā)現，對于像淘寶這樣的互聯(lián)網應用而言，大部分是數據密集型的訪問，I/O會特別忙，但是CPU卻相對空閑。假如用低功耗CPU來做服務器處理平臺的話，將會是一個很好的選擇，因為低功耗CPU整體處理能力會稍微弱一點，但是功耗會特別低。為此，以章文嵩博士為首的技術團隊研究了國外的案例，對比了 ARM、英特爾和AMD的處理器，并最終選擇了英特爾的低功耗處理器作為低功耗服務器的“芯”。

“淘寶在2009年底開始啟動低功耗服務器項目，那時我們也在思考和比較，因為ARM也是一種選擇，MIPS也是一種選擇。當時考慮到遷移的成本，因為不同指令體系的架構遷移成本會比較高，比如操作系統(tǒng)就需要兩套等。另外，新平臺的穩(wěn)定性也需要時間來證明，客戶對新平臺的接受程度等等，都是需要考慮的因素。”章文嵩博士表示，“最終我們選了Intel x86架構處理器來做低功耗服務器。”

2010年8月，在淘寶的推動下，Intel聯(lián)合超微根據淘寶的需求設計了記憶ATOM處理器的低功耗服務器，并提供原型機給淘寶進行測試。

最初，原型機的測試結果只能到達900 Qps(每秒處理請求數)，未能達到1000qps的設計要求。后來，通過淘寶的優(yōu)化，將硬盤的控制模式由IDE改為AHCI，處理能力達到了1300qps，遠遠超過了設計能力。并且后續(xù)通過優(yōu)化IO的性能，最終單片服務器的能力到達了1900qps，至此通過軟件的優(yōu)化，使得低功耗的服務性能完全超出了預期。

一切為了綠色

章文嵩博士坦言，CDN節(jié)點低功耗服務器只是開始，未來淘寶還會根據需要定制其它類型的低功耗服務器。更難能可貴的是，淘寶并沒有將自己的研制成果鎖進“保險柜”里，當做獨家的財富。

“我們已經把CDN節(jié)點低功耗服務器的規(guī)格以及調優(yōu)過程，發(fā)布到了Green Compute.org網站上，希望能有更多的企業(yè)受益。”章文嵩博士表示，“淘寶的定制服務器，不僅淘寶自己用，而且它還是面向全行業(yè)的，可以賣給別人，淘寶也鼓勵廠商賣給其他用戶。”

目前，淘寶還在積極聯(lián)系騰訊、百度等互聯(lián)網企業(yè)，希望能聯(lián)合起來，共同推動中國的綠色計算的發(fā)展。章文嵩博士呼吁，希望有更多的企業(yè)參與到綠色計算的項目中，共同推動包括低功耗服務器定制、高性能服務器定制、機柜的設計、直流供電、數據中心空調、數據中心設計等IDC“計算”產業(yè)的“綠色”化。

“眾人拾柴火焰高！只有很多企業(yè)聚在一起，才能把綠色計算做得更大更深，才會對業(yè)界真正有幫助。只有大家把經驗分享出來，才會對對整個產業(yè)有很大的促進。”章文嵩博士強調。