騰訊云基礎(chǔ)產(chǎn)品團(tuán)隊(duì)：繼承騰訊內(nèi)部沉淀十多年的虛擬化、計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等基礎(chǔ)能力，深度開(kāi)發(fā)KVM和SDN網(wǎng)絡(luò)虛擬化等底層技術(shù)，開(kāi)發(fā)高可用塊存儲(chǔ)和容器服務(wù)，為業(yè)界打造一系列高可用高性能的彈性云產(chǎn)品，以及覆蓋互聯(lián)網(wǎng)和傳統(tǒng)行業(yè)的綜合解決方案。

近日，騰訊云在業(yè)內(nèi)率先發(fā)布第二代云服務(wù)器CVM2.0，內(nèi)測(cè)一發(fā)布，就引來(lái)多家大企業(yè)爭(zhēng)相申請(qǐng)，第二代云服務(wù)器的強(qiáng)大之處是什么？究竟為何獲得企業(yè)的青睞？應(yīng)大家的要求，騰訊云基礎(chǔ)產(chǎn)品團(tuán)隊(duì)首次公開(kāi)亮相騰訊云第二代云服務(wù)器的獨(dú)門(mén)秘籍。

首先談?wù)劦诙品?wù)器的優(yōu)勢(shì)，為了解決用戶(hù)對(duì)計(jì)算網(wǎng)絡(luò)能力的強(qiáng)需求，騰訊云第二代云服務(wù)器軟硬件全面升級(jí)，第二代云服務(wù)器采用最新一代Intel v4 CPU，CPU性能最高可提升40%；搭配DDR4 內(nèi)存，內(nèi)存性能提升30%；其中搭配網(wǎng)絡(luò)增強(qiáng)版的高 IO 型/計(jì)算型實(shí)例，包轉(zhuǎn)發(fā)率（PPS）翻倍最高可達(dá)40w。

相比于前一代機(jī)型使用的Intel v3系列，第二代云服務(wù)器采用Intel v4的CPU架構(gòu)，整體性能大幅提升。同時(shí)更有高主頻的計(jì)算型，CPU主頻高達(dá)3.2GHz，搭配網(wǎng)絡(luò)增強(qiáng)型，顯著降低機(jī)器負(fù)載，提升計(jì)算和網(wǎng)絡(luò)性能，提高業(yè)務(wù)的流暢度。

接下來(lái)談?wù)劦诙品?wù)器具體的4項(xiàng)軟硬件配備：

一、3.2GHz超高主頻計(jì)算型

第二代云服務(wù)器推出CPU主頻為3.2GHz的超高主頻的計(jì)算型云服務(wù)器，是行業(yè)中推出的最高主頻服務(wù)器，滿(mǎn)足了眾多行業(yè)如游戲、移動(dòng)等高計(jì)算性能要求，計(jì)算能力爆表，游戲玩家永不掉線(xiàn)。

二、CPU、內(nèi)存硬件能力齊提升

二代機(jī)型采用Intel v4的CPU架構(gòu)，而一代機(jī)型使用的是Intel v3的CPU架構(gòu)，Intel官網(wǎng)發(fā)布，v4架構(gòu)相對(duì)于v3架構(gòu)整體性能較大提升。二代機(jī)型對(duì)內(nèi)存4通道的特性做了相應(yīng)適配后，相對(duì)于一代機(jī)型實(shí)測(cè)內(nèi)存帶寬，提升約50%。

如此大的性能提升，價(jià)格提升卻不到10%，在同類(lèi)型云服務(wù)器中性能最高，具有極優(yōu)性?xún)r(jià)比。

CPU性能數(shù)據(jù)： 

內(nèi)存性能數(shù)據(jù)：

三、網(wǎng)卡多隊(duì)列優(yōu)化，包轉(zhuǎn)發(fā)率爆表

隨著網(wǎng)絡(luò)IO帶寬的不斷提升，單核CPU不能完全滿(mǎn)足網(wǎng)卡的需求，通過(guò)多隊(duì)列網(wǎng)卡驅(qū)動(dòng)的支持，將各個(gè)隊(duì)列通過(guò)中斷綁定到不同的核上，以滿(mǎn)足網(wǎng)絡(luò)帶寬的需求。同時(shí)，也可以降低單個(gè)CPU的負(fù)載，提升系統(tǒng)的計(jì)算能力。

單隊(duì)列的瓶頸在哪？下面我們先分析下單隊(duì)列和多隊(duì)列的基本原理。

kernel從內(nèi)核版本2.6.21之前不支持多隊(duì)列特性，一個(gè)網(wǎng)卡只能申請(qǐng)一個(gè)中斷號(hào)，因此同一個(gè)時(shí)刻只有一個(gè)核在處理網(wǎng)卡收到的包，如圖1所示，協(xié)議棧通過(guò)NAPI輪詢(xún)收取各個(gè)硬件queue中的報(bào)文到圖2的net_device數(shù)據(jù)結(jié)構(gòu)中，通過(guò)QDisc隊(duì)列將報(bào)文發(fā)送到網(wǎng)卡。

圖1   2.6.21之前內(nèi)核協(xié)議棧

圖2  2.6.21之前net_device

內(nèi)核版本2.6.21開(kāi)始支持多隊(duì)列特性，當(dāng)網(wǎng)卡驅(qū)動(dòng)加載時(shí)，通過(guò)獲取的網(wǎng)卡型號(hào)，得到網(wǎng)卡的硬件queue的數(shù)量，并結(jié)合CPU核的數(shù)量，最終通過(guò)Sum=Min（網(wǎng)卡queue，CPU core）得出所要激活的網(wǎng)卡queue數(shù)量（Sum），并申請(qǐng)Sum個(gè)中斷號(hào)，分配給激活的各個(gè)queue。

如圖3，當(dāng)某個(gè)queue收到報(bào)文時(shí)，觸發(fā)相應(yīng)的中斷，收到中斷的核，將該任務(wù)加入到協(xié)議棧負(fù)責(zé)收包的該核的NET_RX_SOFTIRQ隊(duì)列中（NET_RX_SOFTIRQ在每個(gè)核上都有一個(gè)實(shí)例），在NET_RX_SOFTIRQ中，調(diào)用NAPI的收包接口，將報(bào)文收到CPU中如圖4的有多個(gè)netdev_queue的net_device數(shù)據(jù)結(jié)構(gòu)中。

這樣，CPU的各個(gè)核可以并發(fā)的收包，就不會(huì)應(yīng)為一個(gè)核不能滿(mǎn)足需求，導(dǎo)致網(wǎng)絡(luò)IO性能下降。

圖3   2.6.21之后內(nèi)核協(xié)議棧

圖4  2.6.21之后net_device

當(dāng)采用單隊(duì)列模式進(jìn)行網(wǎng)絡(luò)處理時(shí)，不能實(shí)現(xiàn)并行處理，網(wǎng)絡(luò)帶寬無(wú)法上去。當(dāng)應(yīng)用多隊(duì)列技術(shù)后，在網(wǎng)卡和驅(qū)動(dòng)層均是多隊(duì)列，每個(gè)隊(duì)列對(duì)應(yīng)不同的網(wǎng)卡中斷，這樣多個(gè)cpu能并發(fā)的處理網(wǎng)絡(luò)報(bào)文，提升性能。

二代機(jī)型不但將多隊(duì)列技術(shù)應(yīng)用在宿主機(jī)上，而且成功的將該技術(shù)應(yīng)用到了客戶(hù)機(jī)上，實(shí)測(cè)（1000M網(wǎng)卡、宿主機(jī)48core、客戶(hù)機(jī)12core）最高可以達(dá)到40w pps(256B)的網(wǎng)絡(luò)流量，超高的包轉(zhuǎn)發(fā)率，滿(mǎn)足更多客戶(hù)同時(shí)在線(xiàn)。

四、高精度時(shí)鐘源性能優(yōu)化 優(yōu)化業(yè)務(wù)流暢度 

騰訊云提供業(yè)內(nèi)最優(yōu)秀的游戲解決方案。游戲服務(wù)器典型特征是大量網(wǎng)絡(luò)流量和大量CPU運(yùn)算。為提供更加優(yōu)質(zhì)的游戲解決方案，我們?cè)诩?xì)節(jié)之處作足優(yōu)化以提升客戶(hù)業(yè)務(wù)流暢度。 

在實(shí)時(shí)類(lèi)的游戲中，游戲服務(wù)器會(huì)進(jìn)行大量時(shí)間度量以實(shí)現(xiàn)更好的游戲效果。這類(lèi)服務(wù)器大部分使用 Windows Server。在Windows下，進(jìn)行精確時(shí)間度量首選API 是 QueryPerformanceCounter ，這個(gè)在游戲編程中非常普遍。另外，系統(tǒng)自身也到處使用這個(gè)API，以進(jìn)行性能相關(guān)的統(tǒng)計(jì)，所以提升虛擬化環(huán)境下對(duì)該API的支持，會(huì)整體提升虛擬主機(jī)的性能。

主流的虛擬化平臺(tái)，比如KVM 和 XEN， 對(duì)這個(gè)API 的傳統(tǒng)處理流程如下圖所示：

虛擬化實(shí)現(xiàn)對(duì)API 的支持，需要從子機(jī) VM_EXIT 到母機(jī)，母機(jī)填充數(shù)據(jù)后再VM_ENTRY 回到子機(jī)。這樣增加了虛擬機(jī)退出的流程，而虛擬機(jī)退出是虛擬化要極力避免的事情。退出越多，性能越差。

騰訊云的Windows主機(jī)針對(duì)上述問(wèn)題，進(jìn)行了專(zhuān)門(mén)的優(yōu)化，獲取效率非常高。改進(jìn)后API 完全在子機(jī)內(nèi)部完成，不需要退出到母機(jī)，性能大幅提高，優(yōu)化效果顯著。

調(diào)用QueryPerformanceCounter API 的速度提升約20倍，網(wǎng)絡(luò)高負(fù)載下，CPU 利用率降低約 30% 。為這個(gè)優(yōu)化非常適合游戲服務(wù)器，可以顯著降低機(jī)器負(fù)載，提升性能，提高游戲流暢度。

調(diào)用 QueryPerformanceCounter 1000萬(wàn)次，耗時(shí)僅需要1985ms，屬業(yè)界領(lǐng)先 。

綜上，第二代云服務(wù)器在軟硬件上的技術(shù)創(chuàng)新，從根本上加速了企業(yè)應(yīng)用云計(jì)算的和效率，將全行業(yè)的運(yùn)算性能提升到了一個(gè)全新的臺(tái)階。