用戶總希望有一種簡(jiǎn)單、高效的度量標(biāo)準(zhǔn)，來(lái)量化評(píng)價(jià)服務(wù)器系統(tǒng)，以便作為選型的依據(jù)。但實(shí)際上，服務(wù)器的系統(tǒng)性能很難用一兩種指標(biāo)來(lái)衡量。包括 TPC、SPEC、SAP SD、Linpack和HPCC在內(nèi)的眾多服務(wù)器評(píng)測(cè)體系，從處理器性能、服務(wù)器系統(tǒng)性能、商業(yè)應(yīng)用性能直到高性能計(jì)算機(jī)的性能，都給出了一個(gè)量化的評(píng)價(jià)指標(biāo)。在如此多的標(biāo)準(zhǔn)中，用戶該如何選擇最適合自身應(yīng)用環(huán)境的評(píng)價(jià)體系呢?這里，我們選擇了應(yīng)用面較廣泛的TPC和SPEC，作一個(gè)深入介紹。

■ 走出誤區(qū)

深入TPC-C指標(biāo)

TPC體系是影響最大的評(píng)測(cè)基準(zhǔn)之一，尤其近兩年，國(guó)內(nèi)媒體對(duì)TPC指標(biāo)的報(bào)道可謂海量。但有多少用戶真正了解其中的含義呢?本文以TPC-C為例，讓用戶深入了解這項(xiàng)基準(zhǔn)測(cè)試。

tpmC值在國(guó)內(nèi)外被廣泛用于衡量服務(wù)器系統(tǒng)的事務(wù)處理能力。但究竟什么是tpmC值呢?筆者曾向一些用戶、專業(yè)媒體記者乃至某些國(guó)外大公司的技術(shù)人員問(wèn)過(guò)這個(gè)問(wèn)題，但回答的精確度與tpmC值的流行程度差異甚遠(yuǎn)。不少人將之誤寫為TPMC，甚至與TPC組織混為一談。

TPC(Transactionprocessing Performance Council，事務(wù)處理性能委員會(huì))是由數(shù)十家會(huì)員公司創(chuàng)建的非盈利組織，總部設(shè)在美國(guó)。TPC的成員主要是計(jì)算機(jī)軟硬件廠家，而非計(jì)算機(jī)用戶，其功能是制定商務(wù)應(yīng)用基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范、性能和價(jià)格度量，并管理測(cè)試結(jié)果的發(fā)布。

TPC不給出基準(zhǔn)程序的代碼，而只給出基準(zhǔn)程序的標(biāo)準(zhǔn)規(guī)范。任何廠家或其他測(cè)試者都可以根據(jù)規(guī)范，最優(yōu)地構(gòu)造出自己的測(cè)試系統(tǒng)(測(cè)試平臺(tái)和測(cè)試程序)。為保證測(cè)試結(jié)果的完整性，被測(cè)試者(通常是廠家)必須提交給TPC一套完整的報(bào)告(Full Disclosure Report)，包括被測(cè)系統(tǒng)的詳細(xì)配置、分類價(jià)格和包含5年維護(hù)費(fèi)用在內(nèi)的總價(jià)格。該報(bào)告必須由TPC授權(quán)的審核員核實(shí)(TPC本身并不做審計(jì))。 TPC在全球只有不到10名審核員，全部在美國(guó)。

TPC推出過(guò)11套基準(zhǔn)程序，分別是正在使用的TPC-App、TPC-H、TPC-C、TPC-W，過(guò)時(shí)的TPC-A、TPC-B、 TPC-D和TPC-R，以及因?yàn)椴槐粯I(yè)界接受而放棄的TPC-S(Server專門測(cè)試基準(zhǔn)程序)、TPC-E(大型企業(yè)信息服務(wù)測(cè)試基準(zhǔn)程序)和 TPC-Client/Server。而目前最為“流行”的TPC-C是在線事務(wù)處理(OLTP)的基準(zhǔn)程序，于1992年7月完成，后被業(yè)界逐漸接受。

TPC-C使用三種性能和價(jià)格度量，其中性能由tpmC(transactions per minute，tpm)衡量，C指TPC中的C基準(zhǔn)程序。它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單個(gè)數(shù)。TPC-C還經(jīng)常以系統(tǒng)性能價(jià)格比的方式體現(xiàn)，單位是$/tpmC，即以系統(tǒng)的總價(jià)格(單位是美元)/tpmC數(shù)值得出。

解讀tpmC

從TPC-C的定義不難知道，這套基準(zhǔn)程序是用來(lái)衡量整個(gè)IT系統(tǒng)的性能，而不是評(píng)價(jià)服務(wù)器或某種硬件系統(tǒng)的標(biāo)準(zhǔn)，而且tpmC數(shù)值的高低直接受到各個(gè)環(huán)節(jié)的影響，右表大概可以說(shuō)明系統(tǒng)設(shè)置對(duì)tpmC測(cè)試的影響。此處的“IT系統(tǒng)”包括服務(wù)器、外設(shè)(如硬盤或 RAID)、服務(wù)器端操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件、客戶端及其操作系統(tǒng)、數(shù)據(jù)庫(kù)軟件和網(wǎng)絡(luò)連接等。因此，如何解讀tpmC數(shù)值會(huì)因不同的采購(gòu)需求有非常大的差異。

以服務(wù)器為例。在很多廠家的TPC測(cè)試系統(tǒng)中，服務(wù)器的價(jià)格只是系統(tǒng)總價(jià)格的25%或更小，而硬盤的價(jià)格有可能占到總價(jià)格的30%以上，因?yàn)門PC-C要求被測(cè)系統(tǒng)必須保存180天的事務(wù)記錄(這一趨勢(shì)從一些最新的TPC-C測(cè)試結(jié)果來(lái)看，會(huì)愈演愈烈)。如果同樣的服務(wù)器被用到用戶的環(huán)境中，廠家報(bào)的tpmC值就意義不大，因?yàn)橛脩舻膶?shí)際系統(tǒng)與廠家原來(lái)用于TPC測(cè)試的系統(tǒng)大不一樣。當(dāng)同樣的主機(jī)用在不同的系統(tǒng)中時(shí)，tpmC值可能有相當(dāng)大的變化，現(xiàn)在許多用戶還沒(méi)有意識(shí)到這一點(diǎn)。

尤其需要服務(wù)器采購(gòu)用戶注意的是，tpmC指標(biāo)更多的是衡量從Client到終端網(wǎng)絡(luò)的性能區(qū)域(如左圖所示)，而不是通常誤認(rèn)為的服務(wù)器到企業(yè)端網(wǎng)絡(luò)的性能。由此可見(jiàn)，如果用戶是建立一套全新的業(yè)務(wù)系統(tǒng)，那么無(wú)妨多借鑒tpmC的性能指標(biāo)，如果只是采購(gòu)某種或某些硬件設(shè)備，則需要參考更多的指標(biāo)。

對(duì)于tpmC數(shù)值著迷的用戶而言，一個(gè)現(xiàn)實(shí)問(wèn)題是，實(shí)現(xiàn)高tpmC指標(biāo)的代價(jià)是否能夠承受，畢竟TPC-C都是很復(fù)雜的基準(zhǔn)程序，做一個(gè)嚴(yán)格的測(cè)試非常消耗資源，廠商通常不會(huì)給TPC報(bào)告出全部花費(fèi)的金錢和時(shí)間。

實(shí)際上，正因?yàn)閠pmC(其他評(píng)測(cè)指標(biāo)也大都一樣)受系統(tǒng)優(yōu)化影響較大，業(yè)界對(duì)于是否應(yīng)該在測(cè)試中進(jìn)行優(yōu)化向來(lái)爭(zhēng)議頗多。在1993年, 當(dāng)時(shí)三大IT公司的專家就對(duì)OLTP性能測(cè)試的優(yōu)化提出過(guò)反對(duì)意見(jiàn)——DEC的 Jim Gray (現(xiàn)為TPC-C委員會(huì)專家) 與Walt Kohler 、天騰公司(TANDEN)的Charles Levine 和IBM的Steve Kiss共同發(fā)表了對(duì)OLTP性能測(cè)試指標(biāo)是否應(yīng)該進(jìn)行人為優(yōu)化的看法:

“一個(gè)好的性能測(cè)試指標(biāo)是不會(huì)依賴于特殊情況下的優(yōu)化。最理想的情況應(yīng)該是：一個(gè)測(cè)試指標(biāo)在測(cè)試過(guò)程中所表現(xiàn)出的性質(zhì)和能力, 以及對(duì)測(cè)試所做的優(yōu)化能夠確實(shí)提供對(duì)現(xiàn)實(shí)世界中用戶實(shí)際應(yīng)用的性能改進(jìn)。然而，事與愿違，某些廠商迫于標(biāo)準(zhǔn)測(cè)試指標(biāo)所帶來(lái)的巨大市場(chǎng)壓力，他們花費(fèi)巨大的精力在如何改進(jìn)測(cè)試結(jié)果的同時(shí)還能降低價(jià)格比率，而全然不顧所做的這一切優(yōu)化究竟是否給用戶帶來(lái)了真實(shí)的利益。”

評(píng)測(cè)組織網(wǎng)站:

http://tpc.org/

http://www.spec.org/

Storage:

http://www.storageperformance.org

【編輯推薦】

1. Clojure世界：如何做性能測(cè)試
2. Linux服務(wù)器的16個(gè)監(jiān)控命令
3. IE8安全新功能實(shí)測(cè)，到底給不給力？