[[403151]]

最近幾天OceanBase TPC-H勇奪世界第一的PR宣傳被中文自媒體先后報道，興奮之余，筆者也想到，根據(jù)這些年對TPC機構(gòu)以其審計師們的接觸，對TPC benchmark及其審計和發(fā)布流程有了一些了解，也聽到一些坊間的逸聞趣事，所以在恭喜OceanBase榮耀奪冠的時候，今天咱們也換個角度隨便聊聊關于TPC這個基準測試的事情。

1.誰在做TPC-H測試?

就先從TPC-H聊起吧，我們可以看到各個主流傳統(tǒng)數(shù)據(jù)庫廠商，在近些年早已經(jīng)不再發(fā)表TPC-H的審計報告了，從而近年TPC-H越來越成為硬件設備廠商展示自己服務器處理能力的宣傳指標之一了。所以我們今天在TPC的官方網(wǎng)頁 [1] 就會看到很“有趣”的一幕，明明是數(shù)據(jù)庫性能的基準測試，但結(jié)果列表(所謂的“榜單”)一眼望去幾乎都是硬件廠商：系統(tǒng) (System) 一欄幾乎都是服務器型號，測試贊助商 (Company/Sponsor) 幾乎都是設備廠商，除了OceanBase和Alibaba Cloud AnalyticDB是例外。而列表上不同的設備商往往會選用相同的數(shù)據(jù)庫產(chǎn)品做基準測試，例如在TPC-H中近些年測試使用最多的就是微軟的SQL Server Enterprise Edition?？吹竭@里，我們大概會對TPC-H在業(yè)界中的作用解讀開始有了一些不一樣的想法了。

那為什么會這樣呢?首先我們來看看TPC-H這個benchmark。TPC-H 這個benchmark包含了非常嚴苛的ACID測試以及查詢性能測試，但嚴格來講并不是HTAP的TP和AP并存高并發(fā)的場景，而是在驗證ACID基礎上的一些相對簡單(對比TPC-DS)的OLAP查詢的性能測試。其中AP的并發(fā)查詢根據(jù)測試數(shù)據(jù)量 (scale factor) 不同，一般只有2-11個并發(fā)(在TPC-H中每個并發(fā)被稱為一個stream)，在每個stream內(nèi)22個查詢順序執(zhí)行。而整個測試中TP只有一個并發(fā) (stream)，且這個TP的stream只包含對Order和Lineitem兩張表的千分之一左右數(shù)據(jù)的寫入和刪除，一般情況下只占每個AP stream執(zhí)行耗時的很短時間，例如就以OceanBase這次公開發(fā)表的審計結(jié)果看，Performance RUN1的AP stream1耗時為1382秒，而TP的耗時僅不到7秒就結(jié)束了，對AP workload中的大部分查詢幾乎影響很小。并且由于TPC-H的數(shù)據(jù)模型過于簡單，數(shù)據(jù)分布單一，對于傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的挑戰(zhàn)并不是很大。再加上各個數(shù)據(jù)庫廠商及學術界對于TPC-H這個benchmark已經(jīng)研究的非常透了，哪個查詢該做什么優(yōu)化，甚至多年前就有專門的論文來討論 [2]，所以總體來看，TPC-H對于傳統(tǒng)數(shù)據(jù)庫系統(tǒng)來說沒有什么挑戰(zhàn)，對其宣傳作用也有限。而對以OceanBase為代表的數(shù)據(jù)庫“新勢力”來說，TPC-H難度適中，又比較全面地評測包括ACID在內(nèi)的數(shù)據(jù)庫系統(tǒng)能力，發(fā)表測試結(jié)果可以為其帶來一定的可信度(我們后面再說為什么是“一定的”而不是“絕對的”)，可以來作為商業(yè)推廣宣傳之一。

2.TPC-H的參考價值有多大?

這里再說說基準測試結(jié)果的可信度。首先TPC有嚴格的第三方審計制度，是常年與TPC合作的審計組織，這個組織里的審計師 (auditor) 都是數(shù)據(jù)庫領域有幾十年經(jīng)驗的老專家，有些更是直接參與到benchmark的制定和修改中。整個審計流程非常嚴格，據(jù)說甚至連審計需要提供的日志輸出的格式都有嚴格要求。按理說在這樣嚴格的審計流程下，審計結(jié)果一定非?？尚?。Yes and No!

審計流程的嚴格沒有問題，但這里TPC對包括TPC-H, TPC-DS, TPC-C在內(nèi)的TPC絕大數(shù)benchmark結(jié)果都要求是公開可測的，是公開發(fā)布的產(chǎn)品版本。此外TPC對哪些特殊優(yōu)化是允許還是不允許都有要求，傳統(tǒng)數(shù)據(jù)庫廠商也都曾針對這些benchmark做了很多有針對性的優(yōu)化，而個別優(yōu)化無法在系統(tǒng)中默認打開，需要開關控制，而這樣的特殊優(yōu)化是不能被TPC認可接受的，所以聽說也曾經(jīng)出現(xiàn)過個別傳統(tǒng)數(shù)據(jù)庫廠商不得不撤回并重新發(fā)表某個TPC結(jié)果?；氐酱笮头植际降臄?shù)據(jù)庫系統(tǒng)，審計師現(xiàn)在一般不會直接登錄來親自測試驗證產(chǎn)品，往往會審查測試流程和腳本，并讓各個廠商自己提供證明，這些證明包括測試流程的審計日志，測試結(jié)果，正式版本的證明，所用硬件系統(tǒng)的價格證明，公開發(fā)售或提供服務(云產(chǎn)品)的證明等。有些時候這些證明并不能完全被證實，所以每次結(jié)果發(fā)布后，會有三個月的公示期，來讓公眾(包括競爭對手)來驗證。但是對于超大集群的測試結(jié)果，一般很少有人會有資源去驗證的，而對于云上產(chǎn)品，各個廠商也可以有方法來規(guī)避限制。所以總體來說，這個結(jié)果的可信度從技術角度一般沒有問題，但從TPC公開可測產(chǎn)品的要求來看，有時又無法完全保證。

再來看看TPC-DS。這項基準測試的第一家“上榜”廠商是國內(nèi)星環(huán)，這也是TPC-DS基準推出后做的第一次官方審計測試，所以當時其實是星環(huán)幫助TPC一起解決了很多審計流程細節(jié)問題，這也是為什么星環(huán)當年的審計花費了很長時間。之后的阿里云的Cloud AnalyticDB和Cloud E-MapReduce兩個產(chǎn)品，得益于星環(huán)審計結(jié)果的公開測試腳本和文檔，在測試流程上可以少走一些彎路。這里也八卦一下，聽說阿里云這兩個產(chǎn)品有內(nèi)部競爭所以在TPC-DS上時有PK，兩年內(nèi)多次的審計測試讓TPC-DS的第三方審計公司這兩年的業(yè)務非常紅火，中國公司對于打榜的熱情應該著實讓TPC和其審計組織感動，據(jù)說每次審計的費用不菲，想來這也讓審計公司這兩年的業(yè)務更繁忙收益更好了，甚至聽說很多時候要提前很久來預約審計師的檔期時間。

3.云時代我們還要刷榜TPC嗎?

目前為止，我們看到TPC-DS的測試成績列表上基本上都是被中國公司占據(jù)，而國外特別是美國公司很少，這里面有不同的原因。首先像AWS Redshift，其TPC-DS默認開箱性能就非常優(yōu)秀了，而且其產(chǎn)品本身的市場知名度和地位，不需要再借助TPC-DS來宣傳，就像傳統(tǒng)數(shù)據(jù)庫廠商已經(jīng)很少去搞審計測試TPC-H這件事一樣了。而像Snowflake這樣的新興云數(shù)倉廠商，之前一直對于被公開(特別是被競爭對手)測試非常敏感，其TPC-DS性能一直比較“神秘”，期待以后可以看到其標準審計結(jié)果數(shù)據(jù)。國內(nèi)某廠商據(jù)說在2019年也曾經(jīng)聯(lián)系TPC來做審計，但由于上了美國實體限制名單，TPC只得退回其審計費用沒有再繼續(xù)。所以現(xiàn)在除了阿里云的兩個產(chǎn)品外，后來星環(huán)和華三也分別做過審計測試，其結(jié)果在TPC官網(wǎng)上都可以看到，其中星環(huán)第二次提交的成績還是非常不錯的，超過了阿里云兩款產(chǎn)品第一次“刷榜”的成績，但最近有一年的時間沒有再看到阿里云這兩個產(chǎn)品發(fā)表最新結(jié)果了。在某中文自媒體對OceanBase產(chǎn)品負責人的采訪文章中，文章作者也很期待OceanBase的TPC-DS審計結(jié)果發(fā)表，不知道是不是會再次掀起阿里云和OceanBase以及其它國內(nèi)數(shù)據(jù)庫“新勢力”的新一輪“刷榜”熱情，讓我們拭目以待。

最后再來看TPC-C，這個基準測試的難度和“含金量”筆者個人認為要遠高于TPC-H，這是真正衡量一個TP系統(tǒng)的綜合能力。但是和TPC-H一樣，大多數(shù)傳統(tǒng)數(shù)據(jù)庫廠商因為各種原因已經(jīng)幾乎不再審計和發(fā)表這項基準測試的結(jié)果了，更多的是一些設備商或集成商。而傳統(tǒng)廠商不再“刷榜”的另一個原因是其架構(gòu)的擴展性達到相對瓶頸了，而這也是OceanBase可以利用其水平擴展的能力來“稱霸”榜首的一個重要原因。

好了，筆者今天就簡單地隨想隨寫了一些關于TPC的事情，個人認為，TPC-H打榜有意義，但從技術上來看意義有限，而TPC-C和TPC-DS相對的技術挑戰(zhàn)會更高一些。另一方面，現(xiàn)在國內(nèi)新興數(shù)據(jù)庫技術及產(chǎn)品越來越多，作為國家重點發(fā)展的基礎系統(tǒng)軟件，對于中國的數(shù)據(jù)庫技術發(fā)展是非常好的一件事，但我們也要看到數(shù)據(jù)庫技術需要長期的積累沉淀和創(chuàng)新，要小心不要為了打榜出名而打榜，造成國內(nèi)廠商的“打榜內(nèi)卷”，而是真正能研發(fā)出對國家對民生有實際意義和技術突破的新技術新產(chǎn)品。

References:

[1]TPC,"TPC-H official results," [Online]. Available: http://tpc.org/tpch/results/tpch_last_ten_results5.asp?version=3 .

[2]T. N. a. O. E. Peter Boncz, "TPC-H Analyzed: Hidden Messages and Lessons Learned from an Influential Benchmark," [Online]. Available: https://homepages.cwi.nl/~boncz/snb-challenge/chokepoints-tpctc.pdf.

本文轉(zhuǎn)載自微信公眾號「楊建榮的學習筆記」，可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系楊建榮的學習筆記公眾號。