11月18至21日，代表高性能計算和存儲行業(yè)最高水平的年度盛會SuperComputing 2019在美國丹佛舉行，與計算性能Top500榜單相對平穩(wěn)的排名和趨勢相比，IO500榜單的競爭顯得異常激烈。焱融科技本次攜手科大訊飛基礎(chǔ)架構(gòu)團(tuán)隊，在焱融科技YRCloudFile的基礎(chǔ)之上，進(jìn)行了大量創(chuàng)新性開發(fā)和調(diào)優(yōu)，最終提交的IO500十節(jié)點性能測試數(shù)據(jù)在激烈的比拼中位列全球第六。相對于上半年的成績，存儲性能有了400%的提升。這次聯(lián)合測試的成功經(jīng)驗，標(biāo)志著焱融科技與國內(nèi)頂級人工智能企業(yè)在技術(shù)攻關(guān)過程中取得了較大突破。

從發(fā)布的結(jié)果上看，焱融科技本次測試的結(jié)果比上半年提升了4倍。這得益于焱融科技前期與科大訊飛的緊密溝通，讓我們對人工智能這種需要高性能存儲支持的典型場景有了更深入的理解。在此基礎(chǔ)上，雙方工程師做了針對性的開發(fā)和優(yōu)化，從而獲得了滿意的成績。

在《最新全球IO500名單出爐，焱融云躋身存儲廠商Top10》一文中，我們對IO500做了基本的介紹，很多客戶和同行對IO500表現(xiàn)出強(qiáng)烈的興趣。在此我們再深度剖析一下IO500，進(jìn)而了解為何眾多高性能存儲和計算的行業(yè)領(lǐng)導(dǎo)者對該榜單都高度關(guān)注的原因。

總的來說，IO500十節(jié)點測試共包含了12項測試任務(wù)，測試限制在10個客戶端上執(zhí)行，評估總體集群的性能表現(xiàn)。這12項測試模擬了各種或簡單或苛刻的IO場景，涉及數(shù)據(jù)吞吐、元數(shù)據(jù)等方面操作。以下我們按執(zhí)行順序來看這些測試任務(wù)的含義，并分析這些測試背后對應(yīng)的實際應(yīng)用場景：

1）ior_easy_write:

多個客戶端、多個任務(wù)、并發(fā)地、順序地、獨立地向存儲集群中寫數(shù)據(jù)，這一項主要測試存儲集群的寫入能力。默認(rèn)每個任務(wù)寫入9.9TB，200個任務(wù)會寫入PB級的數(shù)據(jù)，這個測試模擬了傳統(tǒng)HPC寫入密集型應(yīng)用場景。

2）mdtest_easy_write：

多個客戶端、多個任務(wù)、并發(fā)地、獨立地向存儲集群中創(chuàng)建大量空文件，每個任務(wù)獨占一個目錄，這一項主要測試存儲集群元數(shù)據(jù)的處理能力。默認(rèn)每個任務(wù)寫90萬文件，200個任務(wù)共寫入1.8億文件。這個測試模擬了新興的人工智能場景中寫入海量文件的場景，側(cè)重于元數(shù)據(jù)性能的測試。

3）ior_hard_write：

多個客戶端、并發(fā)地、共享地寫同一個文件，每個任務(wù)每次寫的數(shù)據(jù)量是47008 Bytes，這一項主要測試協(xié)同寫單個文件。默認(rèn)每個任務(wù)要寫190萬次，每次寫47008 Bytes。這一測試模擬的是傳統(tǒng)HPC場景，多個計算任務(wù)同時更新同一個文件時，文件系統(tǒng)鎖以及并發(fā)寫入的能力。

4）mdtest_hard_write：

多個客戶端、并發(fā)地創(chuàng)建大量文件，創(chuàng)建文件后，會寫3901Bytes數(shù)據(jù)，所有任務(wù)的文件都寫到同一個目錄下。默認(rèn)每個任務(wù)寫95萬文件，200個任務(wù)共寫入1.9億文件。這個測試也是模擬新興的人工智能場景中寫入海量文件的場景，與mdtest_easy_write側(cè)重元數(shù)據(jù)性能測試不同的是，mdtest_hard_write會同時考察文件系統(tǒng)數(shù)據(jù)寫入的能力。

5）find：

對前面創(chuàng)建的大量文件去做find查詢，考察海量文件下，基于標(biāo)準(zhǔn)POSIX語義的文件系統(tǒng)查詢性能。

6）ior_easy_read：

多個客戶端、多個任務(wù)、并發(fā)地、順序地讀取自己在ior_easy_write階段寫入的數(shù)據(jù)。該測試模擬傳統(tǒng)HPC場景中，多客戶端并發(fā)讀取數(shù)據(jù)的過程。

7）mdtest_easy_stat：

多個客戶端、多個任務(wù)、并發(fā)地去stat自己在mdtest_easy_write階段創(chuàng)建的空文件，這個測試模擬人工智能等應(yīng)用，在海量文件場景下對文件系統(tǒng)最常用的stat操作性能（文件系統(tǒng)的大量操作會調(diào)用到stat接口）。

8）ior_hard_read：

多個客戶端、多個任務(wù)、并發(fā)地去讀取自己在ior_hard_write階段寫入的文件，每次讀取數(shù)據(jù)量47008 Bytes。該測試模擬傳統(tǒng)HPC業(yè)務(wù)，多個計算任務(wù)并發(fā)加載數(shù)據(jù)的過程。

9）mdtest_hard_stat：

多個客戶端、多個任務(wù)、并發(fā)地去stat自己在mdtest_hard_write階段寫入的文件，stat之后再讀取3901 Bytes數(shù)據(jù)。該測試模擬人工智能業(yè)務(wù)檢索、open、隨后讀取文件的過程，并評估這一過程的性能。

10）mdtest_easy_delete：

多個客戶端、多個任務(wù)、并發(fā)地去delete自己在mdtest_easy_write階段創(chuàng)建的文件。該測試模擬元數(shù)據(jù)集群對海量空文件并發(fā)刪除的支持和性能。

11）mdtest_hard_read：

多個客戶端、多個任務(wù)、并發(fā)地去讀取自己在mdtest_hard_write階段寫入的文件，讀取3901 Bytes數(shù)據(jù)。該測試模擬人工智能業(yè)務(wù)對元數(shù)據(jù)集群open，并讀取指定小文件內(nèi)容的性能。

12）mdtest_hard_delete：

多個客戶端、多個任務(wù)、并發(fā)地去delete自己在mdtest_hard_write階段創(chuàng)建的文件。該測試模擬文件系統(tǒng)對海量小文件元數(shù)據(jù)以及數(shù)據(jù)刪除的性能。

從這些測試項可以看出，IO500主要測試了四大類場景：

1）存儲集群的吞吐能力，驗證多個任務(wù)順序?qū)懀嗷ブg有無數(shù)據(jù)沖突，看集群能提供的寫入、讀取吞吐的上限。ior_easy_write、ior_easy_read主要用于測試這個場景。

2）存儲集群對于共享讀寫的處理能力，多個任務(wù)共享、協(xié)同地讀寫同一個文件，需要做一定的并發(fā)控制，否則測試將因數(shù)據(jù)錯亂而報錯。ior_hard_write、ior_hard_read主要用于測試這個場景，這部分測試針對的是HPC的典型IO類型。

3）存儲集群對于小文件IO的處理能力，比如mdtest_hard_read、mdtest_hard_write的讀寫3901 Bytes，如果數(shù)據(jù)布局不當(dāng)，這項測試的性能值會很低。

4）存儲集群元數(shù)據(jù)的處理能力，重點考察集群創(chuàng)建、查詢、刪除文件的性能。其中md_hard_*還會去測試單個目錄下大量文件（單目錄下1.9億文件）這個場景的性能。

YRCloudFile為了支持單目錄下海量文件的測試，改進(jìn)了原有的元數(shù)據(jù)放置策略算法，增加了虛擬目錄層，用于拆分海量文件的目錄，分散目錄熱點，從而提升總體性能。在測試中，YRCloudFile在海量小文件場景下表現(xiàn)突出。

通過2019年兩次參與IO500測試，我們在不斷學(xué)習(xí)和追趕國際領(lǐng)先存儲企業(yè)的先進(jìn)技術(shù)，分析IO500的測試，我們可以看到：

1） IO500委員會由存儲業(yè)界知名學(xué)者和專家組成，為了加強(qiáng)測試數(shù)據(jù)的中立，在下半年測試中，委員會針對測試腳本進(jìn)行了修正，更加確保測試數(shù)據(jù)的公平、公正，同時模擬真實的高性能計算及人工智能場景，其測試數(shù)據(jù)可作為評估存儲系統(tǒng)總體能力的一個重要指標(biāo)。

2） 參與的廠商持續(xù)保持非常高的熱情和投入，上半年16家，下半年15家，既有傳統(tǒng)廠商如DDN、NetApp、Dell、IBM、HPE、浪潮，也有新興存儲廠商WekaIO、Qumulo、焱融科技，各家都非常重視IO500的測試成績，一方面這是國際上對存儲性能的公認(rèn)指標(biāo)，另一方面由于IO500測試腳本模擬的真實的IO場景，對于各個廠商持續(xù)改進(jìn)產(chǎn)品也是非常好的輸入。

從測試結(jié)果看，焱融科技和科大訊飛此次發(fā)布的測試數(shù)據(jù)，也是在對YRCloudFile做了針對性改進(jìn)后獲得了優(yōu)異的成績。

接下來，焱融科技將深入總結(jié)此次測試中獲得的寶貴經(jīng)驗，將多項技術(shù)創(chuàng)新進(jìn)一步反饋到產(chǎn)品中，幫助國內(nèi)眾多人工智能、高性能計算的用戶持續(xù)提高AI訓(xùn)練和數(shù)據(jù)分析的性能，為客戶提供更優(yōu)秀的國產(chǎn)高性能存儲產(chǎn)品。