探索結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)段如何響應(yīng)塊大小變化，以及I/o驅(qū)動(dòng)和吞吐量驅(qū)動(dòng)工作負(fù)載之間的差異。

本文分析了塊大小及其對(duì)存儲(chǔ)性能的影響之間的相關(guān)性。本文討論了結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的定義和理解，不同的存儲(chǔ)段對(duì)塊大小變化的反應(yīng)，以及I/o驅(qū)動(dòng)和吞吐量驅(qū)動(dòng)工作負(fù)載之間的差異。它還強(qiáng)調(diào)了吞吐量的計(jì)算和基于工作負(fù)載類(lèi)型的存儲(chǔ)產(chǎn)品的選擇。

塊大小及其重要性

在計(jì)算中，物理記錄或數(shù)據(jù)存儲(chǔ)塊是稱(chēng)為塊的位/字節(jié)序列。系統(tǒng)或存儲(chǔ)設(shè)備中單個(gè)塊中處理或傳輸?shù)臄?shù)據(jù)量稱(chēng)為塊大小。它是決定存儲(chǔ)性能的因素之一。塊大小是對(duì)存儲(chǔ)產(chǎn)品進(jìn)行性能基準(zhǔn)測(cè)試和將產(chǎn)品分類(lèi)為塊、文件和對(duì)象段的關(guān)鍵因素。

結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)以標(biāo)準(zhǔn)化格式組織，通常在有行和列的表中，使人和軟件易于訪問(wèn)。它通常是定量數(shù)據(jù)，這意味著它可以被計(jì)數(shù)或測(cè)量，并且可以包括數(shù)字、短文本和日期等數(shù)據(jù)類(lèi)型。結(jié)構(gòu)化數(shù)據(jù)非常適合用于分析，并且可以與其他數(shù)據(jù)集組合在一起存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中。

非結(jié)構(gòu)化只是指不以結(jié)構(gòu)化數(shù)據(jù)庫(kù)格式存儲(chǔ)的數(shù)據(jù)集(典型的大型文件集合)。非結(jié)構(gòu)化數(shù)據(jù)具有內(nèi)部結(jié)構(gòu)，但它不是通過(guò)數(shù)據(jù)模型預(yù)定義的。它可以是人工生成的，也可以是機(jī)器生成的，采用文本或非文本格式。

通常，結(jié)構(gòu)化數(shù)據(jù)的塊大小在4KB到128KB之間，在某些情況下，它也可以達(dá)到512KB。相反，非結(jié)構(gòu)化數(shù)據(jù)的塊大小范圍要大得多，可以很容易地達(dá)到MB范圍。

結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的塊大小

OLTP或在線事務(wù)處理是一種數(shù)據(jù)處理類(lèi)型，它包括執(zhí)行并發(fā)發(fā)生的多個(gè)事務(wù)—在線銀行、購(gòu)物、訂單輸入或發(fā)送文本消息—而OLAP是一種在線分析處理軟件技術(shù)，您可以使用它從不同的角度分析業(yè)務(wù)數(shù)據(jù)。組織從多個(gè)數(shù)據(jù)源收集和存儲(chǔ)數(shù)據(jù)，例如網(wǎng)站、應(yīng)用程序、智能電表和內(nèi)部系統(tǒng)。

大多數(shù)OLTP工作負(fù)載遵循結(jié)構(gòu)化數(shù)據(jù)，而大多數(shù)OLAP工作負(fù)載遵循非結(jié)構(gòu)化數(shù)據(jù)模式，它們之間的主要區(qū)別在于塊大小。

基于塊大小的吞吐量/IOPS公式

存儲(chǔ)吞吐量(也稱(chēng)為數(shù)據(jù)傳輸速率)衡量每秒向存儲(chǔ)設(shè)備傳輸和從存儲(chǔ)設(shè)備傳輸?shù)臄?shù)據(jù)量。通常，吞吐量以MB/s為單位進(jìn)行測(cè)量。吞吐量與IOPS和塊大小密切相關(guān)。

IOPS(每秒輸入/輸出操作數(shù))是對(duì)不連續(xù)存儲(chǔ)位置的最大讀/寫(xiě)次數(shù)的標(biāo)準(zhǔn)度量單位。

在上面的公式中，KB/IO是塊大小。因此，根據(jù)塊大小，每個(gè)工作負(fù)載是io驅(qū)動(dòng)的還是吞吐量驅(qū)動(dòng)的。如果任何工作負(fù)載的IOPS都更高，則意味著塊大小更小，如果任何工作負(fù)載的吞吐量都更高，則塊大小偏大。

基于塊大小的存儲(chǔ)性能

存儲(chǔ)技術(shù)根據(jù)塊大小做出響應(yīng)，因此，根據(jù)塊大小和響應(yīng)時(shí)間會(huì)有不同的存儲(chǔ)建議。塊存儲(chǔ)更適合較小塊大小的應(yīng)用程序，而文件級(jí)和對(duì)象存儲(chǔ)更適合較大塊大小的應(yīng)用程序。

存儲(chǔ)技術(shù)及其范圍是基于塊大小的

塊存儲(chǔ)一直是塊大小較小的生產(chǎn)工作負(fù)載的選擇，這些應(yīng)用程序具有更高的IOPS限制。每個(gè)塊存儲(chǔ)發(fā)布說(shuō)明中都包含了每個(gè)存儲(chǔ)盒能夠達(dá)到的IOPS的性能數(shù)字。同時(shí)，文件級(jí)存儲(chǔ)或任何NFS存儲(chǔ)更適合大于1MB的塊大小。

對(duì)象存儲(chǔ)是市場(chǎng)上相對(duì)較新的產(chǎn)品，它是為跨多個(gè)站點(diǎn)存儲(chǔ)文件和文件夾而引入的，其性能范圍與NFS類(lèi)似。

對(duì)象存儲(chǔ)將需要負(fù)載平衡器來(lái)跨存儲(chǔ)系統(tǒng)分配塊，這也有助于提高性能。與塊存儲(chǔ)相比，NFS和對(duì)象存儲(chǔ)都具有較高的響應(yīng)時(shí)間，因?yàn)镮/O必須通過(guò)網(wǎng)絡(luò)到達(dá)磁盤(pán)并返回以完成I/O周期。NFS和對(duì)象存儲(chǔ)的平均響應(yīng)時(shí)間在10毫秒以上。

文件系統(tǒng)存儲(chǔ)可以滿足更大范圍的塊大小。可以調(diào)整文件系統(tǒng)存儲(chǔ)的體系結(jié)構(gòu)，以處理大多數(shù)塊大小的條帶化，并提高整體性能。通常，文件系統(tǒng)存儲(chǔ)用于實(shí)現(xiàn)數(shù)據(jù)湖、分析工作負(fù)載和高性能計(jì)算。大多數(shù)文件系統(tǒng)存儲(chǔ)還使用安裝在服務(wù)器上的代理級(jí)軟件，以便通過(guò)網(wǎng)絡(luò)更好地分發(fā)數(shù)據(jù)并提高性能。

對(duì)于數(shù)據(jù)湖或HPC系統(tǒng)的大規(guī)模部署，InfiniBand設(shè)置是首選的文件系統(tǒng)存儲(chǔ)，這些系統(tǒng)的工作負(fù)載是吞吐量驅(qū)動(dòng)的，并且預(yù)計(jì)在短時(shí)間內(nèi)會(huì)攝取大量數(shù)據(jù)。

VSAN是作為VMware工作負(fù)載的塊存儲(chǔ)產(chǎn)品引入的，并且在OLTP工作負(fù)載上非常成功。最近，VSAN也被用于具有較大塊大小的工作負(fù)載，特別是響應(yīng)時(shí)間需求可能不是很關(guān)鍵的備份工作負(fù)載。對(duì)VSAN有利的是新改進(jìn)的體系結(jié)構(gòu)和集群大小，這有助于提高整體性能。

工作負(fù)載、塊大小和適合的存儲(chǔ)

由于存儲(chǔ)產(chǎn)品對(duì)于不同的塊大小具有不同的性能水平，如何根據(jù)工作負(fù)載的塊大小選擇存儲(chǔ)?下面是一些這樣的例子：

以工作負(fù)載及其各自的塊大小為例。此圖有助于根據(jù)工作負(fù)載塊大小和整體性能需求選擇合適的存儲(chǔ)產(chǎn)品。

對(duì)于小于256KB的塊大小，大多數(shù)塊存儲(chǔ)都可以表現(xiàn)良好，而不考慮供應(yīng)商公司，因?yàn)閴K存儲(chǔ)架構(gòu)最適合小塊大小的工作負(fù)載。類(lèi)似地，RMAN或Veeam備份軟件等較大的塊大小的工作負(fù)載更適合NFS或?qū)ο蟠鎯?chǔ)，因?yàn)檫@些是吞吐量驅(qū)動(dòng)的工作負(fù)載。還有其他設(shè)計(jì)參數(shù)，如吞吐量需求、總?cè)萘亢妥x/寫(xiě)百分比，可以幫助確定解決方案的大小。

最終的想法

希望這項(xiàng)研究能幫助資訊科技工程師和架構(gòu)師根據(jù)應(yīng)用程序工作負(fù)載的性質(zhì)和區(qū)塊大小來(lái)設(shè)計(jì)他們的設(shè)置。