什么是軟件定義存儲(chǔ)(SDS)

軟件定義存儲(chǔ)(Software-defined storage，SDS)是一種數(shù)據(jù)存儲(chǔ)方式，所有存儲(chǔ)相關(guān)的控制工作都放置在相對(duì)于物理存儲(chǔ)硬件的外部軟件中。這個(gè)軟件不是作為存儲(chǔ)設(shè)備中的固件，而是在一個(gè)服務(wù)器上或者作為操作系統(tǒng)(OS)或hypervisor的一部分。

軟件定義存儲(chǔ)是行業(yè)發(fā)展的趨勢(shì)，可以保證系統(tǒng)的存儲(chǔ)訪問(wèn)在精準(zhǔn)的水平上更靈活地管理，將軟件從硬件存儲(chǔ)中抽象，這意味著它可以變成一個(gè)不受物理系統(tǒng)限制的共享池，以便更有效地利用資源。存儲(chǔ)也可以通過(guò)軟件和管理進(jìn)行部署和供應(yīng)，其管理程序可以通過(guò)基于策略的自動(dòng)化管理來(lái)進(jìn)一步簡(jiǎn)化。

軟件定義存儲(chǔ)有什么特點(diǎn)

• 可擴(kuò)展。軟件定義存儲(chǔ)系統(tǒng)可以擴(kuò)展到幾百臺(tái)甚至幾千臺(tái)的集群規(guī)模，而且，隨著集群規(guī)模的增長(zhǎng)，系統(tǒng)整體性能表現(xiàn)為線性增長(zhǎng)
• 低成本。軟件定義存儲(chǔ)系統(tǒng)的自動(dòng)容錯(cuò)、自動(dòng)負(fù)載均衡機(jī)制使其可以構(gòu)建在普通X86服務(wù)器之上。另外，線性擴(kuò)展能力也使得增加、減少機(jī)器非常方便，可以實(shí)現(xiàn)自動(dòng)運(yùn)維。
• 高性能。無(wú)論是針對(duì)整個(gè)集群還是單臺(tái)服務(wù)器，分布式存儲(chǔ)系統(tǒng)具備高性能。

傳統(tǒng)的IT架構(gòu)模式：

一直以來(lái)，傳統(tǒng)架構(gòu)的數(shù)據(jù)庫(kù)運(yùn)行在小型機(jī)和集中式SAN存儲(chǔ)上。隨著業(yè)務(wù)的高速發(fā)展，業(yè)務(wù)系統(tǒng)的交易量及數(shù)據(jù)量越來(lái)越大，對(duì)業(yè)務(wù)系統(tǒng)的處理能力及存儲(chǔ)能力要求越來(lái)越高。而傳統(tǒng)的架構(gòu)擴(kuò)展性差，計(jì)算能力有限，IO能力嚴(yán)重不足，如需達(dá)到相應(yīng)的處理能力，則需要用更高配置的小型機(jī)和更高端存儲(chǔ)來(lái)代替現(xiàn)有的小型機(jī)和存儲(chǔ)，技術(shù)復(fù)雜，代價(jià)昂貴。同時(shí)，隨著設(shè)備的老化，設(shè)備性能越來(lái)越不足以支撐業(yè)務(wù)需要，業(yè)務(wù)系統(tǒng)的架構(gòu)改造和升級(jí)勢(shì)在必行。

傳統(tǒng)架構(gòu)的一些劣勢(shì)：

數(shù)據(jù)量：M級(jí)–>G級(jí)–>T級(jí)->海量已在眼前

數(shù)據(jù)量*用戶量–>關(guān)系用戶量：幾萬(wàn)–>幾十萬(wàn)–>幾百萬(wàn)–>互聯(lián)網(wǎng)全開(kāi)放

關(guān)系型數(shù)據(jù)庫(kù)之痛

中心化的存儲(chǔ)系統(tǒng)成為 I/O 存取的瓶頸:

1、傳統(tǒng)架構(gòu)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)需要高性能主機(jī)，成本高。對(duì)于多節(jié)點(diǎn) RAC 數(shù)據(jù)庫(kù)，由于節(jié)點(diǎn)間的通信帶 寬通常為 1Gb s，較高的為 10Gb s，這個(gè)數(shù)量級(jí)的帶寬使得節(jié)點(diǎn)間 的并發(fā)處理能力沒(méi)有充分利用。同時(shí)，傳統(tǒng)的磁盤(pán)陣列受限于控制器的處理能力和 FC 端口帶寬，IO 吞吐量通常只能幾百M(fèi)B/s，在數(shù)據(jù)庫(kù)要求大量的磁盤(pán)讀寫(xiě)時(shí)，IO 消耗的時(shí)間過(guò)長(zhǎng)。

2、小型機(jī)配高端存儲(chǔ)，成本高昂，相對(duì)比較封閉，擴(kuò)展能力差:傳統(tǒng)架構(gòu)的存儲(chǔ)擴(kuò)展能力較差，在容量增加時(shí)，性能沒(méi)有相應(yīng)提高。同時(shí)擴(kuò)容成本高，擴(kuò)容周期長(zhǎng)。

3、復(fù)雜的系統(tǒng)帶來(lái)部署及操作、運(yùn)維和管理的復(fù)雜性:在傳統(tǒng)架構(gòu)下，需要了解多維度的運(yùn)維知識(shí)和技能，如:數(shù)據(jù)庫(kù)、U ix、存儲(chǔ)等，對(duì)運(yùn)維人員要求極高，部署及操作、運(yùn)維和管理異常復(fù)雜。

IT基礎(chǔ)架構(gòu)發(fā)展趨勢(shì)

IT架構(gòu)的演變-煙囪狀到云化

兩層的計(jì)算-存儲(chǔ)架構(gòu)有以下缺陷：

• 中心化的存儲(chǔ)系統(tǒng)
• IO存取邊界，擴(kuò)展成本高昂
• 部署與運(yùn)維復(fù)雜
• 不能快速應(yīng)對(duì)IT人員資源需求

基于云化的高性能高可用架構(gòu)的優(yōu)勢(shì)：

• 高性能
• 彈性,可靈活多維動(dòng)態(tài)擴(kuò)展
• 統(tǒng)一運(yùn)維管理，完善數(shù)據(jù)容災(zāi)及保護(hù)

將帶來(lái)IT基礎(chǔ)設(shè)施性能的提升，x86平臺(tái)CPU性能提升。過(guò)去的10 年， CPU 處理速度提升8-10倍;DRAM 處理速度提升7-9倍。

存儲(chǔ)和網(wǎng)絡(luò)的發(fā)展

針對(duì)IT基礎(chǔ)架構(gòu)的發(fā)展和IT基礎(chǔ)設(shè)施的發(fā)展，以x86服務(wù)器為基礎(chǔ)、使用閃存卡、Infiniband交換機(jī)可以使Oracle RAC達(dá)到很高的處理能力和IO吞吐量的分布式存儲(chǔ)方案zData應(yīng)運(yùn)而生。

zData軟件定義存儲(chǔ)基于x86的PC服務(wù)器，在大幅度提升系統(tǒng)性能，保持系統(tǒng)的擴(kuò)展性和敏捷響應(yīng)能力的情況下，成本相對(duì)于傳統(tǒng)架構(gòu)還大大降低。zData Light Storage分布式存儲(chǔ)軟件可支持上千個(gè)節(jié)點(diǎn)，存儲(chǔ)池容量可以達(dá)到32PB。支持不同存儲(chǔ)介質(zhì)構(gòu)成的存儲(chǔ)資源池。在基礎(chǔ)配置(3個(gè)存儲(chǔ)節(jié)點(diǎn))下，高達(dá)數(shù)百萬(wàn)IOPS，吞吐量超過(guò)20GB/s 。

實(shí)施方式：

1.用戶可以自購(gòu)硬件或利舊。

2.云和恩墨提供zData軟件及服務(wù)，包括性能及容量規(guī)劃，zData***實(shí)踐，數(shù)據(jù)庫(kù)遷移及優(yōu)化，整體維保。

方案價(jià)值：

1.標(biāo)準(zhǔn)的x86開(kāi)放架構(gòu)，方案靈活方便。

2.無(wú)需采用高端小型機(jī)及高端存儲(chǔ)，建設(shè)及擴(kuò)容性價(jià)比極高。

產(chǎn)品構(gòu)造：

zData Light Storage存儲(chǔ)管理軟件

zData Light Storage是云和恩墨自主研發(fā)的分布式存儲(chǔ)管理軟件，是一套靈活的軟件定義存儲(chǔ)軟件，它充分利用基于PC服務(wù)器的內(nèi)部直連式存儲(chǔ)來(lái)創(chuàng)建一個(gè)虛擬的、可擴(kuò)展的存儲(chǔ)池，性能大大優(yōu)于外部傳統(tǒng)光纖通道SAN，而成本和復(fù)雜性成倍降低。在zData中，通過(guò)zData Light Storage存儲(chǔ)管理軟件可以將高性能的x86服務(wù)器作為存儲(chǔ)節(jié)點(diǎn), 從而可以將多個(gè)存儲(chǔ)節(jié)點(diǎn)的內(nèi)部磁盤(pán)資源整合起來(lái)形成虛擬的SAN存儲(chǔ)資源池，在數(shù)據(jù)庫(kù)節(jié)點(diǎn)(計(jì)算節(jié)點(diǎn))上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。zData Light Storage支持Infiniband網(wǎng)絡(luò)下的RDMA協(xié)議,大幅減少CPU占用的同時(shí)能夠顯著降低IO訪問(wèn)延遲,具有無(wú)可比擬的性能優(yōu)勢(shì) zData Light Storage支持主流存儲(chǔ)介質(zhì)，包括PCIe、NVMe、SAS、SATA等接口的SSD盤(pán)和卡以及SAS、SATA接口的傳統(tǒng)機(jī)械硬盤(pán)。

Infiniband網(wǎng)絡(luò)

zData基于40~100GbInfiniband高速網(wǎng)絡(luò)，采用全冗余網(wǎng)絡(luò)架構(gòu)，一方面可以提供足夠的帶寬承載 zData LightStorage存儲(chǔ)管理軟件的數(shù)據(jù)傳輸，使其性能大幅優(yōu)于外部傳統(tǒng)FC SAN,且成本和復(fù)雜性成倍降低;另一方面為Oracle RAC集群的高性能讀寫(xiě)提供了保障。

zData智能管理工具zMan

根據(jù)云和恩墨在Oracle數(shù)據(jù)庫(kù)領(lǐng)域的專業(yè)知識(shí)和強(qiáng)大團(tuán)隊(duì)，研發(fā)了人性化的管理和運(yùn)維工具zMan(zData Manager),zMan為zData提供智能方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運(yùn)維的成本并在管理功能上為用戶提供更簡(jiǎn)單便利友好的操作體驗(yàn)。

云和恩墨zData軟件定義存儲(chǔ)有以下的特點(diǎn)：

高性能

存儲(chǔ)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)通過(guò)高速40~100Gb的Infiniband網(wǎng)絡(luò)互聯(lián)，每個(gè)連接的鏈路均可進(jìn)行存儲(chǔ)數(shù)據(jù)傳輸。通過(guò)zDataLight Storage存儲(chǔ)管理軟件，在使用閃存卡的情況下，可以使單存儲(chǔ)節(jié)點(diǎn)提供IO吞吐量達(dá)到12GB/s以上，IOPS(每秒磁盤(pán)IO請(qǐng)求次數(shù))可以達(dá)到40萬(wàn)以上，磁盤(pán)訪問(wèn)延遲在0.6ms以內(nèi)。單計(jì)算節(jié)點(diǎn)上的IO吞吐量達(dá)到12GB/s以上，IOPS(每秒磁盤(pán)IO請(qǐng)求次數(shù))可以達(dá)到100萬(wàn)以上，磁盤(pán)訪問(wèn)延遲在0.6ms以內(nèi)。存儲(chǔ)的三項(xiàng)關(guān)鍵能力是傳統(tǒng)陣列的10倍以上。

• 多維動(dòng)態(tài)擴(kuò)展

在zData軟件定義存儲(chǔ)架構(gòu)中，可以根據(jù)業(yè)務(wù)和應(yīng)用的需求動(dòng)態(tài)擴(kuò)展計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，容量和性能線性增長(zhǎng)。同樣，也可以根據(jù)業(yè)務(wù)和應(yīng)用的需求動(dòng)態(tài)減少計(jì)算和存儲(chǔ)節(jié)點(diǎn)，保證資源的***可用度

• 資源的池化&云化

在zData軟件定義存儲(chǔ)架構(gòu)中，計(jì)算資源和存儲(chǔ)資源池化，統(tǒng)一管理,按需分配擴(kuò)展。

• 架構(gòu)和軟件的安全性和可靠性

在zData軟件定義存儲(chǔ)中，服務(wù)器，Infiniband交換機(jī)，Infiniband HCA卡及PCIe閃存卡等均冗余，任何一個(gè)設(shè)備和節(jié)點(diǎn)出現(xiàn)故障，均不影響在線業(yè)務(wù)的可用性，無(wú)單點(diǎn)故障。同時(shí)，zData存儲(chǔ)管理軟件自動(dòng)管理和維護(hù)存儲(chǔ)資源，當(dāng)分布式存儲(chǔ)網(wǎng)絡(luò)中有節(jié)點(diǎn)損壞，或移動(dòng)增加存儲(chǔ)節(jié)點(diǎn)，zData存儲(chǔ)管理軟件會(huì)在已有的或完好的節(jié)點(diǎn)上重構(gòu)完好的存儲(chǔ)“塊”，使得每一份存儲(chǔ)“塊”仍然有鏡像，保證數(shù)據(jù)的安全性，重構(gòu)速度每小時(shí)可達(dá)2TB，可在線自動(dòng)操作，無(wú)需人工干預(yù)和不影響在線業(yè)務(wù)。

• 統(tǒng)一運(yùn)維管理，提高資源利用率

整個(gè)zData的資源通過(guò)zdata管理平臺(tái)統(tǒng)一管理，自動(dòng)化運(yùn)維，大大降低對(duì)IT管理人員技能要求。

zData zCache

云和恩墨zData軟件定義存儲(chǔ)獨(dú)有的智能緩存工具zCache，提供以下功能：

• 支持writeback和直通模式

• 支持在線啟動(dòng)和關(guān)閉cache

• 支持自動(dòng)/手動(dòng)刷新臟數(shù)據(jù)

• 支持臟塊的刷新頻率和速度動(dòng)態(tài)的控制

zdata軟件定義存儲(chǔ)的應(yīng)用場(chǎng)景及優(yōu)勢(shì)：

1、數(shù)據(jù)倉(cāng)庫(kù)和報(bào)表(OLAP)類系統(tǒng)：這類系統(tǒng)的數(shù)據(jù)庫(kù)對(duì)IO性能要求非常高，存儲(chǔ)容量擴(kuò)容需求大，但是對(duì)可用性、容災(zāi)要求不高。這類系統(tǒng)在企業(yè)應(yīng)用中屬于核心系統(tǒng)之外的次重要系統(tǒng)，如果購(gòu)買(mǎi)***端的大容量集中存儲(chǔ)，成本很高。這類系統(tǒng)是zData軟件定義存儲(chǔ)解決方案的***使用場(chǎng)景。

2、聯(lián)機(jī)事務(wù)處理(OLTP)類系統(tǒng)：這類系統(tǒng)對(duì)實(shí)時(shí)性，并發(fā)性要求很高，對(duì)數(shù)據(jù)操作頻繁，相應(yīng)對(duì)CPU及IO要求很高。由于zData軟件定義存儲(chǔ)解決方案能提供充足的計(jì)算能力及顯著降低IO延遲，這類系統(tǒng)也是zData軟件定義存儲(chǔ)解決方案的***使用場(chǎng)景。

3、數(shù)據(jù)庫(kù)云化和整合：一些大型企業(yè)，數(shù)據(jù)庫(kù)數(shù)量多，需要將很多不重要的數(shù)據(jù)庫(kù)整合起來(lái)，減少運(yùn)維復(fù)雜度和減少成本。使用zData軟件定義分布式存儲(chǔ)解決方案構(gòu)建數(shù)據(jù)庫(kù)云化和整合平臺(tái)，提高系統(tǒng)整合后的性能，增加系統(tǒng)的彈性(便于擴(kuò)容)，并且使用zMan軟件定義存儲(chǔ)管理工具，讓用戶易于維護(hù)整合后的系統(tǒng)。zData支持OpenStack和VMware平臺(tái)的云化和管理。

4、X86架構(gòu)下的數(shù)據(jù)庫(kù)備份容災(zāi)：適用于很多傳統(tǒng)X86架構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)建立以zData軟件定義分布式存儲(chǔ)為核心的低成本，高效率的備份及容災(zāi)平臺(tái)。

下面，我分享以下目前一些zdata軟件定義存儲(chǔ)的成功案例

zData方案在多個(gè)企業(yè)和單位有過(guò)***實(shí)踐,以其高計(jì)算能力、高 I/O 能力、高可用能力、高可伸縮能力且***穩(wěn)健性的分布式存儲(chǔ)架構(gòu)，是具有高并發(fā)高IO需求的系統(tǒng)的***選擇。在過(guò)去的實(shí)踐中也得到證實(shí)和認(rèn)可。

貴州交警

貴州交警某業(yè)務(wù)系統(tǒng)隨著系統(tǒng)應(yīng)用的深入和廣泛，原有基礎(chǔ)架構(gòu)、數(shù)據(jù)架構(gòu)規(guī)劃和設(shè)計(jì)上的問(wèn)題逐漸凸現(xiàn)出來(lái)，主要表現(xiàn)為業(yè)務(wù)數(shù)據(jù)爆炸增長(zhǎng)、業(yè)務(wù)應(yīng)用增多、系統(tǒng)響應(yīng)緩慢、物理擴(kuò)容達(dá)到瓶頸、設(shè)備達(dá)到服務(wù)年限。在經(jīng)過(guò)zData一體機(jī)整合之后，整體用戶體驗(yàn)得到了大幅改善，業(yè)務(wù)受理和辦理效率均得到了用戶贊譽(yù)。

性能提升效果：

1、整體性能提升18倍：重構(gòu)前核心指標(biāo)DBTIME每日***單小時(shí)為3563.15，重構(gòu)后每日***單個(gè)小時(shí)指標(biāo)為199.68，性能效果提升17.8倍。

2、I/O響應(yīng)提升1000倍：重構(gòu)前平均單次I/O請(qǐng)求時(shí)間為10.07毫秒，重構(gòu)后平均I/O的請(qǐng)求時(shí)間縮短為0.01毫秒，I/O效率提升1007倍。

3、SQL性能提升117倍：考察違法審批報(bào)表SQL執(zhí)行效率，重構(gòu)前SQL執(zhí)行需10206.1秒，重構(gòu)后SQL執(zhí)行完成只需87.07秒，執(zhí)行效率提升117倍。