數(shù)據(jù)越來越大、數(shù)據(jù)越來越多，這給數(shù)據(jù)的管理帶來了極大的難度，僅通過“堆硬件”的方式，無法徹底解決爆發(fā)式數(shù)據(jù)增長(zhǎng)的問題。深圳潮數(shù)軟件科技有限公司(以下簡(jiǎn)稱“潮數(shù)科技”)推出的“數(shù)據(jù)安全一體化”系列產(chǎn)品從軟硬入手，提供了高速硬件、KFS文件系統(tǒng)、PB級(jí)分布式存儲(chǔ)、小文件優(yōu)化、重刪、壓縮數(shù)據(jù)處理等解決方案，能夠保證用戶利用最少的資源和花費(fèi)實(shí)現(xiàn)數(shù)據(jù)安全。

　　數(shù)據(jù)越來越多 越來越大 僅靠“堆硬件”難解決問題

　　從2015年到2025年，中國(guó)數(shù)據(jù)以14倍的速度擴(kuò)張。2017年全年數(shù)據(jù)總量超過15.2ZB，同比增長(zhǎng)35.7%。2018年全球數(shù)量總量達(dá)19.4ZB，未來幾年全球數(shù)據(jù)的增長(zhǎng)速度在每年25%以上。2018年至2025年中國(guó)數(shù)據(jù)以30%的年平均增長(zhǎng)速度領(lǐng)先全球，比全球高5%，2025年將增至48.6ZB，占全球27.8%。

　　正是因?yàn)閿?shù)據(jù)越來越多、越來越大、越來越快，因此很多組織采用了增加存儲(chǔ)空間和升級(jí)硬件來解決這一問題。但是這只能解決一時(shí)的問題，并不能徹底地解決問題。

　　IT界擁有三大鼎鼎大名的定律，其中之一就是“安迪-比爾定律”?！T界總結(jié)出了安迪-比爾定律，即比爾要拿走安迪所給的(What Andy gives，Bill takes away.)。安迪指的是英特爾公司前CEO安迪·格羅夫(Andy Grove);比爾指的是微軟公司創(chuàng)始人比爾·蓋茨。所以其內(nèi)涵是：軟件方面做出更新迭代帶來利潤(rùn)，硬件也同樣得到刺激進(jìn)行更新迭代。

[[332790]]

　　即計(jì)算機(jī)工業(yè)是由軟件更新帶動(dòng)硬件更新的。軟件的開發(fā)和發(fā)展，令使用軟件的設(shè)備需要更高的性能和速度，從而推動(dòng)了硬件技術(shù)的不斷更新和升級(jí)。就是說，軟件系統(tǒng)的更新迭代從很大程度上影響著硬件的更新迭代。

　　正是數(shù)據(jù)推動(dòng)了硬件的發(fā)展，比如更大的存儲(chǔ)空間、更快的存儲(chǔ)速度、不同的存儲(chǔ)架構(gòu)、更快的傳輸速度等。

　　但是僅靠“堆硬件”的方式，難以應(yīng)對(duì)數(shù)據(jù)越來越多、越來越大的問題，應(yīng)該從多個(gè)方面入手，才能徹底地解決這一行業(yè)難題。

　　數(shù)據(jù)安全一體 軟硬結(jié)合解決大數(shù)據(jù)難題

　　潮數(shù)的“數(shù)據(jù)安全一體化”產(chǎn)品，軟硬結(jié)合，針對(duì)數(shù)據(jù)越來越大、越來越多、越來越快的問題，提供了全新、全面的解決方案。

　　1.提供了萬兆網(wǎng)卡

　　萬兆網(wǎng)卡，即支持10Gbps的網(wǎng)卡，在一般家庭里可能不一定用得上，現(xiàn)在很多家庭的以太網(wǎng)卡用的還是100Mbps，最多只是1000Mbps，即1Gbps的，但并沒有用上萬兆網(wǎng)卡。因?yàn)楹芏嘀靼宀]有默認(rèn)提供，往往要通過PCI-E插槽來實(shí)現(xiàn)轉(zhuǎn)接，同時(shí)價(jià)格也較貴。

　　但是對(duì)于企業(yè)或組織來說，萬兆網(wǎng)卡是必須的，潮數(shù)科技產(chǎn)品提供了萬兆網(wǎng)卡的支持。有了萬兆網(wǎng)卡，可以使得數(shù)據(jù)在內(nèi)部網(wǎng)的傳輸速度達(dá)到1250MB/s，即1.25GB/s，能夠大大地解決數(shù)據(jù)交換、備份、管理等問題。

　　2.采用固態(tài)硬盤做引導(dǎo)或緩存

　　潮數(shù)科技的產(chǎn)品支持采用固態(tài)硬盤來做引導(dǎo)盤，并且支持更多的操盤系統(tǒng)。由于固態(tài)硬盤(Solid State Drives)，由控制單元和存儲(chǔ)單元(FLASH芯片、DRAM芯片)組成，不僅低功耗高性能，而且它的讀取及寫入速度非常快。

　　固態(tài)硬盤由于沒有機(jī)械硬盤的磁頭，數(shù)據(jù)讀取延遲非常小，把操作系統(tǒng)安裝到固態(tài)硬盤上，不僅能夠提升開機(jī)的速度，也使得整體系統(tǒng)變得很快，包括在其上的所有應(yīng)用操作也變得很快(數(shù)據(jù)的備份等)。

　　同時(shí)，潮數(shù)科技的產(chǎn)品還支持用固態(tài)硬盤來做緩存，這也將大大加快系統(tǒng)的速度。而且，固態(tài)硬盤的價(jià)格相較于內(nèi)存要便宜了很多，這也能夠節(jié)省很多的系統(tǒng)預(yù)算。

　　3.KFS文件系統(tǒng)+PB級(jí)分布式存儲(chǔ)

　　潮數(shù)云存儲(chǔ)管理系統(tǒng)支持KFS文件系統(tǒng)，并支持PB級(jí)分布式存儲(chǔ)。KFS，全稱Kosmos distributed file system，是一個(gè)分布式文件系統(tǒng)，被設(shè)計(jì)用于分布式的結(jié)構(gòu)化存儲(chǔ)。同時(shí)，也是一個(gè)專門為數(shù)據(jù)密集型應(yīng)用(搜索引擎、數(shù)據(jù)挖掘等)而設(shè)計(jì)的存儲(chǔ)系統(tǒng)，類似于Google的GFS(Google File System)和Hadoop的HDFS(Hadoop File System)分布式文件系統(tǒng)。

　　KFS文件系統(tǒng)由三部分組成，分別是metaserver(相當(dāng)于GFS master)、chunkserver(相當(dāng)于GFS chunkserver)和client library(相當(dāng)于GFS client)。

　　其中metaserver，即元數(shù)據(jù)服務(wù)器，主要用于B+樹存儲(chǔ)分布式文件系統(tǒng)的全局文件系統(tǒng)命名空間，一個(gè)KFS中僅有一個(gè)metaserver;其中chunkserver，是一個(gè)大文件被切分成許多固定大小的文件塊block，文件塊block被以chunk的方式存儲(chǔ)在獨(dú)立的chunkserver上，每個(gè) chunkserver上可能存不同文件的block，一個(gè)block會(huì)被存在不同的chunkserver上(默認(rèn)為3份);在一個(gè)KFS中，有一系列 的chunkserver，chunkserver將chunk存儲(chǔ)在底層的文件系統(tǒng)(如Linux的XFS、EXT2);而client library，用于提供文件系統(tǒng)訪問的API，使應(yīng)用可以通過接口操縱KFS;在將實(shí)際的應(yīng)用和KFS集成起來時(shí)，需要在應(yīng)用中包含KFS的客戶端庫文件。

　　KFS文件系統(tǒng)初期是用于大型的互聯(lián)網(wǎng)公司的搜索引擎、數(shù)據(jù)挖掘，而被應(yīng)用于潮數(shù)云文檔管理系統(tǒng)用于文檔的管理，可見其功能之強(qiáng)硬。

　　同時(shí)，潮數(shù)云存儲(chǔ)管理系統(tǒng)支持PB級(jí)的分布式存儲(chǔ)，1PB=1024TB=1048576GB，支持海量存儲(chǔ)，支持局域網(wǎng)及廣域網(wǎng)的分布式存儲(chǔ)與訪問，不依賴高昂的硬件設(shè)施，具有文件容災(zāi)備份和CDN加速技術(shù)，支持高并發(fā)、高IO吞吐量等多種高級(jí)功能，擴(kuò)展屬性優(yōu)秀，適用于大中型企業(yè)海量文件服務(wù)。

　　小知識(shí) 數(shù)據(jù)的量

　　數(shù)據(jù)越來越大，但是要清晰地認(rèn)識(shí)數(shù)據(jù)的“大”與“小”、“多”與“少”，必須依賴于數(shù)據(jù)的量。數(shù)據(jù)的計(jì)量單位如下：1B (Byte 字節(jié))=8b (bit 位);1KB (Kilobyte 千字節(jié))=1024B;1MB (Megabyte 兆字節(jié) 簡(jiǎn)稱“兆”)=1024KB;1GB (Gigabyte 吉字節(jié) 又稱“千兆”)=1024MB;1TB (Trillionbyte 萬億字節(jié) 太字節(jié))=1024GB;1PB(Petabyte 千萬億字節(jié) 拍字節(jié))=1024TB;1EB(Exabyte 百億億字節(jié) 艾字節(jié))=1024PB;1ZB (Zettabyte 十萬億億字節(jié) 澤字節(jié))= 1024 EB;1YB (Yottabyte 一億億億字節(jié) 堯字節(jié))= 1024 ZB。

　　4.小文件優(yōu)化

　　針對(duì)海量文件備份的難點(diǎn)在于海量小文件備份重復(fù)數(shù)據(jù)塊檢索，導(dǎo)致磁盤iO資源被大量占用，且數(shù)據(jù)傳輸無法達(dá)到帶寬極限的問題，潮數(shù)的云文檔管理系統(tǒng)可以避免重復(fù)檢索數(shù)據(jù)塊，能在不做磁盤檢索的情況下把該卷要備份的數(shù)據(jù)通通備份出來，大大加快了海量小文件的備份速度。

　　5.數(shù)據(jù)重刪

　　現(xiàn)如今，存儲(chǔ)空間變得越來越大，數(shù)據(jù)和文件也越來越多。但很多時(shí)候，存儲(chǔ)空間里往往充滿了重復(fù)文件，手工刪除十分費(fèi)勁。當(dāng)我們?cè)谄髽I(yè)或組織里對(duì)這些數(shù)據(jù)進(jìn)行備份時(shí)，會(huì)占用很多存儲(chǔ)空間，也會(huì)消耗很大的帶寬和更多的硬件資源。重復(fù)數(shù)據(jù)的刪除將是企業(yè)的信息主管們的必修課，可以真正減輕自己的工作量，提升工作效率，也能夠減少企業(yè)的開銷。

　　潮數(shù)的備份系統(tǒng)在備份數(shù)據(jù)的同時(shí)，能夠做到自動(dòng)刪除重復(fù)的數(shù)據(jù)，并支持重刪類型，大大節(jié)省存儲(chǔ)空間，在傳輸?shù)臅r(shí)候也能夠節(jié)省帶寬。

　　6.數(shù)據(jù)壓縮

　　數(shù)據(jù)如果沒有做過任何的壓縮處理，也不支持多種壓縮算法，在數(shù)據(jù)存儲(chǔ)或備份時(shí)則會(huì)需要更多的存儲(chǔ)設(shè)備和存儲(chǔ)空間，需要更多花費(fèi)，同時(shí)數(shù)據(jù)大、數(shù)據(jù)多，使得數(shù)據(jù)傳輸，尤其是遠(yuǎn)程傳輸需要更大的帶寬和更多的時(shí)間。

　　潮數(shù)的備份系統(tǒng)在備份數(shù)據(jù)的同時(shí)，能夠做到自動(dòng)壓縮數(shù)據(jù)，并且支持不同的壓縮級(jí)別，能很好地節(jié)省存儲(chǔ)空間和傳輸消耗。