數(shù)據(jù)共享 UCloud 分布式文件存儲 UFS 新品發(fā)布
隨著互聯(lián)網行業(yè)的飛速發(fā)展,各領域對數(shù)據(jù)存儲及共享的需求與日俱增。據(jù)IDC公布的調查數(shù)據(jù)顯示,未來全球數(shù)據(jù)將維持50%左右的增長率,到2020年全球數(shù)據(jù)總量將達到44ZB(十萬億億字節(jié))。那么問題來了——如此龐大的數(shù)據(jù)量該如何有效地存儲利用呢?特別是在大數(shù)據(jù)及分析、動畫制作、web服務和企業(yè)工作目錄等業(yè)務場景下,需要搭建一套安全、便于擴容、高可靠、簡單易用的文件共享存儲系統(tǒng)。在此背景下,UCloud File System (UFS) 分布式文件存儲應運而生。
三種存儲形態(tài)的對比
目前,獨立的存儲形態(tài)主要有三種:塊存儲、文件存儲以及對象存儲。
塊存儲就是一塊一塊的硬盤直接掛載在主機上,主要操作對象是磁盤。從存儲架構的角度區(qū)分,塊存儲又分為DAS存儲(Direct-Attached Storage,直連式存儲)和SAN存儲(Storage Area Network,存儲區(qū)域網絡)。塊存儲一般不會定義磁盤的創(chuàng)建和刪除操作,協(xié)議更注重傳輸控制。
文件存儲,指的是基于文件系統(tǒng)上的存儲,主要操作對象是文件和文件夾。我們知道,文件系統(tǒng)有文件夾,子文件夾,形成一個自上而下的文件結構;文件系統(tǒng)下的文件,用戶可以通過操作系統(tǒng)中的應用程序進行讀取、修改、保存等操作。從架構角度分析,文件存儲提供一種NAS(Network Attached Storage,網絡附屬存儲)架構,使得主機的文件系統(tǒng)不僅限于本地的文件系統(tǒng),還可以連接基于局域網的共享文件系統(tǒng)。文件存儲協(xié)議更注重接口的靈活以及訪問權限控制。
對象存儲是面向對象/文件的、海量的互聯(lián)網存儲,它也可以直接被稱為“云存儲”,主要操作對象是對象(Object)。對象盡管是文件但已被封裝,因此在對象存儲系統(tǒng)里,不能直接打開/修改文件,但可以像ftp一樣上傳下載文件等。和文件存儲相比,沒有目錄樹的概念,協(xié)議更注重簡潔。
以下是對三種存儲形態(tài)和存儲架構的示意圖:
在PC時代,用戶的數(shù)據(jù)大多以文件的形式存在,數(shù)據(jù)共享也大多是以文件的形式訪問,比如常見的的FTP服務、NFS服務、Samba共享都是屬于典型的文件存儲。幾十個用戶甚至上百用戶的文件存儲共享訪問都可以用NAS存儲加以解決。因此文件存儲的廣泛兼容性和易用性成為很多中小企業(yè)存儲市場的不二選擇。UCloud File System (UFS) 分布式文件存儲是一種主要面向UCloud云主機提供簡單、可擴展、高可靠的標準POSIX文件共享訪問方式。在實現(xiàn)存儲空間的在線靈活擴展的同時,也可實現(xiàn)多個計算節(jié)點訪問同一個文件系統(tǒng)實例,極大提升了存儲空間的使用效率,降低存儲成本。
分布式文件存儲UFS的三種應用場景
- 負載均衡服務下的數(shù)據(jù)共享
數(shù)據(jù)的存儲效率和管理成本一直是困擾客戶的問題之一。在負載均衡服務輔助下的多臺云主機可以共享同一UFS文件空間。不僅極大優(yōu)化了數(shù)據(jù)存儲效率,也實現(xiàn)了數(shù)據(jù)存儲層的高可用。
- 日志匯總存儲及分析
隨著業(yè)務規(guī)模的不斷發(fā)展,云主機的日志數(shù)據(jù)如何管理成為日常運維遇到的重要議題之一。通過UFS文件共享服務,多臺云主機上的日志數(shù)據(jù)可以實現(xiàn)快速的匯總存儲及分析。有效降低日志分析與信息統(tǒng)計的時間與空間成本,顯著提升運維效率。
- 企業(yè)個人文件存儲
在企業(yè)中,不同的組織及用戶所對應的職責和權限不同,用戶可以使用的數(shù)據(jù)也不同,這給數(shù)據(jù)運維人員帶來一定的運維復雜性。在為企業(yè)客戶提供個人數(shù)據(jù)訪問權限的同時,管理員可以通過指定目錄和文件的屬主及用戶組,限制不同用戶的訪問權限方式,從而規(guī)范用戶的使用行為,極大地促進企業(yè)數(shù)據(jù)管理的合規(guī)性。
UFS分布式文件存儲架構解析
UFS存儲整體架構如下:
- 接入集群:主要負責解析NFS協(xié)議并實現(xiàn)NFS語義。本模塊還負責KV數(shù)據(jù)庫模擬文件系統(tǒng)層級結構,與存儲層交互完成數(shù)據(jù)讀寫定位。該模塊為無狀態(tài)設計,可平行拓展;
- 文件索引:文件系統(tǒng)元數(shù)據(jù),包括目錄索引與文件索引;
- 存儲接入集群:此模塊提供無狀態(tài)的業(yè)務轉發(fā)。
Set集群:Set為不受可用區(qū)限制的分布式存儲集群。每個Set內部都由控制節(jié)點(Chunkmaster)與若干存儲節(jié)點(Chunkserver)組成。其中Chunkmaster負責整個Set中的集群管理、路由、Chunk調度、發(fā)起遷移/修復操作等。Chunkserver負責最終的IO存取,管理對應Chunk遷移/修復等操作。
Set集群架構如下圖:
UFS分布式文件存儲四大特性
- 跨可用區(qū)共享掛載
UFS作為一個Region級別的產品,可以將一個UFS實例在多個跨可用區(qū)間共享掛載,達到文件在跨可用區(qū)的多臺主機間共享的目的。
- 容量與彈性
可根據(jù)需求隨時擴容,擴容過程中不會影響IO讀寫請求。相較傳統(tǒng)的文件存儲,UFS極易擴展能快速響應您的業(yè)務需求。同時,用戶所需要管理的是適合業(yè)務需求的存儲規(guī)模,極大地提升了存儲效率,降低管理成本,優(yōu)化IT架構。
- 安全可靠
UFS通過白名單訪問機制限制實例訪問權限,未在白名單內的云主機無法訪問文件空間,極大提升了數(shù)據(jù)的安全性。同時,基于分布式的文件存儲架構,支持3份冗余與強一致性,數(shù)據(jù)持久性可高達99.99999999%,是業(yè)務的可靠助手。
- 無縫集成
支持標準的NFS v3文件訪問協(xié)議,提供標準POSIX文件系統(tǒng)語義,傳統(tǒng)使用本地文件系統(tǒng)的應用程序可無縫遷移到UFS文件存儲。
面對種類繁多的云存儲產品,到底該如何選擇?這是企業(yè)架構存儲基礎設施時不可避免的一個問題。這個問題不僅會影響企業(yè)前端業(yè)務場景,也會影響后端數(shù)據(jù)管理,其重要程度毋庸置疑。UFS分布式文件存儲作為UCloud一款數(shù)據(jù)共享的重要產品,不僅在使用的靈活性和高效性實現(xiàn)了質的提升,同時注重高可用性和持久性,用戶可以方便地將大數(shù)據(jù)及分析、Web服務和主目錄等業(yè)務數(shù)據(jù)托管在UFS上,極大降低業(yè)務環(huán)境復雜度(UFS目前已經上線開始公測)。
Tips:
公測階段目前支持區(qū)域:北京二
公測***申請容量20T。
目前只支持NFS v3協(xié)議,掛載只能通過TCP方式。