【51CTO.com原創(chuàng)稿件】

萬(wàn)物數(shù)字化開(kāi)啟數(shù)據(jù)化運(yùn)維時(shí)代

在企業(yè)數(shù)字化轉(zhuǎn)型的過(guò)程中，隨著云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等一系列新技術(shù)的逐步落地，傳統(tǒng)的系統(tǒng)運(yùn)維將逐漸被人工智能的自動(dòng)化運(yùn)維方式所取代，大大提升了企業(yè)的管理效率。

與此同時(shí)，在數(shù)據(jù)為王的時(shí)代，云計(jì)算、大數(shù)據(jù)或人工智能等新技術(shù)，其核心要素都是圍繞數(shù)據(jù)展開(kāi)，企業(yè)所擁有的數(shù)據(jù)其質(zhì)和量都發(fā)生了很大變化，如銀行客戶(hù)的數(shù)據(jù)體量從幾百TB升級(jí)到PB級(jí)，此時(shí)系統(tǒng)運(yùn)維人員的主要職責(zé)也從系統(tǒng)運(yùn)維向數(shù)據(jù)運(yùn)維和數(shù)據(jù)運(yùn)營(yíng)的方向過(guò)渡。誰(shuí)能把數(shù)據(jù)運(yùn)維好、運(yùn)營(yíng)好，才能夠在市場(chǎng)上擁有核心競(jìng)爭(zhēng)力。

由國(guó)內(nèi)領(lǐng)先云計(jì)算服務(wù)商UCloud主辦的TIC 2018大會(huì)于5月15日在京隆重舉行，大會(huì)聚焦技術(shù)創(chuàng)新的深度挖掘，搭建了云計(jì)算、區(qū)塊鏈等行業(yè)技術(shù)的交流平臺(tái)，與行業(yè)大咖共同探討新技術(shù)的落地與時(shí)代價(jià)值的賦能。會(huì)議期間，51CTO記者采訪了UMCloud解決方案高級(jí)總監(jiān)方勇，本文將對(duì)其核心存儲(chǔ)產(chǎn)品UMStor進(jìn)行深入解讀。

UMCloud解決方案高級(jí)總監(jiān)方勇

數(shù)據(jù)價(jià)值重塑的三個(gè)階段

方勇表示，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)源復(fù)雜多樣，非結(jié)構(gòu)化或半結(jié)構(gòu)化的海量數(shù)據(jù)，給數(shù)據(jù)存儲(chǔ)技術(shù)帶來(lái)極大挑戰(zhàn)。為滿(mǎn)足新時(shí)代數(shù)據(jù)存儲(chǔ)的發(fā)展需求，UCloud潛心研發(fā)了UMStor數(shù)據(jù)存儲(chǔ)系統(tǒng)，幫助客戶(hù)應(yīng)對(duì)企業(yè)數(shù)字化后，“數(shù)據(jù)來(lái)源雜”、“數(shù)據(jù)體量大”、“使用復(fù)雜”、“管理難”等一系列場(chǎng)景下的復(fù)雜挑戰(zhàn)。

UMStor系統(tǒng)在設(shè)計(jì)上除了包括分布式存儲(chǔ)的一些通用特性外，還采用了一些新的理念，例如：“計(jì)算下沉”和“云集成”。計(jì)算下沉：即將數(shù)據(jù)搜索或是查詢(xún)類(lèi)的分析功能嵌入存儲(chǔ)系統(tǒng)中，讓客戶(hù)可以更加高效的使用該功能;云集成：即把存儲(chǔ)系統(tǒng)和云端進(jìn)行打通,為加速底層數(shù)據(jù)流動(dòng)賦能。

UMStor賦能企業(yè)數(shù)字化轉(zhuǎn)型

UMStor將在企業(yè)數(shù)據(jù)化的過(guò)程中起到三個(gè)維度的推動(dòng)作用：

1. 有效實(shí)現(xiàn)數(shù)據(jù)流動(dòng);
2. 充分實(shí)現(xiàn)數(shù)據(jù)融合;
3. 積極進(jìn)行數(shù)據(jù)再造。

數(shù)據(jù)流動(dòng)

當(dāng)前眾多企業(yè)紛紛采用云計(jì)算技術(shù)，“雙模IT”的概念屢被提及，混合云的方式倍受關(guān)注，在這樣的背景之下，企業(yè)在做云規(guī)劃時(shí)往往喜歡將互聯(lián)網(wǎng)業(yè)務(wù)放在公有云上，將核心或次核心的業(yè)務(wù)放在企業(yè)數(shù)據(jù)中心。方勇認(rèn)為，這樣的部署只完成了業(yè)務(wù)彈性的目標(biāo)，公有云強(qiáng)大的計(jì)算能力只有在大量數(shù)據(jù)驅(qū)動(dòng)的情況下，才能幫助企業(yè)實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)的目標(biāo)。

例如在人工智能領(lǐng)域，數(shù)據(jù)存儲(chǔ)跟計(jì)算平臺(tái)密不可分，不同的系統(tǒng)要跟存儲(chǔ)層的數(shù)據(jù)進(jìn)行多維度交換，包括數(shù)據(jù)寫(xiě)入、數(shù)據(jù)輸出、計(jì)算處理等等，人工智能平臺(tái)跟大數(shù)據(jù)平臺(tái)一樣，整個(gè)環(huán)節(jié)不單是AI與存儲(chǔ)平臺(tái)的處理過(guò)程，相關(guān)的系統(tǒng)都要跟存儲(chǔ)進(jìn)行交互，因此數(shù)據(jù)流動(dòng)顯得至關(guān)重要。方勇透露，UMStor實(shí)現(xiàn)了云集成的能力，可以通過(guò)Cloudsync、CloudArchive等功能實(shí)現(xiàn)數(shù)據(jù)在底層的流動(dòng)，即在安全可控的情況下，將企業(yè)的數(shù)據(jù)傳輸?shù)皆贫?，從而運(yùn)用云端強(qiáng)大的計(jì)算能力為人工智能及大數(shù)據(jù)分析等賦能。

數(shù)據(jù)融合

隨著各大企業(yè)紛紛采用Hadoop、Spark等技術(shù)搭建大數(shù)據(jù)分析平臺(tái)，各部門(mén)對(duì)大數(shù)據(jù)技術(shù)的使用越來(lái)越頻繁，大數(shù)據(jù)系統(tǒng)越建越多，各自為政的現(xiàn)象普遍存在。在這個(gè)過(guò)程中，冗余的數(shù)據(jù)副本越來(lái)越多，數(shù)據(jù)復(fù)制時(shí)間成本越來(lái)越大，管理的成本越來(lái)越高，這些問(wèn)題如何解決呢?方勇表示，基于數(shù)據(jù)湖的數(shù)據(jù)處理模型，UMStor按照數(shù)據(jù)生產(chǎn)、數(shù)據(jù)處理只在“一片數(shù)據(jù)湖泊”的建設(shè)方式，提高了數(shù)據(jù)的使用效率，同時(shí)也降低了系統(tǒng)的建設(shè)成本，這是UMStor在數(shù)據(jù)融合層面帶來(lái)的變化。

UMStor數(shù)據(jù)存儲(chǔ)平臺(tái)

UMStor的產(chǎn)品設(shè)計(jì)靈感來(lái)源于同某運(yùn)營(yíng)商的合作，那是一個(gè)擁有數(shù)十PB體量的存儲(chǔ)使用環(huán)境，牽涉了私有云和數(shù)據(jù)湖兩種方式。數(shù)據(jù)湖是面向多種數(shù)據(jù)源的存儲(chǔ)，通過(guò)UMStor多協(xié)議的功能實(shí)現(xiàn)，將大數(shù)據(jù)處理的流程上從9個(gè)步驟縮短為5個(gè)，在節(jié)省成本的同時(shí)，大大提升了使用效率。“我接觸過(guò)的不少企業(yè)都很頭痛大數(shù)據(jù)環(huán)境資源部署的‘放’和‘收’的問(wèn)題，通過(guò)數(shù)據(jù)湖架構(gòu)，我們可以很容易做到，這個(gè)案例里面使用了物理機(jī)和虛擬機(jī)兩種資源，驗(yàn)證表明，通過(guò)數(shù)據(jù)湖存儲(chǔ)模型支撐的大數(shù)據(jù)環(huán)境和在物理機(jī)上部署的大數(shù)據(jù)環(huán)境表現(xiàn)的性能相差無(wú)幾。這是我們?cè)跀?shù)據(jù)湖這個(gè)領(lǐng)域所做的探索實(shí)踐。”方勇介紹到。

數(shù)據(jù)再造

近兩年人工智能大行其道，AI逐步改變企業(yè)的業(yè)務(wù)運(yùn)行模式。方勇提到，一個(gè)成功的AI平臺(tái)離不開(kāi)數(shù)據(jù)和計(jì)算，尤其是數(shù)據(jù)，今天我們使用的AI距離Alpha Go 2.0還有一些差距，事實(shí)上我們現(xiàn)在需要依賴(lài)大量數(shù)據(jù)來(lái)進(jìn)行AI模型的訓(xùn)練，這意味我們?cè)诖鎯?chǔ)上需要做很多工作。UCloud的計(jì)算平臺(tái)能無(wú)縫地與存儲(chǔ)系統(tǒng)進(jìn)行快速的數(shù)據(jù)交換，甚至有些計(jì)算工作可以offload 到存儲(chǔ)層去處理，這些挑戰(zhàn)UMStor都可以很好地解決。

持久性與安全性

在物理層面，UMStor具備一些分布式存儲(chǔ)的共性，因?yàn)閿?shù)據(jù)對(duì)用戶(hù)至關(guān)重要，所以軟件體系必須要足夠強(qiáng)大。方勇表示，“UMStor通過(guò)多副本、數(shù)據(jù)冗余等手段，來(lái)確保數(shù)據(jù)的安全性。我們已經(jīng)交付的幾個(gè)PB的現(xiàn)場(chǎng)實(shí)踐證明，我們底層的數(shù)據(jù)冗余機(jī)制是能夠經(jīng)受住考驗(yàn)的。”

在業(yè)務(wù)邏輯層，UMStor采用數(shù)據(jù)湖的架構(gòu)進(jìn)行存儲(chǔ)，必然要海納百川，來(lái)源于不同系統(tǒng)的各類(lèi)數(shù)據(jù)，必須要做一些功能上的數(shù)據(jù)隔離。如強(qiáng)租戶(hù)功能，一個(gè)租戶(hù)服務(wù)的那幾個(gè)系統(tǒng)，有其特定的訪問(wèn)空間，其他業(yè)務(wù)想要訪問(wèn)這個(gè)空間必須經(jīng)過(guò)授權(quán)才能獲取相關(guān)信息。通過(guò)物理層與業(yè)務(wù)邏輯層相結(jié)合的方式，保證數(shù)據(jù)存在一片數(shù)據(jù)湖泊里，在保證安全的同時(shí)，還可以最大效能地被不同的系統(tǒng)使用。UMStor做到了既與數(shù)據(jù)安全隔離，又具備了數(shù)據(jù)交叉時(shí)的靈活性。

總結(jié)

據(jù)了解，UMStor提供多種數(shù)據(jù)接口，包括塊存儲(chǔ)、對(duì)象存儲(chǔ)、文件存儲(chǔ)、大數(shù)據(jù)、流媒體等，適用于虛擬化、容器、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、混合云、AI人工智能、備份歸檔等各類(lèi)場(chǎng)景。具備數(shù)據(jù)湖存儲(chǔ)架構(gòu)的UMStor，將為企業(yè)實(shí)現(xiàn)數(shù)據(jù)價(jià)值賦能，進(jìn)一步助推企業(yè)數(shù)字化轉(zhuǎn)型。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】