引言

針對數(shù)據(jù)存儲架構(gòu)的需求是當(dāng)下企業(yè)關(guān)注的焦點(diǎn)之一，在數(shù)字化轉(zhuǎn)型背景下，對存儲的需求量直線上升，無論是基礎(chǔ)的數(shù)據(jù)存儲還是容災(zāi)備份的需求。傳統(tǒng)集中式的存儲架構(gòu)，已經(jīng)不適應(yīng)大數(shù)據(jù)時(shí)代業(yè)務(wù)的全部需求，存儲在此類場景下的“軟實(shí)力”變得尤為重要。

存儲需要“軟實(shí)力”，也就是我們常說的軟件定義能力，如分布式架構(gòu)的存儲，但是并不意味著集中式存儲沒有用武之地。分布式存儲架構(gòu)在對象存儲方面的優(yōu)勢不可否認(rèn)，但是任何技術(shù)架構(gòu)都要看其兩面性，很多企業(yè)依然會在某些核心領(lǐng)域沿用集中式存儲，尤其是在塊存儲泛濫的傳統(tǒng)制造業(yè)。

在制造業(yè)傳統(tǒng)工廠向智能工廠轉(zhuǎn)換的過程中，諸多分散的生產(chǎn)系統(tǒng)將進(jìn)行合并，關(guān)系型數(shù)據(jù)庫中的核心數(shù)據(jù)通道將被貫通，對存儲的性能和高可用性要求非常的高。本文將分享制造業(yè)案例數(shù)字化轉(zhuǎn)型背景下集中式存儲與分布式存儲架構(gòu)的應(yīng)用。

分布式存儲在制造業(yè)的應(yīng)用案例分享

由于集中式存儲價(jià)格昂貴，擴(kuò)展靈活性等原因，無法滿足數(shù)據(jù)海量存儲的容量要求和實(shí)時(shí)存儲的性能要求，分布式存儲架構(gòu)得到了飛速的發(fā)展，其主要特點(diǎn)包括但不限于：大容量、高性能、高可靠、易擴(kuò)展、低成本。

某傳統(tǒng)制造企業(yè)已開始圍繞客戶為中心的理念進(jìn)行多年的數(shù)字化轉(zhuǎn)型，為了更好的了解用戶的畫像，獲悉用戶最真實(shí)的意見和想法，將其快速的反饋給后端研發(fā)，生產(chǎn)出更適應(yīng)當(dāng)代市場的產(chǎn)品。公司在業(yè)務(wù)系統(tǒng)上進(jìn)行了軟件架構(gòu)的重構(gòu)，采用微服務(wù)架構(gòu)建設(shè)端到端的應(yīng)用系統(tǒng)，用于第一時(shí)間聽到用戶的心聲。

隨著架構(gòu)的開放及業(yè)務(wù)形態(tài)的變化，終端側(cè)數(shù)據(jù)呈現(xiàn)出種類多、體量大、碎片化的特點(diǎn)。同時(shí)在服務(wù)上也對及時(shí)性有更加苛刻的要求，現(xiàn)有的集中式數(shù)據(jù)存儲方案無法達(dá)到業(yè)務(wù)的需求。時(shí)常出現(xiàn)：

• 數(shù)據(jù)增長快速，撐爆存儲，緊急擴(kuò)盤，周期長；
• 數(shù)據(jù)過于碎片化，傳統(tǒng)存儲分區(qū)過大，導(dǎo)致檢索速度慢，無法及時(shí)響應(yīng)前端業(yè)務(wù)需求；
• 前端存儲數(shù)據(jù)不僅局限在傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，目前80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，如圖片、聲音、短視頻等等。導(dǎo)致傳統(tǒng)存儲性能無法滿足業(yè)務(wù)需求。

總之，無論在擴(kuò)展能力上、存儲容量上還是性能上都不能匹配業(yè)務(wù)需求。為此集團(tuán)通過大量的市場調(diào)研和實(shí)踐應(yīng)用，最終決定引入分布式存儲解決方案助力業(yè)務(wù)轉(zhuǎn)型。

集團(tuán)采購了數(shù)套分布式存儲設(shè)備，利用周末兩天替換了C端業(yè)務(wù)的后端集中式存儲，完成系統(tǒng)對接。通過近一周的試運(yùn)行：

• 性能上大幅度提升，對于碎片化數(shù)據(jù)的處理能力明顯上升，基本滿足C端應(yīng)用的響應(yīng)要求；
• 由于主要是X86架構(gòu)的存儲節(jié)點(diǎn)，所以管理員可以根據(jù)需求高效擴(kuò)展，而且成本極低；
• 更適合C端軟件架構(gòu)的環(huán)境，提升非結(jié)構(gòu)化數(shù)據(jù)存取效率。

集中式存儲在制造業(yè)的應(yīng)用案例分享

在大數(shù)據(jù)時(shí)代，集中式存儲雖然已經(jīng)無法完全適應(yīng)各種新興業(yè)務(wù)的數(shù)據(jù)要求，如大數(shù)據(jù)分析平臺、物聯(lián)網(wǎng)平臺、零散型數(shù)據(jù)的存儲業(yè)務(wù)等。但是集中式存儲架構(gòu)獨(dú)特的技術(shù)特點(diǎn)仍然是企業(yè)核心業(yè)務(wù)中數(shù)據(jù)存儲不可缺少的部分，尤其是在傳統(tǒng)企業(yè)中。如ERP、CRM、交易型系統(tǒng)的核心數(shù)據(jù)庫平臺。從字面的意思不難看出，集中式存儲就是說將數(shù)據(jù)集中存儲在一個(gè)地方，架構(gòu)特點(diǎn)：部署簡單、橫向擴(kuò)展、性能穩(wěn)定、管理簡單。

對于集中式存儲是否還有使用場景或者說是存在的價(jià)值，一直都有爭論，雖然傳統(tǒng)存儲的架構(gòu)不夠靈活，擴(kuò)展能力也相對較差，應(yīng)用場景也逐漸在萎縮，但是由于它天生IO路徑短，單體性能較好的特點(diǎn)，非常適用于對延時(shí)要求非常高的核心數(shù)據(jù)庫場景。

某制造企業(yè)作為國內(nèi)知名的汽車制造公司，在工業(yè)互聯(lián)網(wǎng)的大背景下，著手進(jìn)行數(shù)字化改革。工廠也開始逐漸從傳統(tǒng)工廠向智能工廠轉(zhuǎn)變，旨在通過現(xiàn)代化的、自動化的生產(chǎn)能力，提升生產(chǎn)效率，降低運(yùn)營成本。

工廠由于歷史原因，深度采用SAP、微軟、Oralce、西門子等大廠的解決方案用于核心應(yīng)用。各個(gè)業(yè)務(wù)單體相對獨(dú)立，均通過標(biāo)準(zhǔn)的接口進(jìn)行服務(wù)對接。這就意味著數(shù)據(jù)存儲也相對獨(dú)立，各自為政。但是隨著智能工廠的提出，各大應(yīng)用系統(tǒng)的數(shù)據(jù)呈現(xiàn)指數(shù)型增長。數(shù)據(jù)種類也復(fù)雜多樣，有的用于工廠生產(chǎn)，有的用于質(zhì)量控制、有的用于工廠可視化，重要程度可想而知。但當(dāng)前所有的數(shù)據(jù)均存儲在一個(gè)使用超過5年的集中式存儲上?，F(xiàn)有存儲采用機(jī)械盤與閃盤混搭的形式使用，所以在IOPS上可以有效支撐這些傳統(tǒng)應(yīng)用的使用需求。但是畢竟是單點(diǎn)工作，若控制器或者其他核心部件發(fā)生風(fēng)險(xiǎn)，將直接造成不可估量的損失。為此IT部門決定通過尋找一種高可靠的方式實(shí)現(xiàn)數(shù)據(jù)的備份，確保當(dāng)出現(xiàn)“黑天鵝”事件時(shí)，可以第一時(shí)間保住生產(chǎn)不斷。

為此IT部門通過與友商的學(xué)習(xí)及與成熟存儲解決方案廠商的溝通，最終決定繼續(xù)使用集中式存儲解決方案從物理上實(shí)現(xiàn)數(shù)據(jù)級的核心數(shù)據(jù)備份。簡單來說就是另外采購一套相同配置的集中式存儲，通過內(nèi)置的物理級存儲復(fù)制功能，定期對制定的數(shù)據(jù)卷進(jìn)行復(fù)制。從而實(shí)現(xiàn)數(shù)據(jù)的異地備份。此方法既簡單又可靠，充分發(fā)揮了集中式存儲的優(yōu)勢，滿足了業(yè)務(wù)的需求。

為什么不用分布式存儲，而繼續(xù)采購新的集中式存儲與現(xiàn)有集中式存儲形成互為備份的架構(gòu)，主要有以下幾點(diǎn)考慮：

• 數(shù)據(jù)結(jié)構(gòu)單一

現(xiàn)有應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)均為結(jié)構(gòu)化形式存儲，集中式存儲架構(gòu)非常適合此類業(yè)務(wù)場景。

• 對接成本高

若使用新的存儲架構(gòu)，如分布式存儲架構(gòu)。有可能需要業(yè)務(wù)側(cè)的聯(lián)調(diào)與系統(tǒng)對接（重新對接）。由于各個(gè)業(yè)務(wù)系統(tǒng)的供應(yīng)商不同，對接方案錯(cuò)綜復(fù)雜，成本直線上升，而且對實(shí)際的性能和應(yīng)用與集中式存儲相比增加效果甚小。

• 運(yùn)維成本高

集團(tuán)現(xiàn)有存儲工程師對集中式存儲非常熟悉，需要對分布式存儲進(jìn)行學(xué)習(xí)，培訓(xùn)成本高。同時(shí)若采用X86架構(gòu)的分布式存儲，對網(wǎng)絡(luò)延時(shí)要求高，對運(yùn)維人員的技能要求也相對提升。

集中式與分布式存儲在制造業(yè)混合應(yīng)用案例分享

其實(shí)集中式存儲和分布式存儲就像兩個(gè)孿生兄弟，在某些場景下可以單打獨(dú)斗，獨(dú)領(lǐng)風(fēng)騷。但是在一些特殊場景上必須相互扶持，強(qiáng)強(qiáng)聯(lián)合，才能發(fā)揮最大的能量，滿足業(yè)務(wù)的最終需求。

某集團(tuán)的車聯(lián)網(wǎng)業(yè)務(wù)的數(shù)據(jù)存儲需求就非常適合混合存儲架構(gòu)，利用集中式存儲和分布式存儲的合理結(jié)合，有效的承擔(dān)不同類型數(shù)據(jù)的存儲任務(wù)，并提供低延時(shí)、高可用、海量的存儲環(huán)境。

車聯(lián)網(wǎng)業(yè)務(wù)作為某公司未來5-10重要的發(fā)力點(diǎn)，得到高層的支持，并以驚人的速度發(fā)展。目前接入車輛達(dá)到百萬級，每天產(chǎn)生數(shù)十億條數(shù)據(jù)，每天3-4T左右的存儲量。車聯(lián)網(wǎng)平臺存儲了接入車輛的位置信息、狀態(tài)信息、速度信息及其他傳感器等信息，主要以非結(jié)構(gòu)化的數(shù)據(jù)為主,而且瑣碎而海量。導(dǎo)致傳統(tǒng)的數(shù)據(jù)存儲架構(gòu)無法滿足當(dāng)前規(guī)模的車聯(lián)網(wǎng)數(shù)據(jù)存儲的需求、響應(yīng)的需求和彈性擴(kuò)容的需求。對于車聯(lián)網(wǎng)的后端報(bào)表平臺，與大數(shù)據(jù)分析平臺形成數(shù)據(jù)駕駛艙，為各個(gè)業(yè)務(wù)層面的領(lǐng)導(dǎo)進(jìn)行決策提供數(shù)據(jù)支持。

為更好的支持整個(gè)車聯(lián)網(wǎng)平臺的數(shù)據(jù)存儲和不同層面的業(yè)務(wù)需求，IT部門急需一種性價(jià)比較高的存儲解決方案。經(jīng)過調(diào)研和POC，最終決定采用分布式存儲對采集的數(shù)據(jù)進(jìn)行存儲，利用集中式存儲對駕駛艙數(shù)據(jù)及各種報(bào)表進(jìn)行存儲，主要有以下方面的考慮：

• 數(shù)據(jù)類型

前端主要負(fù)責(zé)數(shù)據(jù)的采集和存儲，由于采集的數(shù)據(jù)大多數(shù)是非結(jié)構(gòu)化數(shù)據(jù)，具有海量、瑣碎、多樣性的特點(diǎn)，所以采用分布式存儲架構(gòu)對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲，既可以實(shí)現(xiàn)海量存儲，也可以實(shí)現(xiàn)彈性擴(kuò)容。后端主要是固定的報(bào)表服務(wù)，數(shù)據(jù)大多數(shù)是結(jié)構(gòu)化的，所以使用集中式存儲即可滿足業(yè)務(wù)需求。

• 彈性擴(kuò)容

考慮到前端每日的數(shù)據(jù)增長量，傳統(tǒng)的集中式存儲無法實(shí)現(xiàn)按需的快速增長需求，所以利用分布式存儲的彈性擴(kuò)容特點(diǎn)，滿足快速擴(kuò)容的需求。后端報(bào)表服務(wù)主要是按照領(lǐng)導(dǎo)的需求進(jìn)行頁面的展示的增加，對存儲需求小，傳統(tǒng)的集中式存儲即可滿足。

• 性能至上

前端負(fù)責(zé)數(shù)據(jù)的采集和存儲，要求對前端應(yīng)用快速響應(yīng)，尤其是瑣碎的小文件，集中式存儲是不可能快速檢索和響應(yīng)。采用分布式存儲架構(gòu)可以從根本上解決性能滯后的問題。

• 性價(jià)比高

前后端按需采用不同的存儲架構(gòu)，在提升使用效率的同時(shí)，更能降低總體使用成本，符合集團(tuán)降本增效的指導(dǎo)方針。

總結(jié)

在大數(shù)據(jù)時(shí)代的背景下，結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)激增，各個(gè)企業(yè)數(shù)字化轉(zhuǎn)型步伐的加速，存儲技術(shù)架構(gòu)的不斷更迭，會有更新的存儲解決方案或者架構(gòu)應(yīng)運(yùn)而生。新技術(shù)并不是為了代替老的技術(shù)，而是能夠在現(xiàn)有存儲架構(gòu)的優(yōu)勢上，發(fā)掘新的突破點(diǎn)。在數(shù)據(jù)存儲方面，混合架構(gòu)的配合使用是未來存儲發(fā)展的新趨勢。