【51CTO.com快譯】

在如今這樣“快魚(yú)吃慢魚(yú)”的市場(chǎng)環(huán)境中，那些數(shù)字化顛覆者往往能夠利用AI算法、無(wú)服務(wù)器數(shù)據(jù)平臺(tái)、以及不間斷分析等創(chuàng)新技術(shù)，去徹底顛覆傳統(tǒng)的業(yè)務(wù)模型。同時(shí)，Covid-19在全球范圍內(nèi)的大流行，也加速了企業(yè)數(shù)字化的快速轉(zhuǎn)型，新的服務(wù)產(chǎn)品需求也應(yīng)運(yùn)而生。因此，為了保持競(jìng)爭(zhēng)力和敏捷性，服務(wù)提供型企業(yè)必須迅速地在現(xiàn)有基礎(chǔ)架構(gòu)上，部署新的數(shù)據(jù)技術(shù)，以推動(dòng)包括：個(gè)性化報(bào)價(jià)、實(shí)時(shí)警報(bào)、以及預(yù)測(cè)性維護(hù)在內(nèi)的市場(chǎng)驅(qū)動(dòng)型創(chuàng)新。

[[336214]]

不過(guò)，在實(shí)施從流式處理到數(shù)據(jù)湖(data lakes)分析的過(guò)程中，許多企業(yè)發(fā)現(xiàn)他們現(xiàn)有的數(shù)據(jù)架構(gòu)存在著各種歷史遺留問(wèn)題，以至于無(wú)法有效地管理或正確地利用海量數(shù)據(jù)。因此，為了實(shí)現(xiàn)新功能的快速部署，并簡(jiǎn)化現(xiàn)有的架構(gòu)方法，企業(yè)需要在不影響核心技術(shù)棧的情況下，轉(zhuǎn)變或重塑現(xiàn)有的基礎(chǔ)架構(gòu)。下面，我們來(lái)具體討論在此類轉(zhuǎn)變的實(shí)施過(guò)程中，需要注意的五個(gè)方面。

1.轉(zhuǎn)向基于云服務(wù)的平臺(tái)

在對(duì)各種完全不同的數(shù)據(jù)架構(gòu)進(jìn)行轉(zhuǎn)型的方面，云服務(wù)具有一定的根本性和徹底性。它為企業(yè)提供了一系列快速且可擴(kuò)展的工具，以及競(jìng)爭(zhēng)優(yōu)勢(shì)上的賦能。云服務(wù)能夠讓企業(yè)及時(shí)且大規(guī)模地獲取、部署和運(yùn)行新的數(shù)據(jù)架構(gòu)平臺(tái)和應(yīng)用程序。

關(guān)鍵技術(shù)：

• 無(wú)服務(wù)器的數(shù)據(jù)平臺(tái) – 此類平臺(tái)使組織能夠構(gòu)建和運(yùn)行以數(shù)據(jù)為中心的應(yīng)用，在賦予無(wú)限可擴(kuò)展能力的同時(shí)，消除了現(xiàn)場(chǎng)配置和管理的工作負(fù)載與麻煩，進(jìn)而降低了成本的支出。這些技術(shù)易用性，主要體現(xiàn)在它們可以在數(shù)分鐘內(nèi)，而非過(guò)去的數(shù)周之內(nèi)，實(shí)現(xiàn)部署。這樣可以大幅減少了總體業(yè)務(wù)的運(yùn)營(yíng)開(kāi)銷。
• 容器化數(shù)據(jù)解決方案 – Kubernetes技術(shù)不但能夠使得企業(yè)解耦現(xiàn)有的業(yè)務(wù)、而且能夠自動(dòng)化其他數(shù)據(jù)存儲(chǔ)系統(tǒng)的部署和計(jì)算力。據(jù)此，那些具有復(fù)雜設(shè)置的平臺(tái)，仍然可以按需進(jìn)行擴(kuò)展，以滿足業(yè)務(wù)的需求。

2.從批處理轉(zhuǎn)移到實(shí)時(shí)處理

實(shí)時(shí)數(shù)據(jù)流功能為當(dāng)前的各種業(yè)務(wù)應(yīng)用提供了動(dòng)力。例如：來(lái)自工廠車間的傳感器，可以通過(guò)捕獲到的實(shí)時(shí)數(shù)據(jù)，協(xié)助制造商去預(yù)測(cè)各類維護(hù)問(wèn)題;保險(xiǎn)公司可以根據(jù)來(lái)自智能設(shè)備的實(shí)時(shí)行為數(shù)據(jù)，去設(shè)置個(gè)性化的費(fèi)率;消費(fèi)者能以秒為單位，準(zhǔn)確地跟蹤從餐廳到家門口的訂餐遞送服務(wù)。由于云服務(wù)降低了數(shù)據(jù)和計(jì)算力的費(fèi)用，也就大幅降低了實(shí)時(shí)數(shù)據(jù)消息在傳輸和交付上的成本，此類技術(shù)對(duì)于各種規(guī)模的企業(yè)都比較適用。

同時(shí)，實(shí)時(shí)流功能也能夠讓數(shù)據(jù)使用者訂閱不同的“主題”，以便不斷地收到與真實(shí)需求相關(guān)的信息。通過(guò)將信息存儲(chǔ)到數(shù)據(jù)湖中，我們還能夠保留所有粒度的詳細(xì)信息，被用于深入分析和趨勢(shì)預(yù)測(cè)。

關(guān)鍵技術(shù)：

• 消息傳遞平臺(tái) – 現(xiàn)代化消息傳遞平臺(tái)能夠提供可擴(kuò)展、且具有容錯(cuò)能力的發(fā)布與訂閱服務(wù)。與傳統(tǒng)的、基于批處理的消息隊(duì)列相比，此類消息傳送平臺(tái)每秒鐘可以處理和存儲(chǔ)數(shù)百萬(wàn)條消息。在降低成本的同時(shí)，它也減少了存儲(chǔ)所占用的空間。
• 流分析方案 – 此類系統(tǒng)不但能夠?qū)崟r(shí)、直接地分析消息，還能夠?qū)v史數(shù)據(jù)與當(dāng)前消息進(jìn)行比較，以通過(guò)趨勢(shì)分析，來(lái)生成預(yù)測(cè)和建議。

3.從商用現(xiàn)貨(Commercial Off the Shelf，COTS)升級(jí)到定制解決方案

過(guò)去在軟件選擇性匱乏的時(shí)代，企業(yè)往往可以強(qiáng)勢(shì)地通過(guò)提供COTS，讓用戶被動(dòng)地接受產(chǎn)品。如今隨著個(gè)性化需求的增長(zhǎng)，開(kāi)發(fā)者不得不轉(zhuǎn)向定制的、高度模塊化的數(shù)據(jù)架構(gòu)。他們可以從同類開(kāi)源的組件中選用最受歡迎的一款，并且能夠根據(jù)實(shí)際需求，在不破壞現(xiàn)有業(yè)務(wù)模式的情況下，進(jìn)行升級(jí)和改造。

關(guān)鍵技術(shù)：

• 基于API的接口 – 在以DevOps方式實(shí)施數(shù)據(jù)管道時(shí)，API接口可以讓不同的獨(dú)立團(tuán)隊(duì)免受那些無(wú)關(guān)的復(fù)雜因素的影響，進(jìn)而減少了人為錯(cuò)誤的可能性，并加快了產(chǎn)品的面市時(shí)間。與此同時(shí)，隨著需求的變化，他們也能夠輕松地更換各類組件。
• 分析工作臺(tái) – 此類服務(wù)平臺(tái)可實(shí)現(xiàn)在模塊化組件(如：數(shù)據(jù)庫(kù)和服務(wù))之間進(jìn)行端到端的通信。

4.解耦數(shù)據(jù)訪問(wèn)

通常情況下，API可以幫助我們解除數(shù)據(jù)訪問(wèn)時(shí)的耦合性問(wèn)題，并能夠通過(guò)封裝，確保對(duì)數(shù)據(jù)進(jìn)行直接訪問(wèn)和查看時(shí)的限制與安全。有了API，我們不但能夠?qū)崿F(xiàn)對(duì)通用數(shù)據(jù)集的快速訪問(wèn)，而且方便了團(tuán)隊(duì)之間對(duì)于數(shù)據(jù)的重用，以及高效的無(wú)縫協(xié)作。

關(guān)鍵技術(shù)：

• API網(wǎng)關(guān) – 您可以創(chuàng)建和發(fā)布以數(shù)據(jù)為中心的API，進(jìn)而實(shí)現(xiàn)訪問(wèn)控制，實(shí)施使用策略，以及衡量服務(wù)的性能。
• 數(shù)據(jù)緩沖 – 許多組織都會(huì)用到某個(gè)數(shù)據(jù)平臺(tái)，來(lái)緩沖核心系統(tǒng)外部的事務(wù)。該平臺(tái)的實(shí)現(xiàn)方式既可以是針對(duì)每個(gè)團(tuán)隊(duì)預(yù)期工作負(fù)荷的一種數(shù)據(jù)湖，又可以是基于數(shù)據(jù)存儲(chǔ)架構(gòu)的一種存儲(chǔ)庫(kù)。

5.轉(zhuǎn)向基于域的數(shù)據(jù)架構(gòu)

許多組織不再將所有的企業(yè)數(shù)據(jù)都存儲(chǔ)在某個(gè)單一的位置，而是會(huì)過(guò)渡到基于域的架構(gòu)中，將數(shù)據(jù)集的所有權(quán)轉(zhuǎn)移給使用它們的業(yè)務(wù)職能團(tuán)隊(duì)。此舉的好處不但可以讓那些業(yè)務(wù)域的數(shù)據(jù)能夠以一種面向消費(fèi)的方式推送給用戶，而且能夠有效地應(yīng)對(duì)不斷變化的流動(dòng)性需求，并遵守持續(xù)更新的法律法規(guī)。

關(guān)鍵技術(shù)：

• 數(shù)據(jù)基礎(chǔ)設(shè)施即平臺(tái) – 此類服務(wù)平臺(tái)提供了用于存儲(chǔ)和管理通用工具的功能。數(shù)據(jù)生產(chǎn)者能夠快速地實(shí)現(xiàn)其數(shù)據(jù)需求，且無(wú)需自行構(gòu)建平臺(tái)。
• 數(shù)據(jù)分類工具 – 此類工具可以在無(wú)需獲取完全訪問(wèn)權(quán)限的情況下，對(duì)數(shù)據(jù)進(jìn)行搜索和瀏覽。該工具的數(shù)據(jù)目錄通常還提供了對(duì)于元數(shù)據(jù)的定義，簡(jiǎn)化的界面，以及可以從任何地方訪問(wèn)到數(shù)據(jù)資產(chǎn)。

如何實(shí)現(xiàn)現(xiàn)代化的數(shù)據(jù)架構(gòu)

數(shù)據(jù)和技術(shù)領(lǐng)導(dǎo)者需要能夠通過(guò)快速地評(píng)估和部署新的技術(shù)，以確保跟上現(xiàn)代化數(shù)據(jù)創(chuàng)新的步伐。目前，業(yè)界有如下三種技術(shù)準(zhǔn)備與實(shí)踐，可方便企業(yè)構(gòu)建出數(shù)據(jù)轉(zhuǎn)發(fā)型組織(data-forward organization)架構(gòu)：

• 對(duì)于組織而言，“測(cè)試和學(xué)習(xí)(test-and-learn)”是DevOps的敏捷實(shí)踐方法。通過(guò)嘗試不同的組件和概念，我們能夠快速地確定出對(duì)于本組織行之有效的方法。
• DataOps是DevOps針對(duì)數(shù)據(jù)的增強(qiáng)。它有助于加速新組件的設(shè)計(jì)、開(kāi)發(fā)和部署，能夠方便團(tuán)隊(duì)快速地實(shí)施變更，并按需更新方案與文檔。
• 確保獲得高級(jí)管理層的支持，并致力于打造積極的數(shù)據(jù)文化(data-positive culture)。據(jù)此，技術(shù)人員不但能夠提高工作效率并簡(jiǎn)化準(zhǔn)備流程，還能夠確保數(shù)據(jù)策略與組織的業(yè)務(wù)目標(biāo)相一致。

隨著數(shù)據(jù)、分析、以及AI等元素被嵌入企業(yè)的日常運(yùn)營(yíng)之中，我們需要通過(guò)靈活的數(shù)據(jù)架構(gòu)，以確保本組織在瞬息萬(wàn)變的市場(chǎng)中保持敏捷性、魯棒性和競(jìng)爭(zhēng)力。

【原標(biāo)題】5 Steps for Implementing a Modern Data Architecture (作者: Rachel Roundy)

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】