?譯者 | 布加迪

審校 | 孫淑娟

現(xiàn)代數(shù)據(jù)堆棧（MDS）是數(shù)字顛覆者的基礎(chǔ)。不妨以網(wǎng)飛（Netflix）為例。該公司開創(chuàng)了一種基于視頻即服務(wù)的新商業(yè)模式，但其成功主要立足于實(shí)時流數(shù)據(jù)。

網(wǎng)飛在使用分析工具向觀眾推送高度相關(guān)的推薦內(nèi)容。它監(jiān)控實(shí)時數(shù)據(jù)，對網(wǎng)絡(luò)性能保持持續(xù)可見性。它在同步影片和節(jié)目數(shù)據(jù)庫，Elasticsearch讓用戶能夠快速輕松地找到所尋找的內(nèi)容。

這必須是實(shí)時的，必須百分之百準(zhǔn)確。老式的提取、轉(zhuǎn)換和加載（ETL）太慢了。為了滿足這個需求，網(wǎng)飛構(gòu)建了一個名為DBLog的變更數(shù)據(jù)捕獲（CDC）工具，該工具可捕獲MySQL、PostgreSQL及其他數(shù)據(jù)源方面的變更，然后將這些變更內(nèi)容流式傳輸?shù)侥繕?biāo)數(shù)據(jù)存儲系統(tǒng)，供搜索和分析所用。

網(wǎng)飛需要高可用性和實(shí)時同步，還需要盡量減少對運(yùn)營數(shù)據(jù)庫造成的影響。CDC以數(shù)據(jù)庫日志作為輸入源，按照發(fā)生的順序?qū)⒆兏鼉?nèi)容復(fù)制到目標(biāo)數(shù)據(jù)庫，因此它可以捕獲及時出現(xiàn)的變更內(nèi)容，而不會鎖定記錄或以其他方式阻礙數(shù)據(jù)源數(shù)據(jù)庫。

數(shù)據(jù)可謂是網(wǎng)飛業(yè)務(wù)的核心，但在這方面它并非孤例。優(yōu)步、亞馬遜、愛彼迎和Meta等公司之所以蓬勃發(fā)展，是由于它們真正了解如何讓數(shù)據(jù)為己所用。數(shù)據(jù)管理和數(shù)據(jù)分析是這些組織的戰(zhàn)略支柱，而CDC技術(shù)對于它們能夠執(zhí)行核心任務(wù)起到了關(guān)鍵作用。

幾乎所有在當(dāng)今商業(yè)環(huán)境中處于領(lǐng)先地位的公司都是如此。如果您希望貴公司成為頭部玩家，就需要更新改造并駕馭數(shù)據(jù)。競爭對手肯定已經(jīng)在這么做了。

1.亞秒級集成是愛彼迎和優(yōu)步的新標(biāo)準(zhǔn)

當(dāng)下，卓越的客戶體驗（CX）需要實(shí)時數(shù)據(jù)流。愛彼迎認(rèn)識到了CDC技術(shù)在為其客戶和房東打造出色CX方面的價值。它也建立了自己的CDC平臺，名為SpinalTap。愛彼迎的動態(tài)定價、房源可用性和預(yù)訂狀態(tài)要求所有系統(tǒng)之間具有完美的準(zhǔn)確性和一致性。當(dāng)愛彼迎客戶預(yù)訂房源時，他們希望工作流程非?？焖?，且百分之百準(zhǔn)確。

對于優(yōu)步來說，即時性可以說尤為重要。無論客戶在等待乘車前往機(jī)場還是訂購?fù)赓u，時間至關(guān)重要。就像網(wǎng)飛和愛彼迎一樣，優(yōu)步開發(fā)了自己的CDC平臺來實(shí)時同步多個數(shù)據(jù)存儲系統(tǒng)中的數(shù)據(jù)。同樣出現(xiàn)了一系列共同的要求。優(yōu)步需要其解決方案極其快速和容錯，數(shù)據(jù)丟失為零。它還需要一種不會降低數(shù)據(jù)源數(shù)據(jù)庫性能的解決方案。

2.面向普通公司的變更數(shù)據(jù)捕獲

CDC再次符合要求。在過去，隔夜批處理模式ETL可能足以提供每日執(zhí)行更新或運(yùn)營報告。如今，實(shí)時越來越成為常態(tài)。如果說信息就是力量，那么即時獲取信息就是超強(qiáng)力量。

這就是為什么CDC迅速成為了現(xiàn)代數(shù)據(jù)堆棧的基本要求。不過，網(wǎng)飛、愛彼迎和優(yōu)步等大公司擁有構(gòu)建定制CDC平臺的資源，那其他普通公司呢？

現(xiàn)成的CDC解決方案在填補(bǔ)這一空白，提供相同的低延遲、高質(zhì)量流管道，無需從頭開始構(gòu)建。

遺憾的是，它們并非天生一樣。大多數(shù)公司運(yùn)營一系列系統(tǒng)來處理企業(yè)資源規(guī)劃（ERP）、客戶關(guān)系管理（CRM）或?qū)ｉT的運(yùn)營職能（比如采購或人力資源）。

這些系統(tǒng)在不同的數(shù)據(jù)庫平臺上運(yùn)行，使用不一致的數(shù)據(jù)模型。如果一家公司運(yùn)營大型機(jī)系統(tǒng)，它很可能處理難以與現(xiàn)代關(guān)系數(shù)據(jù)配合使用的怪僻數(shù)據(jù)結(jié)構(gòu)。

這使得異構(gòu)集成變得尤為重要。這需要連接到多個數(shù)據(jù)源和目標(biāo)，包括SAP、Oracle、IBM DB2和Salesforce等事務(wù)數(shù)據(jù)庫。這意味著向Databricks、Kafka、Snowflake、Amazon DocumentDB和Azure Synapse Analytics等平臺提供實(shí)時流數(shù)據(jù)。

3.實(shí)時CDC自動化

為了推動人工智能（AI）和高級分析，企業(yè)需要將數(shù)據(jù)推送到一個通用的MDS平臺。這意味著從各種數(shù)據(jù)源獲取信息，將其轉(zhuǎn)換成適用于分析的統(tǒng)一模型，并將其交付到基于云的現(xiàn)代數(shù)據(jù)平臺。

變更數(shù)據(jù)捕獲技術(shù)是數(shù)據(jù)驅(qū)動價值鏈中的關(guān)鍵環(huán)節(jié)——先通過自動從數(shù)據(jù)源系統(tǒng)提取數(shù)據(jù)，然后將其動態(tài)轉(zhuǎn)換并交付到云數(shù)據(jù)平臺。實(shí)時CDC自動化確保合適的信息立即到達(dá)合適的位置。

由于只關(guān)注已變更的數(shù)據(jù)，流式CDC管道與過去的批處理模式操作相比有巨大的效率優(yōu)勢。最好的CDC解決方案不到30分鐘就可以將100多TB的數(shù)據(jù)從數(shù)據(jù)源傳送到目標(biāo)，并實(shí)現(xiàn)零數(shù)據(jù)丟失。

向云計算的轉(zhuǎn)變?nèi)栽谶M(jìn)行。尤其是云分析工具為真正了解數(shù)據(jù)有望轉(zhuǎn)變業(yè)務(wù)的公司提供了明顯的優(yōu)勢。各行各業(yè)的領(lǐng)先公司在圍繞數(shù)據(jù)分析工具調(diào)整其戰(zhàn)略愿景。它們正在將與客戶的互動實(shí)現(xiàn)數(shù)字化，使用算法來研究數(shù)據(jù)、提取見解并采取行動。AI和機(jī)器學(xué)習(xí)在攝取大量信息、發(fā)現(xiàn)關(guān)聯(lián)并識別異常。

無論您在數(shù)字化顛覆方面處于領(lǐng)先，還是只是緊跟潮流，CDC技術(shù)都將在使現(xiàn)代數(shù)據(jù)堆棧成為現(xiàn)實(shí)、向數(shù)字化轉(zhuǎn)型敞開大門方面發(fā)揮關(guān)鍵作用。

原文鏈接：

https://venturebeat.com/data-infrastructure/change-data-capture-the-critical-link-for-airbnb-netflix-and-uber/