?數(shù)據(jù)，是指任何以電子或者其他方式對信息的記錄，可以是數(shù)字、文字、圖像、聲音等等?？蓮?fù)制可流通且被開發(fā)利用的數(shù)據(jù)，才算是財富，否則可能會成為企業(yè)的負(fù)擔(dān)。數(shù)據(jù)復(fù)制作為數(shù)據(jù)流通、交換、共享、保護、集成、計算分析、管理等領(lǐng)域的關(guān)鍵應(yīng)用，在幫助數(shù)據(jù)實現(xiàn)價值最大化的過程中發(fā)揮著重要貢獻。

本文來自：中國數(shù)據(jù)復(fù)制行業(yè)白皮書（2022年）

數(shù)據(jù)復(fù)制的過程主要包含了數(shù)據(jù)抓取、數(shù)據(jù)傳輸和數(shù)據(jù)復(fù)原三個環(huán)節(jié)。數(shù)據(jù)抓取環(huán)節(jié)主要指對生產(chǎn)端的變化數(shù)據(jù)進行識別和提取，要求識別顆粒度細(xì)且對生產(chǎn)系統(tǒng)影響小數(shù)據(jù)傳輸環(huán)節(jié)主要指對數(shù)據(jù)進行分段拆分組合、加密、壓縮等，實現(xiàn)準(zhǔn)確、高效、安全地傳輸數(shù)據(jù)；數(shù)據(jù)復(fù)原主要指目標(biāo)端的數(shù)據(jù)接收和數(shù)據(jù)寫入，其核心在于快速寫入的同時，保證數(shù)據(jù)的一致性、可用性。

數(shù)據(jù)復(fù)制應(yīng)遵守三大原則∶一是合規(guī)性，包括數(shù)據(jù)安全、數(shù)據(jù)一致性、數(shù)據(jù)加密傳輸、數(shù)據(jù)分級分類、等保、歸檔管理等；二是時效性，包括數(shù)據(jù)實時或周期性復(fù)制、快速恢復(fù)、RTO 合規(guī)，滿足可用性、供數(shù)要求等；三是多樣性，包括復(fù)制數(shù)據(jù)格式多樣性，以及涵蓋系統(tǒng)層、數(shù)據(jù)庫層、存儲層等多層的數(shù)據(jù)復(fù)制，滿足用戶生產(chǎn)環(huán)境多平臺、多功能、個性化的需求。

數(shù)據(jù)復(fù)制行業(yè)的主要應(yīng)用領(lǐng)域包括數(shù)據(jù)合規(guī)性和大數(shù)據(jù)采集應(yīng)用等，此外系統(tǒng)遷移也較為普遍。數(shù)據(jù)合規(guī)性應(yīng)用包括容災(zāi)、備份、治理、歸檔、加密、脫敏、數(shù)據(jù)庫審計、分級分類、等級保護等領(lǐng)域。容災(zāi)備份也稱為災(zāi)備，或災(zāi)難恢復(fù)，作為數(shù)據(jù)復(fù)制的典型應(yīng)用場景之一，災(zāi)備用于保障用戶的數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。衡量災(zāi)備系統(tǒng)的性能指標(biāo)是RPO（數(shù)據(jù)恢復(fù)點目標(biāo)）和RTO（恢復(fù)時間目標(biāo)）。根據(jù)RTO和RPO的不同，災(zāi)備系統(tǒng)可分為定時備份系統(tǒng)和容災(zāi)系統(tǒng)，而數(shù)據(jù)復(fù)制能力在根本上決定了RPO/RTO，也決定了整體災(zāi)備系統(tǒng)能力。

1、數(shù)據(jù)復(fù)制基礎(chǔ)知識

數(shù)據(jù)復(fù)制是將一組數(shù)據(jù)從一個數(shù)據(jù)源拷貝到其它一個或多個數(shù)據(jù)源。根據(jù)計算機網(wǎng)絡(luò)體系結(jié)構(gòu)（OSI），數(shù)據(jù)源在IT系統(tǒng)中所處的層級不同，數(shù)據(jù)復(fù)制主要可分為存儲硬件層數(shù)據(jù)復(fù)制、操作系統(tǒng)層數(shù)據(jù)復(fù)制和數(shù)據(jù)庫層數(shù)據(jù)復(fù)制。

同步復(fù)制∶也稱為全同步復(fù)制，要求每一個I/O寫入操作在執(zhí)行下一個操作處理之前，在源端和目標(biāo)端都能完成。特點是數(shù)據(jù)丟失少，會影響生產(chǎn)系統(tǒng)性能，除非目標(biāo)系統(tǒng)物理上離生產(chǎn)系統(tǒng)比較近。

異步復(fù)制∶在處理下一個I/O寫入操作前，不等待數(shù)據(jù)復(fù)制到目標(biāo)系統(tǒng)中。特點是復(fù)制的數(shù)據(jù)與源數(shù)據(jù)有時間差，但這種復(fù)制對生產(chǎn)系統(tǒng)性能影響較小。

半同步復(fù)制∶介于全同步復(fù)制與異步復(fù)制之間，主庫在執(zhí)行完客戶端提交的事務(wù)后不是立刻返回給客戶端，而是等待至少一個從庫接收到并寫到relay log中才返回給客戶端。相對于異步復(fù)制，半同步復(fù)制提高了數(shù)據(jù)的安全性，同時它也造成了一定程度的延遲，這個延遲最少是一個TCP/IP往返的時間。

序列化傳輸復(fù)制∶由于網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)必須是二進制數(shù)據(jù)，但調(diào)用方請求的出入?yún)?shù)都是對象，對象無法直接在網(wǎng)絡(luò)中傳輸，所以需要提前把它轉(zhuǎn)成可傳輸?shù)亩M制，并且轉(zhuǎn)換算法是可逆的，而序列化是將對象的狀態(tài)信息轉(zhuǎn)換為可以存儲或傳輸形式的過程。

上述數(shù)據(jù)復(fù)制方式各有優(yōu)缺點，也各有其應(yīng)用場景，從用戶角度分析，無論采用哪種復(fù)制方式，對于數(shù)據(jù)的采集，要求盡量不影響數(shù)據(jù)生產(chǎn)端業(yè)務(wù)邏輯，保障業(yè)務(wù)運行和數(shù)據(jù)收集互不影響，即做到非入侵的數(shù)據(jù)采集。

2、系列數(shù)據(jù)復(fù)制技術(shù)

根據(jù)計算機網(wǎng)絡(luò)體系結(jié)構(gòu)，數(shù)據(jù)源所處層級可分為存儲硬件層、操作系統(tǒng)層和數(shù)據(jù)庫層。

存儲硬件層的數(shù)據(jù)指存儲設(shè)備內(nèi)的所有數(shù)據(jù)，可能對應(yīng)多個操作系統(tǒng)層的數(shù)據(jù)。操作系統(tǒng)層的數(shù)據(jù)是指由操作系統(tǒng)內(nèi)部的卷層和文件系統(tǒng)進行組織和管理的數(shù)據(jù)，可能存儲在若干存儲設(shè)備中。數(shù)據(jù)庫層的數(shù)據(jù)通常是業(yè)務(wù)系統(tǒng)及應(yīng)用程序儲存在數(shù)據(jù)庫中、需要隨時查詢或使用的數(shù)據(jù)。

根據(jù)獲取數(shù)據(jù)的層級不同，數(shù)據(jù)復(fù)制軟件也可分為存儲硬件層數(shù)據(jù)復(fù)制軟件、操作系統(tǒng)層數(shù)據(jù)復(fù)制軟件和數(shù)據(jù)庫層數(shù)據(jù)復(fù)制軟件。具體情況如下∶

A.存儲硬件層復(fù)制技術(shù)?

存儲硬件層復(fù)制主要指基于存儲磁盤陣列之間的直接鏡像，是通過存儲系統(tǒng)內(nèi)建的固件或操作系統(tǒng)，利用IP網(wǎng)絡(luò)或光纖等傳輸介質(zhì)連結(jié)，將數(shù)據(jù)以同步或異步的方式復(fù)制到目標(biāo)端。

存儲硬件層復(fù)制的優(yōu)勢在于復(fù)制工作僅在存儲硬件層面進行，與操作系統(tǒng)層無關(guān)，因此可以避免服務(wù)器的性能開銷過大的問題，適用于關(guān)鍵任務(wù)和高端交易應(yīng)用，也是目前最廣泛用于容災(zāi)場景的數(shù)據(jù)復(fù)制技術(shù)之一。存儲硬件層復(fù)制的劣勢在于主要適用于同品牌且同型號的同構(gòu)存儲系統(tǒng)，并需配備低延遲和大帶寬的物理鏈路，成本較高，給異地復(fù)制帶來極大困難。

B.操作系統(tǒng)層復(fù)制技術(shù)?

在英方實踐中，根據(jù)數(shù)據(jù)捕獲環(huán)節(jié)的不同，操作系統(tǒng)層復(fù)制可以分為字節(jié)級復(fù)制和塊級復(fù)制。

字節(jié)級復(fù)制技術(shù)是指對生產(chǎn)服務(wù)器文件系統(tǒng)的I/O操作信息進行實時捕獲，生成序列化I/O操作日志并發(fā)送至目標(biāo)服務(wù)器，操作日志包括I/O操作發(fā)生的時間、發(fā)起的進程、操作具體針對的文件、文件具體操作的位置以及操作的內(nèi)容。目標(biāo)服務(wù)器收到I/O操作日志后進行數(shù)據(jù)的寫入，完成數(shù)據(jù)復(fù)制。該技術(shù)具有對計算機資源占用小、復(fù)制顆粒度細(xì)等優(yōu)勢，能夠?qū)崿F(xiàn)高實時性的數(shù)據(jù)復(fù)制，在容災(zāi)以及持續(xù)數(shù)據(jù)保護領(lǐng)域有較強的優(yōu)勢。

塊級復(fù)制技術(shù)是指在生產(chǎn)服務(wù)器的文件系統(tǒng)之下和磁盤驅(qū)動之上的卷層設(shè)置驅(qū)動模塊，實現(xiàn)磁盤數(shù)據(jù)變化的捕捉。通過對生產(chǎn)服務(wù)器磁盤空間進行劃分，構(gòu)建磁盤位圖，將發(fā)生數(shù)據(jù)變化的位圖信息發(fā)送至目標(biāo)服務(wù)器并與前次位圖信息進行整合，實現(xiàn)數(shù)據(jù)的復(fù)制。和字節(jié)級復(fù)制相比，塊級復(fù)制顆粒度較粗，單次傳輸數(shù)據(jù)量較大，適用于具有海量文件的文件系統(tǒng)或者非標(biāo)準(zhǔn)化文件系統(tǒng)的場景，在定時備份領(lǐng)域具有較強的優(yōu)勢。

C.數(shù)據(jù)庫層復(fù)制技術(shù)

數(shù)據(jù)庫層復(fù)制通常采用邏輯復(fù)制的方式，將源數(shù)據(jù)庫中的重做日志和歸檔日志解析出SQL語句后，發(fā)送至目標(biāo)數(shù)據(jù)庫，在目標(biāo)數(shù)據(jù)庫上重做SQL語句實現(xiàn)數(shù)據(jù)復(fù)制。

邏輯復(fù)制的優(yōu)點在于可以實現(xiàn)不同品牌數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，且能實現(xiàn)數(shù)據(jù)庫讀寫分離、多活，適用于各種數(shù)據(jù)庫數(shù)據(jù)容災(zāi)、高可用、讀寫分離等場景。

不管是哪種數(shù)據(jù)復(fù)制，都有其優(yōu)缺點，用戶可根據(jù)生產(chǎn)環(huán)境以及項目規(guī)劃，選擇合適的技術(shù)產(chǎn)品以達到目的。上述三類層級的復(fù)制技術(shù)優(yōu)缺點如下∶

3、數(shù)據(jù)復(fù)制技術(shù)發(fā)展趨勢

數(shù)據(jù)爆發(fā)式的增長，數(shù)據(jù)應(yīng)用場景的不斷豐富，數(shù)據(jù)交易的可持續(xù)發(fā)展，是推動數(shù)據(jù)復(fù)制技術(shù)高速發(fā)展的基礎(chǔ)條件。在新基建及新一代信息技術(shù)等大環(huán)境下，數(shù)據(jù)復(fù)制技術(shù)也表現(xiàn)出了三大發(fā)展趨勢。

A.軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)?

數(shù)據(jù)復(fù)制技術(shù)最早是由存儲硬件及數(shù)據(jù)庫廠商開發(fā)，作為其存儲硬件或數(shù)據(jù)庫軟件的輔助工具，通常與存儲硬件或數(shù)據(jù)庫綁定，通常只用于本公司的存儲硬件或數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制。

其優(yōu)點在于對本公司的存儲或數(shù)據(jù)庫產(chǎn)品的兼容良好、穩(wěn)定性高、數(shù)據(jù)復(fù)制速度快，但在靈活性和可擴展性上有所欠缺。

隨著信息技術(shù)的發(fā)展，各行業(yè)信息系統(tǒng)不斷升級和迭代，存儲及數(shù)據(jù)庫類型多樣化，數(shù)據(jù)量的提升也帶來了分級存儲、分級備份的需求，與硬件或數(shù)據(jù)庫綁定的復(fù)制技術(shù)功能單一、缺乏靈活性等缺點逐漸顯現(xiàn)。

軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)可以實現(xiàn)不同存儲硬件、不同數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，在信息系統(tǒng)升級、數(shù)據(jù)分級存儲等場景下具有較強的優(yōu)勢，有望成為未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向。同時，在國內(nèi)信息系統(tǒng)軟硬件安全可信的趨勢下，國產(chǎn)存儲設(shè)備和數(shù)據(jù)庫紛紛涌現(xiàn)，軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)也將在信息系統(tǒng)國產(chǎn)化進程中發(fā)揮重要作用，加速國產(chǎn)化進程。

B.云端數(shù)據(jù)復(fù)制技術(shù)?

云計算相較于傳統(tǒng)IT架構(gòu)，具有資源配置效率高、運維難度低、多地多中心布局、業(yè)務(wù)冗余能力強等優(yōu)勢。隨著云計算技術(shù)和新型基礎(chǔ)設(shè)施的逐步成熟，越來越多的企業(yè)開始將業(yè)務(wù)系統(tǒng)、數(shù)據(jù)應(yīng)用等遷移上云。數(shù)據(jù)復(fù)制技術(shù)也從本地數(shù)據(jù)復(fù)制向云端數(shù)據(jù)復(fù)制發(fā)展。和本地IT 架構(gòu)不同的是，云計算架構(gòu)將底層硬件設(shè)備虛擬化后形成統(tǒng)一的計算資源、存儲資源和網(wǎng)絡(luò)資源，企業(yè)在云端的業(yè)務(wù)系統(tǒng)均統(tǒng)一部署在數(shù)據(jù)中心的虛擬平臺上，因此云端復(fù)制和本地復(fù)制相比，傳輸環(huán)境存在較大的差異，云端復(fù)制的傳輸具有帶寬窄、傳輸不穩(wěn)定等特點，對復(fù)制技術(shù)的壓縮能力、斷點續(xù)傳能力提出了更高的要求。

同時，云端復(fù)制還需兼顧數(shù)據(jù)隱私及安全問題，特別是在公有云的場景下，云供應(yīng)商有較大的權(quán)限，可以對數(shù)據(jù)進行管理。因此在云端復(fù)制場景下，數(shù)據(jù)的脫敏、加密、備份也是云端復(fù)制技術(shù)需要考慮的重要問題。例如，不要將數(shù)據(jù)全部存儲于云平臺，考慮將重要數(shù)據(jù)在本地進行備份。

C.大數(shù)據(jù)平臺實時復(fù)制技術(shù)?

大數(shù)據(jù)平臺是為了滿足大數(shù)據(jù)的存儲、運算、分析、展現(xiàn)的軟件平臺，主要功能包括數(shù)據(jù)接入、數(shù)據(jù)計算和處理、數(shù)據(jù)存儲、查詢檢索、分析和可視化、安全管理、數(shù)據(jù)交換和流通等。

大數(shù)據(jù)平臺擁有特殊的文件系統(tǒng)、數(shù)據(jù)庫及數(shù)據(jù)處理模塊，以適配大數(shù)據(jù)的查詢、存儲和計算。以Hadoop為例，Hadoop平臺采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫，通過Hive數(shù)據(jù)倉庫進行數(shù)據(jù)的存儲、查詢和分析，與傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)存在較大的差別，因此傳統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)無法實現(xiàn)大數(shù)據(jù)平臺間的數(shù)據(jù)實時復(fù)制，亦無法實現(xiàn)由傳統(tǒng)數(shù)據(jù)庫向大數(shù)據(jù)平臺的數(shù)據(jù)實時復(fù)制。隨著大數(shù)據(jù)技術(shù)不斷演進和應(yīng)用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。

4、異構(gòu)復(fù)制技術(shù)應(yīng)用場景

在開源軟件及信息技術(shù)路線多樣化發(fā)展潮流下，數(shù)據(jù)復(fù)制異構(gòu)場景逐漸增多。?異構(gòu)復(fù)制因為技術(shù)和產(chǎn)品架構(gòu)的不同，數(shù)據(jù)復(fù)制過程中存在數(shù)據(jù)庫、操作系統(tǒng)、桌面用戶數(shù)據(jù)、遷移過程的復(fù)雜性、大量非結(jié)構(gòu)化數(shù)據(jù)、遷移過程的安全性等諸多挑戰(zhàn)，涵蓋包括字符集不兼容，中英文轉(zhuǎn)換難、數(shù)據(jù)治理難度高、兼容性差等系列難點。

場景一∶文件異構(gòu)遷移和復(fù)制?

文件異構(gòu)的場景下，又細(xì)分為“異構(gòu)服務(wù)器/操作系統(tǒng)之間、異構(gòu)NAS存儲之間、對象存儲數(shù)據(jù)遷移和復(fù)制”三類應(yīng)用場景。

場景二：數(shù)據(jù)庫異構(gòu)遷移和復(fù)制?

異構(gòu)數(shù)據(jù)庫的遷移和復(fù)制，其應(yīng)用場景可細(xì)分為“異構(gòu)平臺經(jīng)Kafka或直接復(fù)制遷移、異構(gòu)數(shù)據(jù)融合與異構(gòu)數(shù)據(jù)庫遷移”。

場景三∶整機異構(gòu)遷移和復(fù)制?

整機遷移即操作系統(tǒng)遷移，該場景整合了字節(jié)級遷移與塊級兩種復(fù)制技術(shù)，可為用戶提供整機在線熱遷移。

場景四：HDFS異構(gòu)遷移和復(fù)制?

HDFS的英文全稱是Hadoop File System，作為大數(shù)據(jù)文件系統(tǒng)的主要應(yīng)用場景，在容災(zāi)方面難以做到底層的實時復(fù)制和容災(zāi)。

網(wǎng)上下載鏈接：https://www.info2soft.com/whitepaper