譯者 | 李睿

審校 | 重樓

事件驅(qū)動的架構(gòu)(EDA)是一種軟件設(shè)計模式，它關(guān)注事件的生成、檢測和使用，以支持高效和可擴展的系統(tǒng)。在EDA中，事件是組件之間通信的主要手段，允許它們實時交互和響應(yīng)更改。這種架構(gòu)促進了松散耦合、可擴展性和響應(yīng)性，使其非常適合現(xiàn)代的、分布式以及高度可擴展的應(yīng)用程序。EDA已成為現(xiàn)代系統(tǒng)中實現(xiàn)敏捷性和無縫集成的一種強大解決方案。

在事件驅(qū)動的架構(gòu)中，事件表示系統(tǒng)中的重要事件或變化，例如用戶操作、系統(tǒng)流程或外部服務(wù)的各種來源都可以生成這些事件。被稱為事件生產(chǎn)者的組件將事件發(fā)布到中央事件總線或代理，后者充當(dāng)事件分發(fā)的中介。其他組件稱為事件消費者，它們訂閱感興趣的特定事件并做出相應(yīng)的反應(yīng)。

EDA的一個關(guān)鍵優(yōu)勢是它能夠支持敏捷性和靈活性。事件驅(qū)動系統(tǒng)中的組件可以獨立發(fā)展，從而允許更容易的維護、更新和可擴展性。在不影響整個系統(tǒng)的情況下，可以通過引入新的事件類型或訂閱現(xiàn)有事件來添加新的功能。這種靈活性和可擴展性使得EDA特別適合于動態(tài)和不斷發(fā)展的業(yè)務(wù)需求。

EDA還促進了不同系統(tǒng)或服務(wù)之間的無縫集成。通過使用事件作為通信機制，EDA支持互操作性，而不考慮底層技術(shù)或編程語言。事件為系統(tǒng)交換信息提供了一種標(biāo)準(zhǔn)化和松散耦合的方式，使企業(yè)能夠更容易地集成不同的系統(tǒng)。這種集成方法促進了模塊化和可重用性，因為組件可以在不破壞整個系統(tǒng)的情況下連接或斷開。

EDA的關(guān)鍵組件：啟用事件流和處理

EDA由幾個關(guān)鍵組件組成，這些組件支持系統(tǒng)內(nèi)的事件流和處理。這些組件一起工作以促進事件的生成、分發(fā)、使用和處理。以下是EDA的關(guān)鍵組件：

（1）事件生產(chǎn)者

事件生產(chǎn)者負責(zé)生成和發(fā)布事件。它們可以是系統(tǒng)內(nèi)的各種實體，例如用戶界面、應(yīng)用程序、微服務(wù)或外部系統(tǒng)。事件生產(chǎn)者捕獲重要的事件或更改，并向事件總線或代理發(fā)送事件。這些事件可以由用戶操作、系統(tǒng)事件、傳感器數(shù)據(jù)或任何其他相關(guān)源觸發(fā)。

（2）事件總線/代理

事件總線/代理充當(dāng)事件的中央通信通道。它接收事件生產(chǎn)者發(fā)布的事件，并將它們分發(fā)給感興趣的事件消費者。事件總線/代理可以是消息隊列、發(fā)布/訂閱系統(tǒng)或?qū)ｉT的事件流平臺。它確?？煽康氖录桓?，將事件生產(chǎn)者與事件消費者分離，并支持異步事件處理。

（3）事件消費者

事件消費者訂閱感興趣的特定事件或事件類型。它們從事件總線/代理接收事件并相應(yīng)地處理它們。事件消費者可以是系統(tǒng)中的各種組件，例如微服務(wù)、工作流或數(shù)據(jù)處理器。它們通過執(zhí)行業(yè)務(wù)邏輯、更新數(shù)據(jù)、觸發(fā)進一步的操作或與其他系統(tǒng)通信來響應(yīng)事件。

（4）事件處理程序

事件處理程序負責(zé)處理事件使用者接收到的事件。它們包含基于事件內(nèi)容執(zhí)行特定操作的業(yè)務(wù)邏輯和規(guī)則。事件處理程序可以執(zhí)行數(shù)據(jù)驗證、狀態(tài)更改、數(shù)據(jù)庫更新、觸發(fā)器通知或調(diào)用其他服務(wù)。它們封裝了與特定事件相關(guān)的行為，并確保系統(tǒng)內(nèi)正確的事件處理。

（5）事件存儲

事件存儲是記錄系統(tǒng)中所有已發(fā)布事件的持久數(shù)據(jù)存儲組件，它提供事件及其相關(guān)數(shù)據(jù)的歷史記錄。事件存儲支持事件重播、審計和事件溯源模式，允許系統(tǒng)基于過去的事件重建其狀態(tài)。它在事件驅(qū)動的架構(gòu)中支持可擴展性、容錯和數(shù)據(jù)一致性。

通過利用這些關(guān)鍵組件，EDA支持系統(tǒng)內(nèi)事件的平滑流、分布和處理。事件生產(chǎn)者、事件總線/代理、事件消費者、事件處理程序和事件存儲一起工作，以創(chuàng)建松散耦合、可擴展和響應(yīng)的系統(tǒng)，該系統(tǒng)可以處理實時事件驅(qū)動的交互，適應(yīng)不斷變化的需求，并與外部系統(tǒng)或服務(wù)集成。

EDA模式：為可擴展性和自主性構(gòu)建系統(tǒng)

EDA提供了幾種模式，幫助構(gòu)建系統(tǒng)以實現(xiàn)可擴展性和自主性。這些模式增強了處理許多事件、解耦組件以及支持獨立開發(fā)和部署的能力。下面是EDA的一些關(guān)鍵模式：

（1）事件溯源

事件溯源是一種模式，其中應(yīng)用程序的狀態(tài)派生自一系列事件。對應(yīng)用程序狀態(tài)的所有更改都捕獲為事件存儲中的一系列事件，而不是存儲當(dāng)前狀態(tài)。應(yīng)用程序可以通過重播這些事件來重建其狀態(tài)。事件溯源提供了完整的事件歷史記錄，允許進行細粒度查詢，并使事件處理器能夠輕松復(fù)制和擴展，從而實現(xiàn)了可擴展性和可審計性。

（2）命令和查詢職責(zé)分離(CQRS)

命令和查詢職責(zé)分離(CQRS)是一種模式，它將讀寫操作分離到單獨的模型中。寫入模型又稱為命令模型，處理改變系統(tǒng)狀態(tài)和產(chǎn)生事件的命令。讀取模型(稱為查詢模型)處理查詢并更新其自身優(yōu)化的數(shù)據(jù)視圖。CQRS允許獨立擴展讀和寫操作，通過針對特定查詢需求優(yōu)化讀模型來增強性能，并提供獨立發(fā)展每個模型的靈活性。

（3）發(fā)布/訂閱

發(fā)布/訂閱模式通過將事件生產(chǎn)者與事件消費者分離來實現(xiàn)松散耦合和可擴展性。在這一模式中，事件生產(chǎn)者將事件發(fā)布到中央事件總線/代理，而不知道哪些特定的消費者將接收它們。事件使用者訂閱他們感興趣的特定類型的事件，事件總線/代理將事件分發(fā)給相關(guān)的訂閱者。此模式支持靈活性、可擴展性以及在不影響事件生產(chǎn)者或其他消費者的情況下添加或刪除消費者的能力。

（4）事件驅(qū)動的消息

事件驅(qū)動的消息傳遞涉及基于事件的組件之間的消息交換。它支持組件之間的異步通信和松散耦合。在這一模式中，事件生產(chǎn)者將事件發(fā)布到消息隊列、主題或事件中心，事件使用者從消息傳遞基礎(chǔ)設(shè)施中使用這些事件。這一模式允許組件獨立工作，提高系統(tǒng)可擴展性，并支持可靠的異步事件處理。

通過采用這些模式，系統(tǒng)的結(jié)構(gòu)可以有效地處理可擴展性和自主性。事件源、CQRS、發(fā)布/訂閱和事件驅(qū)動的消息傳遞模式促進松散耦合，支持組件的獨立擴展，提供容錯能力，增強性能，并支持在事件驅(qū)動的架構(gòu)中無縫集成系統(tǒng)和服務(wù)。這些模式有助于構(gòu)建有彈性、可擴展和可適應(yīng)的系統(tǒng)，這些系統(tǒng)可以處理大量事件，同時保持各個組件的高度自治。

Kafka：支持實時數(shù)據(jù)流和事件驅(qū)動的應(yīng)用程序

Kafka是一個分布式流平臺，廣泛用于構(gòu)建實時數(shù)據(jù)流和事件驅(qū)動應(yīng)用程序。它旨在處理大量數(shù)據(jù)，并提供低延遲、可擴展和容錯的流處理。Kafka支持系統(tǒng)之間無縫可靠的數(shù)據(jù)流，使其成為構(gòu)建事件驅(qū)動架構(gòu)的強大工具。

Kafka的核心是使用發(fā)布/訂閱模型，其中數(shù)據(jù)被組織到主題中。事件生產(chǎn)者將數(shù)據(jù)寫入主題，事件消費者訂閱這些主題以實時接收數(shù)據(jù)。Kafka的這種解耦特性允許異步和分布式處理事件，使應(yīng)用程序能夠處理大量數(shù)據(jù)并根據(jù)需要水平擴展。

Kafka的分布式架構(gòu)提供了容錯性和高可用性。它跨多個代理復(fù)制數(shù)據(jù)，確保即使在發(fā)生故障時數(shù)據(jù)也是持久的和可訪問的。Kafka還支持?jǐn)?shù)據(jù)分區(qū)，允許在多個事件消費者之間并行處理和負載平衡。這使得在處理實時數(shù)據(jù)流時實現(xiàn)高吞吐量和低延遲成為可能。

此外，Kafka與事件驅(qū)動架構(gòu)生態(tài)系統(tǒng)的其他組件集成得很好。它可以充當(dāng)中央事件總線，支持不同服務(wù)和系統(tǒng)之間的無縫集成和通信。Kafka Connect提供了與各種數(shù)據(jù)源和接收器集成的連接器，簡化了集成過程。Kafka Streams是一個建立在Kafka之上的流處理庫，允許實時處理和轉(zhuǎn)換數(shù)據(jù)流，使復(fù)雜的事件驅(qū)動應(yīng)用程序可以輕松構(gòu)建。

構(gòu)建Kafka EDA的分步指南

Kafka已經(jīng)成為一個強大的流媒體平臺，能夠開發(fā)強大且可擴展的EDA。憑借其分布式、容錯和高通量的能力，Kafka非常適合構(gòu)建實時數(shù)據(jù)流和事件驅(qū)動的應(yīng)用程序。以下是從設(shè)計到實現(xiàn)的構(gòu)建Kafka EDA的步驟。

步驟1：定義系統(tǒng)需求

首先要清楚地定義EDA的目標(biāo)和需求。確定需要捕獲的事件類型、所需的可擴展性和容錯性，以及任何特定的業(yè)務(wù)需求或約束。

步驟2：設(shè)計事件生成器

識別生成事件的源，并設(shè)計可以在Kafka主題上發(fā)布這些事件的事件生成器。無論是應(yīng)用程序、服務(wù)還是系統(tǒng)，都要確保事件結(jié)構(gòu)正確，并包含相關(guān)的元數(shù)據(jù)?？紤]使用Kafka生產(chǎn)者庫或框架來簡化實現(xiàn)。

創(chuàng)建生產(chǎn)者的示例Python代碼：

Python 
 from kafka import KafkaProducer

 # Kafka broker configuration
 bootstrap_servers = 'localhost:9092'

 # Create Kafka producer
 producer = KafkaProducer(bootstrap_servers=bootstrap_servers)

 # Define the topic to produce messages to
 topic = 'test_topic'

 # Produce a message
 message = 'Hello, Kafka Broker!'
 producer.send(topic, value=message.encode('utf-8'))
15
16 # Wait for the message to be delivered to Kafka
17 producer.flush()
18
19 # Close the producer
20 producer.close()
21

步驟3：創(chuàng)建Kafka主題

在Kafka中定義主題，作為事件通信的通道。根據(jù)預(yù)期的負載和數(shù)據(jù)需求仔細規(guī)劃主題結(jié)構(gòu)、分區(qū)策略、復(fù)制因素和保留策略。確保主題與事件粒度一致，并支持未來的可擴展性。

步驟4：設(shè)計事件消費者

確定將使用和處理Kafka事件的組件或服務(wù)。設(shè)計訂閱相關(guān)主題并執(zhí)行實時處理的事件消費者?？紤]所需使用者的數(shù)量，并相應(yīng)地設(shè)計使用者應(yīng)用程序。

創(chuàng)建消費者的示例Python代碼：

Python 
 from kafka import KafkaConsumer

 # Kafka broker configuration
 bootstrap_servers = 'localhost:9092'

 # Create Kafka consumer
 consumer = KafkaConsumer(bootstrap_servers=bootstrap_servers)

 # Define the topic to consume messages from
 topic = 'test_topic'

 # Subscribe to the topic
 consumer.subscribe(topics=[topic])

 # Start consuming messages
 for message in consumer:
 # Process the consumed message
 print(f"Received message: {message.value.decode('utf-8')}")

 # Close the consumer
 consumer.close()

步驟5：實現(xiàn)事件處理邏輯

在使用者應(yīng)用程序中編寫事件處理邏輯。這可能涉及數(shù)據(jù)轉(zhuǎn)換、豐富、聚合或任何其他特定于業(yè)務(wù)的操作。利用Kafka的消費者組功能在多個實例之間分配處理負載，并確?？蓴U展性。

步驟6：確保容錯

實現(xiàn)容錯機制，處理故障，確保數(shù)據(jù)的持久性。為Kafka代理配置合適的復(fù)制因子以提供數(shù)據(jù)冗余。在使用者應(yīng)用程序中實現(xiàn)錯誤處理和重試機制，以處理異常情況。

步驟7：監(jiān)控和優(yōu)化性能

設(shè)置監(jiān)控和可觀察性工具來跟蹤Kafka集群和事件驅(qū)動應(yīng)用程序的運行狀況和性能。監(jiān)控吞吐量、延遲和使用者延遲等關(guān)鍵指標(biāo)，以識別瓶頸并優(yōu)化系統(tǒng)?？紤]利用Kafka的內(nèi)置監(jiān)控功能或與第三方監(jiān)控解決方案集成。

步驟8：與下游系統(tǒng)集成

確定事件驅(qū)動的架構(gòu)將如何與下游系統(tǒng)或服務(wù)集成。設(shè)計連接器或適配器，以實現(xiàn)Kafka到其他系統(tǒng)的無縫數(shù)據(jù)流。探索Kafka Connect，這是一個與外部數(shù)據(jù)源或接收器集成的強大工具。

步驟9：測試和迭代

徹底測試EDA，以確保其可靠性、可擴展性和性能。執(zhí)行負載測試以驗證系統(tǒng)在不同工作負載下的行為?；跍y試結(jié)果和真實世界的反饋，迭代和改進設(shè)計。

步驟10：擴展和發(fā)展

隨著系統(tǒng)的增長，監(jiān)控其性能并相應(yīng)地進行擴展。添加更多Kafka代理，調(diào)整分區(qū)策略，或優(yōu)化消費者應(yīng)用程序來處理增加的數(shù)據(jù)量。

Kafka EDA的用例

Kafka EDA由于其處理高吞吐量、容錯和實時數(shù)據(jù)流的能力，已經(jīng)在各個領(lǐng)域有了各種應(yīng)用。以下是Kafka擅長的一些常見用例：

實時數(shù)據(jù)處理和分析：Kafka處理大容量、實時數(shù)據(jù)流的能力使其成為處理和分析大規(guī)模數(shù)據(jù)的理想選擇。用戶可以將來自多個來源的數(shù)據(jù)攝取到Kafka主題中，然后使用Apache Flink、Apache Spark或Kafka Streams等流式框架實時處理和分析數(shù)據(jù)。該用例在實時欺詐檢測、監(jiān)控物聯(lián)網(wǎng)設(shè)備、點擊流分析和個性化推薦等場景中很有價值。

• 事件驅(qū)動的微服務(wù)架構(gòu)：Kafka在微服務(wù)架構(gòu)中充當(dāng)通信骨干，不同的服務(wù)通過事件進行通信。每個微服務(wù)都可以充當(dāng)事件生產(chǎn)者或消費者，從而支持松散耦合和可擴展的架構(gòu)。Kafka確?？煽亢彤惒降氖录桓?，使服務(wù)能夠獨立運行，并以自己的速度處理事件。這個用例有助于構(gòu)建可擴展和解耦的系統(tǒng)，在基于微服務(wù)的應(yīng)用程序中實現(xiàn)敏捷性和自主性。
• 日志聚合和流處理：Kafka的持久性和容錯特性使其成為日志聚合和數(shù)據(jù)流處理的絕佳選擇。通過將日志事件發(fā)布到Kafka主題，用戶可以集中來自不同系統(tǒng)的日志，并執(zhí)行實時分析或存儲它們以備將來的審計、調(diào)試或合規(guī)目的。Kafka與Elasticsearch和Apache Hadoop生態(tài)系統(tǒng)等工具的集成實現(xiàn)了高效的日志索引、搜索和分析。
• 消息和數(shù)據(jù)集成：Kafka的發(fā)布/訂閱模型和分布式特性使其成為集成不同應(yīng)用程序和系統(tǒng)的可靠消息系統(tǒng)。它可以作為在系統(tǒng)之間傳輸消息的數(shù)據(jù)總線，支持解耦和異步通信。Kafka的連接器允許與其他數(shù)據(jù)系統(tǒng)(例如關(guān)系數(shù)據(jù)庫、Hadoop和云存儲)無縫集成，支持?jǐn)?shù)據(jù)管道和ETL進程。
• 物聯(lián)網(wǎng)：Kafka以容錯和可擴展的方式處理大量流數(shù)據(jù)的能力非常適合物聯(lián)網(wǎng)應(yīng)用。它可以實時獲取和處理來自物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)，實現(xiàn)實時監(jiān)控、異常檢測和警報。Kafka的低延遲特性使其成為物聯(lián)網(wǎng)用例的絕佳選擇，在這些用例中，快速響應(yīng)時間和實時洞察至關(guān)重要。

這些只是Kafka EDA可以應(yīng)用的廣泛用例的幾個例子。它的靈活性、可擴展性和容錯性使其成為處理流數(shù)據(jù)和構(gòu)建實時事件驅(qū)動應(yīng)用程序的通用平臺。

結(jié)論

Kafka EDA徹底改變了用戶處理數(shù)據(jù)流和構(gòu)建實時應(yīng)用程序的方式。憑借其處理高吞吐量、容錯數(shù)據(jù)流的能力，Kafka支持可擴展和解耦的系統(tǒng)，從而增強靈活性、自主性和可擴展性。無論是實時數(shù)據(jù)處理、微服務(wù)通信、日志聚合、消息集成還是物聯(lián)網(wǎng)應(yīng)用，Kafka的可靠性、可擴展性和無縫集成能力使其成為構(gòu)建EDA的強大工具，這些架構(gòu)可以驅(qū)動實時洞察，并使用戶能夠利用其數(shù)據(jù)的價值。

原文標(biāo)題：Building an Event-Driven Architecture Using Kafka，作者：Rama Krishna Panguluri