【51CTO.com快譯】數(shù)字孿生(Digital Twin)可以被理解為現(xiàn)實中某些事物(也包括過程或服務)在數(shù)字虛擬環(huán)境中的表現(xiàn)。在本文中，你將了解到數(shù)字孿生在各個行業(yè)中所處的優(yōu)勢，以及Apache Kafka、物聯(lián)網(wǎng)架構和機器學習之間的關系。在實際應用中，Kafka通常被用作中央事件流平臺，以那些實時流傳感器的數(shù)據(jù)，構建可靠、且可擴展的數(shù)字孿生和數(shù)字線程。

我們將從如下三個方面來討論如何構建開放、且可擴展的數(shù)字孿生基礎架構：

• 數(shù)字孿生與數(shù)字線程。
• 事件流、數(shù)字孿生與AI(機器學習)之間的關系。
• 使用Apache Kafka和其他物聯(lián)網(wǎng)平臺的數(shù)字孿生物聯(lián)網(wǎng)架構。

建立數(shù)字孿生的關鍵要點

我們首先來了解四個基礎性的要點：

• 事件流是物聯(lián)網(wǎng)平臺和其他后端應用程序/數(shù)據(jù)庫的補充。
• 大多數(shù)數(shù)字孿生架構都使用機器學習(ML)和統(tǒng)計模型來進行仿真、預測和推薦。
• “數(shù)字孿生”一詞通常是指單個資產(chǎn)的副本。在現(xiàn)實世界中，各種數(shù)字孿生比比皆是。
• “數(shù)字線程”一詞涵蓋了一到多個數(shù)字孿生的整個生命周期(如下圖所示)。

數(shù)字孿生可以被運用到許多行業(yè)和領域，其中包括：

• 減少宕機時間
• 庫存管理
• 車隊管理
• 假設(what-if)模擬
• 運營計劃
• 服務化
• 產(chǎn)品開發(fā)
• 衛(wèi)生保健
• 客戶體驗

實際上，數(shù)字孿生不僅為各個行業(yè)帶來了自動化，而且增加了不同業(yè)務的價值和創(chuàng)新。

事件流、數(shù)字孿生與AI(機器學習)之間的關系

開發(fā)者需要通過機器學習，并運用數(shù)字孿生，來進行準確的預測。這兩者存在著互補的關系。下圖展示了不同的數(shù)字孿生如何利用統(tǒng)計方法和分析的模型：

該示例包括了基于物理模型來模擬的各種假設情景，以及基于數(shù)據(jù)模型來估計剩余使用壽命(Remaining Useful Life，RUL)?？梢?，數(shù)字孿生和機器學習有著以下共同點：

• 能夠持續(xù)學習、監(jiān)控與行動。
• 良好的數(shù)據(jù)源是成功的關鍵。
• 數(shù)據(jù)集越多越好。
• 實時性、可擴展性和可靠性是關鍵的需求。

使用Apache Kafka來實現(xiàn)數(shù)字孿生，機器學習和事件流

Apache Kafka開源生態(tài)系統(tǒng)為機器學習提供了基礎架構。下圖展示了Kafka針對機器學習的架構。該架構為模型的訓練、部署、評分和監(jiān)視，提供了開放、可擴展、以及可靠性的實時處理。

以下是數(shù)字孿生在實際應用過程中的五大常見特征：

連接性

• 各類實物資產(chǎn)、企業(yè)軟件與客戶。
• 通過雙向通信，以獲取命令和控制。

同態(tài)化(Homogenization)

• 解耦和標準化。
• 信息虛擬化。
• 能與多個代理共享，且不受物理位置或時間的限制。
• 成本更低，且能夠輕松地開展測試、開發(fā)和預測。

可重新編程與智能化

• 通過調(diào)整和改善特征，以開發(fā)出產(chǎn)品的新版本。

數(shù)字跟蹤

• 能夠?qū)崿F(xiàn)時光倒流(回溯)，并通過分析歷史事件，以診斷問題。

模塊化

• 能夠?qū)Ξa(chǎn)品和生產(chǎn)模塊進行設計和定制。
• 調(diào)整不同的模型和機器模塊。

為了實現(xiàn)上述特征，我們可以選用不同的物聯(lián)網(wǎng)平臺。根據(jù)物聯(lián)網(wǎng)分析研究(IoT Analytics Research)的統(tǒng)計：截止到2019年，市場上存在著600多個物聯(lián)網(wǎng)平臺(請參見：https://iot-analytics.com/iot-platform-companies-landscape-2020/)。與此同時，它們中的許多工具和解決方案都能夠結合在一起，共同發(fā)揮作用。

下面，我們來討論幾種典型的物聯(lián)網(wǎng)平臺：

• 以Siemens S7和Modbus為首的工業(yè)物聯(lián)網(wǎng)(IIoT)相關協(xié)議，以及與諸如OPC-UA之類標準的深度集成：它們往往并非某個單一的產(chǎn)品(通常是各種OEM的不同代碼庫)。雖然價格不菲，但是它們開放特定的接口，而且其可擴展性也十分有限。此類平臺的典型代表包括：西門子MindSphere、思科Kinetic、GE Digital和Predix。
• 云提供商的物聯(lián)網(wǎng)產(chǎn)品：它們提供了完備的物聯(lián)網(wǎng)管理工具，能夠與其他云服務(如：存儲、分析等)實現(xiàn)良好的集成。不過，它們往往被云提供商的平臺所綁定，且無法支持混合與邊緣計算。另外，它們不但擴展性有限，而且售價也不菲。此類平臺的典型代表包括：AWS、GCP、Azure和Alibaba等。
• 基于開放標準(如：MQTT)、且開源的物聯(lián)網(wǎng)平臺：它們能夠開放核心的業(yè)務模型，且與基礎架構無關。不過，它們在針對舊協(xié)議和專有協(xié)議的連接方面，可能不太成熟。此類平臺的典型代表包括：Eclipse IoT、Apache PLC4X、Node-RED等開源框架、以及符合MQTT等標準的HiveMQ相關產(chǎn)品。

使用Apache Kafka和其他物聯(lián)網(wǎng)平臺的數(shù)字孿生架構

下面，我們根據(jù)數(shù)字孿生的上述五大特征，來討論Kafka針對實時消息傳遞、集成與處理關鍵任務事件流等方面的作用：

• 連接性：Kafka Connect可以針對IoT接口、大數(shù)據(jù)解決方案、以及云服務，提供免費且實時的大規(guī)模連接。
• 同態(tài)化：Kafka實現(xiàn)了生產(chǎn)者和消費者之間真正的解耦。模式(schema)管理和實施可利用JSON Schema、Avro、Profobuf等不同技術，來實現(xiàn)數(shù)據(jù)的感知和標準化。
• 可重新編程與智能化：作為微服務架構的實際標準，Kafka支持：關注點分離(Separation of concerns)，域驅(qū)動設計(domain-driven design，DDD，請參見：https://www.confluent.io/blog/microservices-apache-kafka-domain-driven-design/)，部署新的已解耦應用，實施版本控制，A/B測試與發(fā)布。
• 數(shù)字跟蹤：作為分布式提交日志，Kafka會按需將事件永久地追加、存儲到您的時間點(永久保留時間可 = -1)。這非常適合為數(shù)字孿生構建數(shù)字跟蹤。
• 模塊化：Kafka基礎架構本身就是模塊化、且可擴展的，其中包括：Kafka brokers、Connect、Schema Registry、REST Proxy等組件、以及使用Java、Scala、Python、Go、.NET、以及C++等不同語言的客戶端應用。通過這種模塊化，您可以輕松地在邊緣、混合或全局場景中，構建合適的數(shù)字孿生架構，并能夠?qū)afka組件與任何其他物聯(lián)網(wǎng)方案結合起來。

下面是五種適用于數(shù)字孿生的物聯(lián)網(wǎng)架構。您可以根據(jù)它們的優(yōu)缺點，在自己的整體企業(yè)架構、項目情況、以及其他方面，做出合理的選擇。

方案1：數(shù)字孿生Monolith

直接使用物聯(lián)網(wǎng)平臺來集成和構建數(shù)字孿生，無需其他數(shù)據(jù)庫或其他組件。

方案2：將數(shù)字孿生作為外部數(shù)據(jù)庫

物聯(lián)網(wǎng)平臺與其端點集成，數(shù)字孿生的數(shù)據(jù)被存儲在諸如：MongoDB、Elastic、InfluxDB或Cloud Storage之類的外部數(shù)據(jù)庫中。此類數(shù)據(jù)庫僅用于存儲，處理，以及儀表板分析等任務。

同時，Tableau、Qlik或Power BI之類的商業(yè)智能(BI)工具也可以使用數(shù)據(jù)庫的SQL接口，來實現(xiàn)交互式的查詢和報告。

方案3：Kafka作為數(shù)字孿生和企業(yè)其余部分的主干

物聯(lián)網(wǎng)平臺仍然與其端點集成。Kafka作為中央事件流平臺，提供與其他組件之間的解耦。此處中央層是開放、可擴展且可靠的。而此處的數(shù)據(jù)庫同樣被用于數(shù)字孿生的存儲、以及儀表板分析。其他應用也會以實時、批處理、請求-響應通信等方式，使用來自Kafka的部分數(shù)據(jù)。

方案4：Kafka作為物聯(lián)網(wǎng)平臺

作為中央事件流平臺，Kafka可為物聯(lián)網(wǎng)端點和其他應用提供關鍵任務的實時架構和集成層。在此方案中，數(shù)字孿生并未用到上述方案中提到的數(shù)據(jù)庫，而是使用了Azure IoT Twin Twins之類的云端物聯(lián)網(wǎng)服務。

場景5：Kafka作為物聯(lián)網(wǎng)平臺

Kafka直接被用于實現(xiàn)數(shù)字孿生，而并不涉及到其他組件或數(shù)據(jù)庫。同時，其他消費者會直接使用原始數(shù)據(jù)和數(shù)字孿生的數(shù)據(jù)。

該方案的主要問題在于Kafka是否可以替換數(shù)據(jù)庫、以及如何查詢到數(shù)據(jù)(請參見：https://www.kai-waehner.de/blog/2020/03/12/can-apache-kafka-replace-database-acid-storage-transactions-sql-nosql-data-lake/)。在實際應用中，由于Kafka可以被用作數(shù)據(jù)庫，因此它不會替代諸如：Oracle、MongoDB或Elasticsearch等其他數(shù)據(jù)庫。

當然，Kafka的多次部署也可以被運用到數(shù)字孿生的架構中，在永久性存儲等方面發(fā)揮巨大的作用。

原文標題：IoT Architectures for Digital Twin With Apache Kafka，作者：Kai Wähner

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】