今天談下傳統(tǒng)ESB服務(wù)總線里面的可視化服務(wù)設(shè)計(jì)，服務(wù)組合編排和微服務(wù)里面的服務(wù)編排。對(duì)于服務(wù)組合編排，實(shí)際上我們看到有幾個(gè)不同的場(chǎng)景。

• 單服務(wù)可視化設(shè)計(jì)-僅僅針對(duì)一個(gè)服務(wù)實(shí)現(xiàn)
• 服務(wù)組合編排-實(shí)現(xiàn)多個(gè)服務(wù)的組合形成一個(gè)新的服務(wù)
• 業(yè)務(wù)流程編排-通過(guò)服務(wù)組合編排實(shí)現(xiàn)要給完整的業(yè)務(wù)流程

對(duì)于業(yè)務(wù)流程編排可以看到更多的是通過(guò)類似BPEL業(yè)務(wù)流程設(shè)計(jì)器來(lái)完成，因此今天主要介紹下傳統(tǒng)ESB服務(wù)總線里面的單個(gè)服務(wù)設(shè)計(jì)，多服務(wù)組合設(shè)計(jì)編排，同時(shí)再介紹下NetflixConductor微服務(wù)編排的開(kāi)源實(shí)現(xiàn)。

單個(gè)服務(wù)的可視化設(shè)計(jì)

圖片

單個(gè)服務(wù)的可視化設(shè)計(jì)可以理解為實(shí)現(xiàn)單個(gè)服務(wù)的可視化服務(wù)設(shè)計(jì)，其中包括了服務(wù)適配，路由，數(shù)據(jù)映射，協(xié)議轉(zhuǎn)換等常見(jiàn)的編排節(jié)點(diǎn)和組件。

對(duì)于單服務(wù)設(shè)計(jì)可能用到的組件，我們基于服務(wù)集成場(chǎng)景，主要可以分為服務(wù)發(fā)布類組件，服務(wù)適配類組件，數(shù)據(jù)映射類組件。具體的組件包括了：

服務(wù)發(fā)布類組件(只需要支持SOAP WS服務(wù)和Rest WS服務(wù)即可）

1. SOAP Proxy WS組件：發(fā)布代理服務(wù)
2. SOAP Business WS組件：發(fā)布業(yè)務(wù)服務(wù)，銜接原始的業(yè)務(wù)服務(wù)地址
3. Rest Proxy WS組件：發(fā)布基于Rest風(fēng)格的代理服務(wù)
4. Rest Business WS組件：發(fā)布業(yè)務(wù)服務(wù)，銜接原始的Rest業(yè)務(wù)服務(wù)地址
5. SOAP WS Request組件和 SOAP WS Response組件
6. Rest WS Request組件和 Rest WS Response組件

適配器組件

1. DBSqlQuery組件：實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的Sql數(shù)據(jù)查詢能力。
2. DBSqlInsertOrUpdate組件：實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的Insert或Update操作適配能力。
3. DBStoreProc組件：實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程的適配能力。
4. FTPInput或FileInput組件：實(shí)現(xiàn)對(duì)源端的數(shù)據(jù)獲取能力
5. FTPOutput或FileOutput組件：實(shí)現(xiàn)對(duì)FTP服務(wù)器目標(biāo)端的適配能力
6. JMSInput組件：實(shí)現(xiàn)對(duì)JMS寫入能力
7. JMSOutput組件：實(shí)現(xiàn)對(duì)JMS的消費(fèi)和訂閱能力

數(shù)據(jù)映射類組件

1. XMLMapping組件：實(shí)現(xiàn)兩個(gè)XML結(jié)構(gòu)之間的數(shù)據(jù)映射能力
2. tMapping組件：實(shí)現(xiàn)ETL時(shí)候兩個(gè)數(shù)據(jù)集之間的數(shù)據(jù)映射能力

基于以上組件我們可以來(lái)看，常見(jiàn)的服務(wù)集成場(chǎng)景用上面的設(shè)計(jì)器組件基本就能夠滿足，同時(shí)實(shí)現(xiàn)最簡(jiǎn)單額設(shè)計(jì)組件之間的組合和連接。而設(shè)計(jì)器本身是一個(gè)設(shè)計(jì)態(tài)的東西，因此只需要將設(shè)計(jì)完成的內(nèi)容，即設(shè)計(jì)元數(shù)據(jù)存儲(chǔ)為一個(gè)獨(dú)立的XML文件即可。

后續(xù)基于設(shè)計(jì)文件要做的就是進(jìn)行實(shí)際的服務(wù)封裝和部署，而這個(gè)時(shí)候才需要將設(shè)計(jì)器的內(nèi)容進(jìn)行解析，進(jìn)行動(dòng)態(tài)的服務(wù)封裝和部署工作。以實(shí)現(xiàn)服務(wù)設(shè)計(jì)態(tài)和服務(wù)運(yùn)行態(tài)的自動(dòng)銜接能力。

多個(gè)服務(wù)組合編排

圖片

服務(wù)組合編排是服務(wù)組合，服務(wù)組裝等，希望通過(guò)服務(wù)編排能夠完成這些事情，而不是簡(jiǎn)單的完成單一服務(wù)的設(shè)計(jì)和開(kāi)發(fā)。即將多個(gè)原子服務(wù)組合或組裝在一起，最終形成一個(gè)新的服務(wù)并提供的能力。我們舉例來(lái)說(shuō)明下。

比如存在A，B，C三個(gè)原子服務(wù)，我們通過(guò)服務(wù)編排形成一個(gè)新的D服務(wù)。

三個(gè)原子服務(wù)全部是查詢服務(wù)，希望組裝一個(gè)新服務(wù)，一次返回A，B，C三個(gè)服務(wù)查詢結(jié)果

這個(gè)即我們說(shuō)的服務(wù)組合能力，比如我們可以對(duì)合同基本信息查詢，合同條款信息查詢，合同執(zhí)行信息查詢?nèi)齻€(gè)基本原子服務(wù)進(jìn)行組合，最終返回一個(gè)服務(wù)綜合信息查詢的服務(wù)，一次返回三個(gè)查詢結(jié)果。

在這種場(chǎng)景下我們需要考慮查詢結(jié)果是并行返回還是按層次返回即可。

二個(gè)查詢類的原子服務(wù)，最終需要返回兩個(gè)數(shù)據(jù)集關(guān)聯(lián)查詢的結(jié)果集

這個(gè)在微服務(wù)架構(gòu)做了底層數(shù)據(jù)庫(kù)拆分后經(jīng)常會(huì)遇到，比如對(duì)于物料基本信息查詢，和采購(gòu)訂單明細(xì)查詢是在兩個(gè)獨(dú)立的數(shù)據(jù)庫(kù)獨(dú)立服務(wù)提供。而我們希望返回的查詢結(jié)果集是物料編碼，名稱，型號(hào)，單位，價(jià)格，采購(gòu)數(shù)量的復(fù)合結(jié)果集。

這種場(chǎng)景下往往一般都是在前端功能開(kāi)發(fā)的時(shí)候進(jìn)行組裝，而實(shí)際上可以考慮是否可以在服務(wù)編排層解決這個(gè)問(wèn)題，該問(wèn)題寫代碼來(lái)解決容易，但是要做為可視化服務(wù)編排組態(tài)方式來(lái)做實(shí)際上有一定的難度。

對(duì)單個(gè)已有服務(wù)進(jìn)行裁剪和豐富并形成一個(gè)新服務(wù)輸出

這個(gè)暫時(shí)也將其納入到服務(wù)編排的范疇，即仍然是輸入服務(wù)，但是輸出是提供了一個(gè)新服務(wù)。

即對(duì)單個(gè)已有的服務(wù)進(jìn)行服務(wù)裁剪和豐富，比如對(duì)于輸出結(jié)果過(guò)濾掉一些數(shù)據(jù)項(xiàng)，對(duì)于輸入固定輸入一些數(shù)據(jù)項(xiàng)等。這些簡(jiǎn)單的服務(wù)裁剪，豐富，或簡(jiǎn)單的數(shù)據(jù)轉(zhuǎn)換可以在服務(wù)編排的時(shí)候完成，并提供一個(gè)新服務(wù)。

對(duì)多個(gè)原子服務(wù)進(jìn)行流程式的前后串接并形成服務(wù)提供

這個(gè)是我們經(jīng)?？吹降囊环N服務(wù)編排場(chǎng)景，即A，B，C三個(gè)服務(wù)直接進(jìn)行編排，即A服務(wù)的輸出直接變?yōu)锽服務(wù)的輸入，B服務(wù)的輸出又變?yōu)镃服務(wù)的輸出。如果僅僅是上面假設(shè)的這樣，那么這種流程式的服務(wù)編排仍然很簡(jiǎn)單，也很容易去實(shí)現(xiàn)。

但是實(shí)際上的難點(diǎn)在于A服務(wù)的輸出本身也需要作為C服務(wù)的輸出，同時(shí)A，B服務(wù)的輸出也可能是整體輸出的一部分，這本身就加大了服務(wù)編排可視化設(shè)計(jì)的難度。

單一業(yè)務(wù)服務(wù)為主體服務(wù)，但是編排多個(gè)業(yè)務(wù)規(guī)則邏輯處理類服務(wù)

這也是經(jīng)常會(huì)遇到的場(chǎng)景，比如我們?cè)谶M(jìn)行合同信息導(dǎo)入的時(shí)候，首先要調(diào)用合同有效性校驗(yàn)服務(wù)，同時(shí)還有調(diào)用預(yù)算信息檢查和扣減服務(wù)進(jìn)行相關(guān)的完整性和業(yè)務(wù)規(guī)則校驗(yàn)。在這些校驗(yàn)完成后再調(diào)用實(shí)際的合同信息導(dǎo)入服務(wù)，如果校驗(yàn)失敗則直接返回失敗結(jié)果。

這類服務(wù)編排往往也正是我們實(shí)際在進(jìn)行前端功能開(kāi)發(fā)時(shí)候服務(wù)進(jìn)行組裝的邏輯。

多個(gè)導(dǎo)入服務(wù)組裝為一個(gè)導(dǎo)入服務(wù)合并導(dǎo)入并形成一個(gè)新服務(wù)

這個(gè)場(chǎng)景實(shí)際上和場(chǎng)景1是對(duì)應(yīng)的，既然多個(gè)服務(wù)可以組合后形成組合結(jié)果返回，那么自然可以將多個(gè)導(dǎo)入服務(wù)合并為一個(gè)導(dǎo)入服務(wù)，一次性的完成數(shù)據(jù)導(dǎo)入。

比如有項(xiàng)目信息導(dǎo)入和項(xiàng)目WBS信息導(dǎo)入兩個(gè)原子服務(wù)，那么我們就可以提供一個(gè)新的項(xiàng)目信息導(dǎo)入服務(wù)，一次完成項(xiàng)目基本信息和項(xiàng)目WBS信息的導(dǎo)入。

圖片

在這些場(chǎng)景里面可以看到，實(shí)際上服務(wù)編排就是服務(wù)串聯(lián)，服務(wù)并聯(lián)下的輸入和輸出合并，服務(wù)內(nèi)容豐富和裁剪等常見(jiàn)場(chǎng)景。在一個(gè)理想的場(chǎng)景下，我們最希望實(shí)現(xiàn)的就是一個(gè)業(yè)務(wù)功能點(diǎn)的實(shí)現(xiàn)完全能夠通過(guò)服務(wù)編排可視化設(shè)計(jì)方式來(lái)完成。

下面我們來(lái)分析和討論下服務(wù)編排的可視化設(shè)計(jì)。

a. 定義一個(gè)新服務(wù)，需要提前考慮新服務(wù)輸入和輸出結(jié)構(gòu)設(shè)計(jì)

要進(jìn)行服務(wù)編排，實(shí)際上編排完成后是新產(chǎn)生一個(gè)新服務(wù)，那么新服務(wù)一定有輸入和輸出結(jié)構(gòu)，那么就需要對(duì)新服務(wù)的輸入和輸出結(jié)構(gòu)進(jìn)行設(shè)計(jì)。一種方法是在服務(wù)編排的時(shí)候再對(duì)輸入和輸出結(jié)構(gòu)進(jìn)行定義，一種方法是提前對(duì)新服務(wù)的服務(wù)契約進(jìn)行定義，服務(wù)契約定義好后就形成了標(biāo)準(zhǔn)的服務(wù)輸入和輸出結(jié)構(gòu)。

對(duì)于定義的服務(wù)編排產(chǎn)生的新服務(wù)，拖拽到設(shè)計(jì)器后應(yīng)該產(chǎn)生輸入和輸出兩個(gè)獨(dú)立節(jié)點(diǎn)，這個(gè)在我們做單服務(wù)的ESB服務(wù)設(shè)計(jì)器的時(shí)候思路是一致的。

b. 服務(wù)之間的連接，本質(zhì)是服務(wù)輸入和輸出之間的連接和映射

要明白服務(wù)之間的連接本質(zhì)是輸入和輸出之間的連接和映射。以三個(gè)原子服務(wù)全部是查詢服務(wù)，我們希望組裝一個(gè)新服務(wù)，一次返回A，B，C三個(gè)服務(wù)查詢結(jié)果，這個(gè)場(chǎng)景來(lái)舉例說(shuō)明。

我們需要拖拽A，B，C三個(gè)原子服務(wù)節(jié)點(diǎn)到設(shè)計(jì)器里面，然后將新服務(wù)的輸入連線到A，B，C三個(gè)原子服務(wù)節(jié)點(diǎn)。在連接完成后，我們需要將新服務(wù)的輸入和ABC三個(gè)服務(wù)的輸入之間進(jìn)行數(shù)據(jù)映射。

其次我們需要將ABC三個(gè)服務(wù)的輸出連接到新服務(wù)的輸出。對(duì)于新服務(wù)的輸出，我們同樣需要完成數(shù)據(jù)項(xiàng)之間的映射。但是這里的復(fù)雜性體現(xiàn)在ABC三個(gè)服務(wù)輸出的三個(gè)結(jié)果集之間究竟是并行關(guān)系，還是父子層次關(guān)系，在進(jìn)行數(shù)據(jù)映射和合并返回的時(shí)候，我們需要提前進(jìn)行三個(gè)結(jié)果集的層次關(guān)系定義。這里面場(chǎng)景包括

1. 結(jié)果集并行結(jié)構(gòu)返回多個(gè)
2. 結(jié)果集返回層一個(gè)層次結(jié)構(gòu)的結(jié)果集返回
3. 對(duì)多個(gè)結(jié)果集類似Sql一樣進(jìn)行查詢關(guān)聯(lián)，返回一個(gè)結(jié)果集作為結(jié)果

以上三種則是我們場(chǎng)景的對(duì)服務(wù)查詢結(jié)果進(jìn)行處理，合并或關(guān)聯(lián)的方式。

c. 對(duì)服務(wù)流程式的串聯(lián)和順序處理，重點(diǎn)需要解決跨多節(jié)點(diǎn)數(shù)據(jù)映射問(wèn)題

這個(gè)前面已經(jīng)講過(guò)，即將A，B，C三個(gè)服務(wù)進(jìn)行串聯(lián)方式編排的時(shí)候，實(shí)際我們看到B結(jié)果的輸入只能夠是A節(jié)點(diǎn)的輸出，但是服務(wù)C的輸入?yún)s可以同時(shí)是A或B的輸出。因此在編排完成后進(jìn)行數(shù)據(jù)映射的時(shí)候，一定需要支持C節(jié)點(diǎn)的輸入可以同時(shí)映射到A或B的輸出數(shù)據(jù)項(xiàng)元素。

d. 對(duì)于規(guī)則計(jì)算節(jié)點(diǎn)的兩種可能，簡(jiǎn)單規(guī)則節(jié)點(diǎn)和復(fù)雜規(guī)則節(jié)點(diǎn)

對(duì)于規(guī)則節(jié)點(diǎn)需要考慮兩種可能性，一種是常見(jiàn)的簡(jiǎn)單規(guī)則節(jié)點(diǎn)，即進(jìn)行簡(jiǎn)單的加減乘除運(yùn)算得出一個(gè)規(guī)則，基于規(guī)則判斷后能夠走不同的分支對(duì)結(jié)果進(jìn)行處理。另外一種可能即將輸入送入到規(guī)則引擎進(jìn)行處理，處理完成后返回一個(gè)結(jié)果，如果在不連接規(guī)則引擎的情況下，我們可以設(shè)計(jì)一個(gè)專門的WS服務(wù)節(jié)點(diǎn)，即該節(jié)點(diǎn)可以去調(diào)用外部服務(wù)并返回輸出結(jié)果，并基于輸出結(jié)果情況進(jìn)行判斷，基于判斷走不同的分支。

注意這種規(guī)則WS服務(wù)節(jié)點(diǎn)僅僅是進(jìn)行規(guī)則處理，而非整個(gè)服務(wù)編排的主體輸入和輸出。實(shí)際我們?cè)谶M(jìn)行服務(wù)編排設(shè)計(jì)的時(shí)候，最好不要將這類節(jié)點(diǎn)放在主體服務(wù)編排路徑上面。

NetflixConductor微服務(wù)編排

圖片

對(duì)于服務(wù)編排的可視化設(shè)計(jì)，其中最核心的還是服務(wù)編排本身任務(wù)或活動(dòng)節(jié)點(diǎn)對(duì)應(yīng)的是原子服務(wù)，連線對(duì)應(yīng)的是服務(wù)輸入輸出之間的映射，整個(gè)編排完成是形成一個(gè)新的接口服務(wù)能力，這就是服務(wù)編排要做的事情。如果無(wú)法滿足上面的核心，那談不上服務(wù)編排。

今天談下開(kāi)源的微服務(wù)編排Netflix Conductor，先說(shuō)下具體的場(chǎng)景，這個(gè)是Netflix內(nèi)容平臺(tái)工程團(tuán)隊(duì)運(yùn)行由微服務(wù)上執(zhí)行的任務(wù)的異步編排驅(qū)動(dòng)的多個(gè)業(yè)務(wù)流程。其中一些是長(zhǎng)期運(yùn)行的流程，跨越幾天。這些流程在準(zhǔn)備好標(biāo)題流式傳輸給全球的觀眾上發(fā)揮關(guān)鍵作用。

這些流程的幾個(gè)實(shí)例是：

• 用于內(nèi)容提取的Studio合作伙伴集成
• 基于IMF的內(nèi)容提取我們的合作伙伴
• 在Netflix中設(shè)置新標(biāo)題的過(guò)程
• 內(nèi)容提取、編碼和部署到CDN

傳統(tǒng)上，這些流程中的一些已經(jīng)以ad-hoc方式使用pub/sub的組合來(lái)編排，進(jìn)行直接REST調(diào)用，并使用數(shù)據(jù)庫(kù)來(lái)管理狀態(tài)。然而，隨著微服務(wù)數(shù)量的增長(zhǎng)和進(jìn)程的復(fù)雜性增加，在沒(méi)有中央編排器的情況下，獲得對(duì)這些分布式工作流的可見(jiàn)性變得困難。我們將Conductor構(gòu)建為一個(gè)編排引擎，以滿足以下要求，取出在應(yīng)用程序中需要的樣板，并提供一個(gè)反應(yīng)流：

基于藍(lán)圖?；贘SON DSL的藍(lán)圖定義執(zhí)行流程。

• 跟蹤和管理工作流。
• 能夠暫停、恢復(fù)和重新啟動(dòng)進(jìn)程。
• 能夠擴(kuò)展到數(shù)百萬(wàn)個(gè)并發(fā)運(yùn)行的進(jìn)程流。
• 由從客戶端抽象的排隊(duì)服務(wù)支持。
• 能夠通過(guò)HTTP或其他傳輸方式進(jìn)行操作，如 gRPC。

基于上面介紹可以看到Netflix Conductor最重要的還是實(shí)現(xiàn)了基本的工作流定義，任務(wù)定義，任務(wù)的連接，整個(gè)工作流的任務(wù)調(diào)度和監(jiān)控等基本能力。

官方參考文檔：https://github.com/Netflix/conductor

實(shí)例參考文檔：https://cloud.tencent.com/developer/article/1367734

對(duì)于具體的功能說(shuō)明和介紹參考上面兩篇文章即可，在此不再重復(fù)進(jìn)行描述，只對(duì)看完了整個(gè)Netflix Conductor功能實(shí)現(xiàn)后做一下簡(jiǎn)單總結(jié)。

圖片

在Netflix Conductor中任務(wù)節(jié)點(diǎn)的定義雖然可以定義詳細(xì)的輸入和輸出，但是任務(wù)節(jié)點(diǎn)并不是服務(wù)引用節(jié)點(diǎn)，任務(wù)節(jié)點(diǎn)具體需要開(kāi)發(fā)實(shí)現(xiàn)類來(lái)進(jìn)行實(shí)現(xiàn)。那么我們場(chǎng)景里面說(shuō)的任務(wù)節(jié)點(diǎn)即服務(wù)節(jié)點(diǎn)，任務(wù)的輸入或輸出就是服務(wù)的輸入或輸出是無(wú)法實(shí)現(xiàn)的，如果要實(shí)現(xiàn)也需要進(jìn)行大量的定制開(kāi)發(fā)才能夠支持。

微服務(wù)編排完成后可以形成一個(gè)新的Http Rest服務(wù)接口，這個(gè)是我們需要的。同時(shí)對(duì)于編排完成的workflow本身是可以實(shí)現(xiàn)靈活的任務(wù)監(jiān)控和任務(wù)調(diào)度，滿足基本的流程引擎該有的功能。

圖片

沒(méi)有看到可以進(jìn)行可視化服務(wù)編排設(shè)計(jì)的地方，但是對(duì)于編排完成的模型文件可以展現(xiàn)為可視化的流程圖展示，這個(gè)也是很多編排軟件常用的做法。由于沒(méi)有可視化設(shè)計(jì)，當(dāng)前的輸入輸出數(shù)據(jù)項(xiàng)映射也在手工編寫流程模板文件的時(shí)候完成數(shù)據(jù)映射工作。但是可以實(shí)現(xiàn)前面多個(gè)節(jié)點(diǎn)的輸出朝后續(xù)節(jié)點(diǎn)傳遞的需求。

工作流設(shè)計(jì)完成后，可以看到仍然需要寫大量的代碼和實(shí)現(xiàn)類才能夠完成工作流的運(yùn)行，因此可以看到該開(kāi)源軟件并不能實(shí)現(xiàn)完全的面向業(yè)務(wù)或開(kāi)發(fā)人員的可配置零編碼的效果。

基于以上初步分析可以看到，Netflix Conductor開(kāi)源微服務(wù)編排框架并不滿足我們前面描述的微服務(wù)編排場(chǎng)景，如果要實(shí)現(xiàn)服務(wù)和服務(wù)之間的編排，實(shí)際上對(duì)該開(kāi)源軟件的定制和改造工作量相當(dāng)大。因此在我們實(shí)現(xiàn)微服務(wù)編排的時(shí)候并不建議選擇該開(kāi)源軟件。其次，在整個(gè)微服務(wù)架構(gòu)體系中，也不建議采用Netflix Conductor，至少在前期的改造過(guò)程中使用的場(chǎng)景很小，完全可以用其他方式來(lái)替代。