隨著銀行信息化的快速發(fā)展，應(yīng)用系統(tǒng)的數(shù)量逐步增多，系統(tǒng)間數(shù)據(jù)文件的傳輸需求呈指數(shù)級增長，起初系統(tǒng)間自行約定對接傳輸?shù)姆绞?，產(chǎn)生諸多問題，使日常運維和管理工作變得更為復(fù)雜。

問題一：

業(yè)務(wù)系統(tǒng)間文件傳輸交換各自為政，形成復(fù)雜的傳輸關(guān)系，當(dāng)出現(xiàn)異常時，問題根源和關(guān)聯(lián)影響很難定位;

問題二：

傳輸技術(shù)多樣化，同時存在多種傳輸方式，系統(tǒng)間對接需單獨開發(fā)，無統(tǒng)一標準，后期維護困難;

問題三：

同一份文件進行多次抽取、發(fā)送，數(shù)據(jù)共享性差，系統(tǒng)間的文件傳輸流量無法復(fù)用、歸并，增加網(wǎng)絡(luò)域重復(fù)流量;

問題四：

全行傳輸業(yè)務(wù)缺少統(tǒng)一視圖，沒有對全行傳輸業(yè)務(wù)的統(tǒng)一管理手段，無法對全行的文件傳輸實時監(jiān)控。

G行文件傳輸系統(tǒng)作為基礎(chǔ)支撐系統(tǒng)，將數(shù)據(jù)文件傳輸進行統(tǒng)一規(guī)劃，向全行各應(yīng)用系統(tǒng)提供數(shù)據(jù)文件傳輸服務(wù)接口，建立全行統(tǒng)一的傳輸接口規(guī)范和標準，保證全行文件數(shù)據(jù)傳輸過程的可管理性、高效性、可靠性，滿足G行業(yè)務(wù)發(fā)展和各應(yīng)用系統(tǒng)間進行文件傳輸交互的需要。

一、架構(gòu)設(shè)計

G行文件傳輸系統(tǒng)采用節(jié)點網(wǎng)狀部署、信息集中管理的設(shè)計，節(jié)點分布在需要進行文件傳輸?shù)膽?yīng)用服務(wù)器上，并且每一個節(jié)點都可以與同網(wǎng)絡(luò)域的其他節(jié)點相連，網(wǎng)狀部署設(shè)計具有較高的可靠性，每兩個節(jié)點之間的傳輸不受其他節(jié)點和管理端的影響，發(fā)送節(jié)點服務(wù)正常運行，就可以根據(jù)預(yù)設(shè)任務(wù)發(fā)送文件，接收節(jié)點服務(wù)正常就可以將收到的文件按照約定目錄存放。文件共享或跨域文件傳輸可通過中心節(jié)點轉(zhuǎn)發(fā)，中心節(jié)點為集群模式，支持自動路由及負載均衡，具體傳輸鏈路如圖1。

圖1 傳輸鏈路圖

文件傳輸系統(tǒng)分為接入、管理、平臺三層業(yè)務(wù)架構(gòu)，接入層負責(zé)與全行應(yīng)用系統(tǒng)對接，根據(jù)本地存儲的任務(wù)信息對文件進行相應(yīng)處理和傳輸，將傳輸結(jié)果上送至管理層，管理層負責(zé)節(jié)點和任務(wù)信息的管理，并實時同步信息給接入層和平臺層，平臺層則負責(zé)文件分發(fā)、傳輸擴展和數(shù)據(jù)存儲，如圖2。

圖2 三層業(yè)務(wù)架構(gòu)

二、運維管理

一般系統(tǒng)的管理員主要工作在于應(yīng)對系統(tǒng)中產(chǎn)生的各種需要人工干預(yù)的事件，以及來自開發(fā)的變更需求，保障系統(tǒng)對外提供穩(wěn)定的服務(wù)。但隨著G行文件傳輸系統(tǒng)節(jié)點規(guī)模越來越大，每日傳輸文件數(shù)量越來越多，相關(guān)的事件和變更需求也越來越多，按照傳統(tǒng)模式一個管理員很難應(yīng)對日益增多的事件。所以G行文件傳輸系統(tǒng)配套設(shè)計了管理模塊來解決運維中的問題，代替人工操作，減輕管理員壓力。

管理模塊的定位是保障生產(chǎn)穩(wěn)定有序的運行，通過設(shè)計、構(gòu)建自動化工具來發(fā)現(xiàn)、解決、降低風(fēng)險，主要包括以下三個方面：

監(jiān)控策略：

監(jiān)控管理功能是監(jiān)控全行文件傳輸服務(wù)可用性的一個主要手段。文件傳輸系統(tǒng)主要從傳輸節(jié)點和傳輸任務(wù)兩個維度監(jiān)控：

• 傳輸節(jié)點啟動時會主動和管理端建立連接，管理端維護連接信息，并每30秒進行一次探測，連續(xù)5次探測失敗則進行報警;同時傳輸節(jié)點的運行信息會實時報送給管理端，當(dāng)捕獲到異常時也會進行報警。
• 傳輸任務(wù)的監(jiān)控，是針對每個傳輸任務(wù)的時間閾值進行設(shè)定，當(dāng)傳輸異?；虺瑫r還未完成文件傳輸，則進行報警。對于多傳、重復(fù)傳的情況，管理端也會進行判斷，并依據(jù)設(shè)定直接終止傳輸和報警。
• 監(jiān)控管理一直是持續(xù)優(yōu)化重點工作，未來將更少的依賴人分析報警信息，直接由系統(tǒng)自動分析，僅當(dāng)需要人來執(zhí)行某種操作時，才會通知管理員。

應(yīng)急處理：

任何需要人工操作的事情都只會延長恢復(fù)時間。一個可以自動恢復(fù)的系統(tǒng)即使有更多的故障發(fā)生，也要比事事都需要人工干預(yù)的系統(tǒng)可用性更高。

G行文件傳輸系統(tǒng)在服務(wù)異常和傳輸文件異常時都具備自動恢復(fù)的能力。當(dāng)發(fā)現(xiàn)有進程異常終止時，系統(tǒng)會立即重新拉起，避免影響文件傳輸，同時進行相關(guān)記錄，收集起來以備調(diào)試和事后分析時使用。傳輸文件異常則是通過自動重傳或續(xù)傳的模式，確保文件傳輸及時恢復(fù)。如果文件生成過晚超出預(yù)定發(fā)送時間或者數(shù)據(jù)錯誤修正后需重新發(fā)送，這時不可避免的需要人工介入，可使用應(yīng)急重傳功能，重新發(fā)起任務(wù)，系統(tǒng)會根據(jù)任務(wù)信息將文件重新傳輸。

變更管理：

以往的經(jīng)驗告訴我們，大部分生產(chǎn)事件都是由變更而觸發(fā)。G行文件傳輸系統(tǒng)的變更管理功能實現(xiàn)了傳輸任務(wù)的自動化在線投產(chǎn)、實時跟蹤投產(chǎn)情況及當(dāng)出現(xiàn)問題時，安全迅速回退。這樣可以將人工因素排除在流程之外，操作不再受經(jīng)常發(fā)生在人身上的經(jīng)驗主義錯誤以及大量重復(fù)性勞動帶來的疲勞所影響。有效的提高變更執(zhí)行速度和降低變更帶來的風(fēng)險。具體實現(xiàn)為管理端通過流程系統(tǒng)獲取變更文件，完成導(dǎo)入后自動將變更信息推送到每個節(jié)點，無需重啟應(yīng)用，新增和調(diào)整的傳輸任務(wù)實時生效，保證文件傳輸?shù)倪B續(xù)性。

管理模塊的另一個定位是提升運維效率，通過用戶權(quán)限區(qū)分，開放查詢和配置功能，做到安全控制的同時，提供給用戶便捷的服務(wù)：

用戶管理：

用戶管理功能按照角色將用戶分為超級管理員、管理員、操作員三種級別，具有不同的訪問權(quán)限，而且對某個用戶可管理的節(jié)點也可進行指派，避免錯誤操作職權(quán)范圍外的節(jié)點。結(jié)合G行實際場景，運維一線人員分配操作員權(quán)限，可查詢?nèi)泄?jié)點和傳輸任務(wù)信息，在傳輸異常時具備應(yīng)急處理權(quán)限;運維二線人員分配管理員權(quán)限，可查詢、變更自己負責(zé)節(jié)點和任務(wù)的信息配置、監(jiān)控設(shè)置;文件傳輸系統(tǒng)的運維人員具備超級管理員權(quán)限，對全行文件傳輸進行整體的管控。

傳輸查詢：

傳輸查詢功能有節(jié)點查詢、任務(wù)查詢、明細查詢。節(jié)點查詢能夠查詢?nèi)泄?jié)點地址、端口號、狀態(tài)和配置，便于運維人員實時獲取節(jié)點運行情況;任務(wù)查詢可以通過文件名稱、發(fā)送或接收節(jié)點等條件查詢?nèi)蝿?wù)信息，包括發(fā)送時間、發(fā)送目錄、接收目錄、文件生成情況，運維人員通過任務(wù)查詢能夠掌握系統(tǒng)間傳輸關(guān)系;明細查詢用來展示每一條傳輸記錄的發(fā)送和接收節(jié)點，傳輸時間，文件大小，是否成功等，使用明細查詢運維人員能夠確認每個任務(wù)的傳輸結(jié)果。

運行日志：

運行日志功能能夠直接查看全行各節(jié)點的日志信息，在節(jié)點異常或傳輸任務(wù)異常時，直接通過管理臺分析日志，無需登錄應(yīng)用服務(wù)器，提高運維人員的問題排查效率。

G行文件傳輸系統(tǒng)，大大提升了文件傳輸運維管理的效率，但隨著業(yè)務(wù)的發(fā)展，文件傳輸場景和數(shù)量也會越來越多，文件傳輸?shù)墓芾黼y度將會進一步增加，我們需要繼續(xù)迭代不斷創(chuàng)新，逐步推進運維管理充分實現(xiàn)智能化。

三、總結(jié)

文件傳輸?shù)墓芾砉ぷ骰A(chǔ)且重要，G行文件傳輸系統(tǒng)的建設(shè)，全面整合了各種傳輸模式、梳理文件處理流程，實現(xiàn)文件傳輸標準化和統(tǒng)一管理，使應(yīng)用系統(tǒng)能夠更好地專注于業(yè)務(wù)邏輯的建設(shè)，提高了系統(tǒng)處理能力，提升應(yīng)用系統(tǒng)對業(yè)務(wù)的支撐能力，有利于業(yè)務(wù)的靈活展開。

未來隨著銀行科技的不斷發(fā)展，G行應(yīng)用系統(tǒng)的全面上云，文件傳輸需先行完成節(jié)點負載均衡架構(gòu)和文件分布式存儲改造，滿足應(yīng)用上云后的文件傳輸需求，這也是文件傳輸系統(tǒng)未來的發(fā)展目標，即覆蓋全行文件傳輸場景，不斷提高管理效率，持續(xù)為全行業(yè)務(wù)提供可靠的文件傳輸服務(wù)。