【51CTO.com原創(chuàng)稿件】1.項目背景

1.1業(yè)務背景

蘇寧從 2009 年就開始了互聯(lián)網(wǎng)轉型的探索，當時蘇寧已經(jīng)是國內(nèi)最大的商業(yè)連鎖企業(yè)，擁有近千家的線下門店，轉型互聯(lián)網(wǎng)就是將原有線下的資源和能力拓展到線上去，如此大的體量要轉型互聯(lián)網(wǎng)，必然要以優(yōu)異多元的技術作為支持、以穩(wěn)定的創(chuàng)新型的系統(tǒng)作為支撐，并且要開展數(shù)據(jù)化的運營。

多年轉型數(shù)據(jù)量急劇增長尤其是近兩年數(shù)據(jù)量急劇增長的現(xiàn)實問題導致原有的手工錄入主數(shù)據(jù)配置出現(xiàn)瓶頸，急需新的方式加速效率、加快進度。一則原有人工錄入模式錄入速度存在上限，無法從人工錄入的模式上有效的提升或加快效率;二則如果要滿足現(xiàn)有數(shù)據(jù)錄入進度增加人力還必須對新人進行業(yè)務培訓，培訓周期長、無法滿足人員快速投入的問題，并且單純增加人力并不能解決效率問題，僅僅只能以人海方案暫時滿足需求、無法永久的滿足日益增長的數(shù)據(jù)錄入需求。經(jīng)過多次討論并進行技術探索驗證后一致決定使用自動化的智能型的方案，實現(xiàn)解放人力、提升效率的終極目標。

1.2業(yè)務問題描述

公司主數(shù)據(jù)配置自動化改造前主要由維護部人員通過公司內(nèi)部審批流程、豆芽消息整理數(shù)據(jù)手工在各系統(tǒng)配置。以新開公司配置為例，總計約涉及7個系統(tǒng)269步的系統(tǒng)配置，每一個步驟都需要整理數(shù)據(jù)歸檔然后通過操作相應系統(tǒng)軟件手工錄入或拷貝輸入，操作步驟繁多、操作方式模式化，因此對于業(yè)務人員來說存在疲勞和重復性問題;通過這樣的復雜流程配置一個標準公司通常需要最少3天時間，無法滿足公司大開發(fā)戰(zhàn)略的推進，無法適應公司接下來幾年的公司配置數(shù)量的急劇增長，因此特別需要推進公司以及其他主數(shù)據(jù)配置的自動化、智能化，加快公司運作效率。

1.3解決方案

在中心領導以及業(yè)務主要負責人、技術部門主要負責人的牽頭下，并經(jīng)過業(yè)務部門對現(xiàn)有問題梳理、技術部門針對需求進行自動化探索和驗證，確定自動化甚至最后智能化方案可行。

本自動化系統(tǒng)目前可以通過配置好的規(guī)則庫，實現(xiàn)自動化核對審批，以及把核對好的主數(shù)據(jù)信息按照業(yè)務系統(tǒng)創(chuàng)建主數(shù)據(jù)的事務代碼一步步自動執(zhí)行，整個鏈路不需要人為參與，并且鏈路的每個節(jié)點都有監(jiān)控，能夠及時反饋鏈路處理狀態(tài)。該系統(tǒng)可以部署多臺機器，通過任務調(diào)度實現(xiàn)多個主數(shù)據(jù)創(chuàng)建的并行處理。理論上能夠24小時不間斷執(zhí)行。

2.完整的技術方案

2.1數(shù)據(jù)接入

原業(yè)務系統(tǒng)創(chuàng)建主數(shù)據(jù)的數(shù)據(jù)來源復雜，主要有公司內(nèi)部SOA流程、Email、豆芽等，這些數(shù)據(jù)由于缺乏統(tǒng)一的約束有很多不規(guī)范的數(shù)據(jù)，例如文本、自定義的Excel表格等;并且這些數(shù)據(jù)因為缺乏校驗多數(shù)都需要人工審核。

針對上述情況，本系統(tǒng)進行了規(guī)范化約束。主要體現(xiàn)在1)之前沒有模板化的文檔模板化;2)之前模板化的數(shù)據(jù)如Excel等會加以直接使用;3)能夠通過第三方系統(tǒng)獲取到的直接和第三方系統(tǒng)交互獲取以保證不出現(xiàn)手工導致的錯誤。

經(jīng)過整理，目前數(shù)據(jù)主要來源于三處，一是根據(jù)業(yè)務特點定制的一系列數(shù)據(jù)模板，定制的模板可以實現(xiàn)數(shù)據(jù)規(guī)范化錄入、校驗以及存儲和解析處理;二是數(shù)據(jù)來源于已有的系統(tǒng)如業(yè)務系統(tǒng)內(nèi)部數(shù)據(jù)表、SOA流程表單/附件，這些數(shù)據(jù)都是經(jīng)過校驗后入庫，數(shù)據(jù)質(zhì)量規(guī)范有保證;三是通過第三方系統(tǒng)接入，這部分數(shù)據(jù)也經(jīng)過了第三方系統(tǒng)校驗，同樣數(shù)據(jù)質(zhì)量也規(guī)范有保證。數(shù)據(jù)接入這一步做規(guī)整之后才能保證后續(xù)的業(yè)務執(zhí)行不會因數(shù)據(jù)的問題導致無法正確處理。

2.2腳本錄制、包裝轉換和模型部署

由于這個類型的項目公司沒有相應的經(jīng)驗參考，所以開始摸索階段很自然的想到先由人工操作按照標準化的模式錄制腳本，然后以業(yè)務順序串聯(lián)腳本;當然，在后續(xù)的研發(fā)中我們對此過程有了新的提煉和優(yōu)化。下面主要介紹在此經(jīng)驗基礎上提煉出的關鍵過程。

1.腳本錄制

一套業(yè)務需根據(jù)事務代碼從首屏開始通過業(yè)務系統(tǒng)軟件的腳本錄制功能按照規(guī)范的人工處理過程錄制完整業(yè)務邏輯，錄制后的VBS腳本即是一個業(yè)務模板，多個業(yè)務模板即可構成一套業(yè)務邏輯。

第一版本的思路是經(jīng)過錄制后得到的腳本經(jīng)過開發(fā)人員剔除不必要的操作命令如非必要語句、光標定位后直接由調(diào)度器調(diào)度執(zhí)行，但在開發(fā)過程中我們發(fā)現(xiàn)直接調(diào)度VBS在易用性上并不理想，因此部分成員有嘗試使用更為靈活的Python語言實現(xiàn)，經(jīng)過驗證Python更加靈活、更加適合快速迭代。

但第一階段當時開發(fā)已經(jīng)接近尾聲，并且經(jīng)過第一輪測試驗證雖然語言方案不夠靈活確實能夠提升效率;于是團隊成員和領導小組商定第一版即以現(xiàn)有方案發(fā)布，后續(xù)采用更好的Python語言。后續(xù)版本以及第一版本的升級版采用Python語言后,由于Python有合表、大量數(shù)據(jù)處理等成熟組件庫，使得開發(fā)效率進一步得到了提升。

2.包裝轉換

就是將上述錄制的腳本各語句逐條轉換為更具靈活性的Python語言，其底層是通過win23com組件實現(xiàn)對業(yè)務系統(tǒng)的調(diào)用。另需注意的是腳本中有些步驟可以優(yōu)化合并或使用更底層的技術調(diào)用，實現(xiàn)為更優(yōu)異的執(zhí)行方法。

3.模型部署

轉換后的Python文件按照業(yè)務組織打包。打包類型分為兩種形式，一是普通cmd Python項目形式(如圖一)，此類型項目通常只提供一個入口方法、一個配置文件，通過手工或部署工具將項目打包拷貝到工作站，或手工或由部署工具啟動腳本后守護執(zhí)行業(yè)務邏輯;二是將項目二次封裝成公司機器調(diào)度平臺支持的機器人調(diào)度格式，此類型同樣需要一個入口方法和一個配置文件，按調(diào)度平臺規(guī)格封裝后的文件上傳到調(diào)度平臺即可在云端機器執(zhí)行。

圖一(案例項目結構圖)

圖二(腳本錄制和轉換圖)

2.3數(shù)據(jù)校驗、調(diào)度執(zhí)行

之前由人工的方式整理數(shù)據(jù)并且由人工審核數(shù)據(jù)，由于人工核驗數(shù)據(jù)并不能百分百保證數(shù)據(jù)有效，只有當錄入系統(tǒng)后才能發(fā)現(xiàn)數(shù)據(jù)問題，針對此問題我們設計了數(shù)據(jù)校驗環(huán)節(jié)，可以對數(shù)據(jù)批量校驗，在調(diào)度執(zhí)行前發(fā)現(xiàn)問題并反饋解決。調(diào)度執(zhí)行過程是一套按照業(yè)務模型處理的流程運行時，此過程會根據(jù)模型部署的業(yè)務模塊選擇調(diào)度執(zhí)行。

1.數(shù)據(jù)校驗

從業(yè)務系統(tǒng)內(nèi)部數(shù)據(jù)表、SOA流程表單/附件或通過第三方系統(tǒng)接入獲取到需要維護的主數(shù)據(jù)基本信息后，首先系統(tǒng)會將外部數(shù)據(jù)轉換為內(nèi)部通用的二維矩陣形式，然后通過校驗器根據(jù)規(guī)則校驗審核數(shù)據(jù)有效性。校驗器根據(jù)規(guī)則或拒絕執(zhí)行或返回警告抑或忽略無效數(shù)據(jù)行，待數(shù)據(jù)驗證完畢后有效數(shù)據(jù)會進行下一步的調(diào)度處理。

2.調(diào)度執(zhí)行

步驟一：審核通過的數(shù)據(jù)通過任務調(diào)度平臺進行調(diào)度，抓取需要執(zhí)行的腳本，分配到對應的工作站上。

步驟二：工作站收到執(zhí)行腳本后自動打開業(yè)務系統(tǒng)軟件，然后自動執(zhí)行對應主數(shù)據(jù)創(chuàng)建的事務代碼創(chuàng)建主數(shù)據(jù)。

步驟三：監(jiān)控從獲取主數(shù)據(jù)到執(zhí)行完業(yè)務系統(tǒng)的事務代碼的處理狀態(tài)，對中間步驟異常的數(shù)據(jù)進行斷點執(zhí)行。

圖二(數(shù)據(jù)自動創(chuàng)建流程圖)

2.4日志記錄、錯誤反饋

本系統(tǒng)有較完備的日志記錄、錯誤反饋能力。在任務執(zhí)行前，系統(tǒng)會拆分任務列出明細清單并記錄到數(shù)據(jù)庫中，在執(zhí)行階段調(diào)度器根據(jù)任務清單逐條執(zhí)行，執(zhí)行中的數(shù)據(jù)和狀態(tài)信息如公司代碼、執(zhí)行位置、執(zhí)行結果或錯誤明細保存數(shù)據(jù)庫并反饋給系統(tǒng)。業(yè)務人員通過系統(tǒng)可查看業(yè)務執(zhí)行狀況，如遇錯誤可通過詳細的反饋信息判斷是何種錯誤并在下次執(zhí)行時更正。

3.本技術方案帶來的有益效果

綜上，上了本套技術方案后，我們的主數(shù)據(jù)處理時間基本和預估的時間一致，在時間上縮短了一個量級，由之前的按天算到目前的按小時算，甚至一些情況下實現(xiàn)分鐘級。總結來看，目前我們主要實現(xiàn)了兩方面優(yōu)化，如下：

1. 用機器校驗代替人工校驗，提高了數(shù)據(jù)的正確率，減少了因數(shù)據(jù)無效引起的工時浪費;當然由于減少了人工核驗，我們的運維人員也解放了繁瑣的審核，切實提升了幸福感。:-)
2. 實現(xiàn)業(yè)務系統(tǒng)創(chuàng)建數(shù)據(jù)自動化，提高效率，解放人力。按照原有業(yè)務系統(tǒng)運維人員采用人工操作，一個業(yè)務系統(tǒng)事務代碼通常需要1分鐘至10多分鐘不等，經(jīng)過業(yè)務軟件自動化機器人目前可以實現(xiàn)最快3秒，最慢1分鐘左右(絕大部分主要受制于業(yè)務系統(tǒng)本身數(shù)據(jù)梳理速度導致，例如大表數(shù)據(jù)慢加載在數(shù)據(jù)量多于1萬的情況下可能超過1分鐘)即可處理完成一個事務代碼。

例如現(xiàn)有業(yè)務系統(tǒng)數(shù)據(jù)運維人員在業(yè)務系統(tǒng)中維護一個完整的公司數(shù)據(jù)按照每天工作8小時算，通常一個完整公司約需要269步，即269個事務代碼，按平均每個事務代碼5分鐘算，總計用時約 ，如再加入數(shù)據(jù)整理時間則最快要3天時間才能處理一個完整公司數(shù)據(jù)創(chuàng)建。

使用本專利由于絕大部分步驟都很快，我們按照每步驟中位數(shù)用時30秒算，計算總用時約 ，即在有半數(shù)長耗時操作情況下，也能保證2.24小時可以在業(yè)務系統(tǒng)里完成一個完整公司數(shù)據(jù)的創(chuàng)建，并且能夠24小時不間斷執(zhí)行。

結束語

在集團公司造極精神的鼓舞下，團隊成員的不懈努力下能夠創(chuàng)新性完成并持續(xù)改進方案，這是對勇于創(chuàng)新精神的最好鼓舞。作為承擔集團智慧零售大開發(fā)戰(zhàn)略后端數(shù)據(jù)支持后盾的我們，全體人員統(tǒng)一思想，將集團目標拆解到部門和個人，每個需求、開發(fā)、測試、運維人員工作目標和具體工作事項十分清晰，圍繞快速迭代、質(zhì)量保證和穩(wěn)定服務，把極客、極物、極速的造極精神當作我們的工作態(tài)度，這些更是我們工作的真實寫照。 

本文作者

張標，蘇寧易購IT總部員工平臺研發(fā)中心技術經(jīng)理，負責智能應用項目架構和任務調(diào)度工作。有多年后端開發(fā)經(jīng)驗，對當前大熱的AI智能應用極有興趣，有幸參與公司智能項目建設，希望為公司的智能化發(fā)展添磚加瓦。

【51CTO原創(chuàng)稿件，合作站點轉載請注明原文作者和出處為51CTO.com】