如何用MLOps保障時效表達穩(wěn)定性
一、背景
消費者選擇電商平臺進行購物，除了獨特的商品，購物體驗也越來越成為消費者衡量平臺的重要標準。如何幫助客戶快速的檢索到自己想要購買的商品，如何讓客戶買到性價比最高的商品，如何幫助客戶在更短的時間內(nèi)收到購買的商品，這些都是平臺為消費者提供的重要服務(wù)。筆者在訂單履約時效項目的參與過程中，主要負責通過算法，幫助平臺提升訂單履約率和準確率。
圖片
圖片
我們先來直觀感受一下時效對體驗的影響。從上面2張圖，我們能夠看到，右圖訂單的交付時效比較長，客戶對訂單支付意愿就會大大降低，有行業(yè)專業(yè)人士分析，時效表達多一天，影響的GMV就達千萬級，可見時效表達越短對應(yīng)的收益越大，但也會給供應(yīng)鏈履約帶來更大的成本。從運營的角度，如果想要給消費者更短時效的體驗，但卻超越了供應(yīng)鏈當前的履約能力（比如告知消費者1天送達，實際是3天），則會帶來大量客訴，在得物平臺因為有“晚到必賠”規(guī)則，會額外增加超時賠付優(yōu)惠券的負擔，引發(fā)資損。所以在得物做時效表達，需要同時兼顧時效的準確率（告知消費者1天送達，實際也是1天）和履約率（告知消費者1天送達，實際不超過1天）。
在我們長期探索過程中，模型逐漸經(jīng)歷了統(tǒng)計模型、ML模型、DL模型的演化。商業(yè)環(huán)境上也經(jīng)歷了惡劣天氣、春節(jié)、大促等各種極端場景的考驗，算法模型也在一次次的挑戰(zhàn)中，變得越來越堅實，并從手工操作逐步實現(xiàn)自動化流程。為了讓流程更加高效、穩(wěn)定，我們引入了MLOps的理念，本文拋磚引玉，與大家一起聊聊，我們在結(jié)合MLOps應(yīng)用的心路歷程，期待能與大家碰撞出思維的火花。
二、什么是MLOps
附：MLOps方法論：
https://ml-ops.org/content/mlops-principles
MLOps的核心理念
隨著算法模型在工業(yè)界的應(yīng)用越來越深，越來越廣，業(yè)界逐漸實踐出一些標準，讓我們能更高效、更穩(wěn)定、低成本且長久地管理模型的整個生命周期， 涉及模型訓(xùn)練、模型發(fā)布、灰度或AB，及模型的長期監(jiān)控等等。
其核心理念，主要有以下7個方面的模型管理規(guī)范：
- Versioning， 數(shù)據(jù)、模型、代碼等是否有版本記錄，是否能便捷地回溯；
- Testing， 數(shù)據(jù)、特征、模型的生成是否有邏輯校驗；代碼是否有單元測試等；
- Automation，數(shù)據(jù)、特征的生成是否有自動調(diào)度，模型訓(xùn)練、搜參是否自動，代碼提交合并是否CI/CD；
- Reproducibility，基于Versioning的保障，是否能在任意時間復(fù)現(xiàn)歷史某次模型預(yù)測結(jié)果；
- Deployment，發(fā)布在生產(chǎn)、AB、陪跑等環(huán)境，是否能保證入?yún)⒁恢滦?，代碼一致性；
- Monitoring，模型精度下降是否能感知，數(shù)據(jù)漂移、數(shù)據(jù)泄露等是否會被發(fā)現(xiàn)；
- Documentation & Project Structure， 文檔、項目結(jié)構(gòu)是否具備可讀性，結(jié)構(gòu)性。
MLOps核心理念落地關(guān)鍵問題
MLOps的核心理念，應(yīng)用到業(yè)務(wù)的過程，并不是一個完全由機器完成，全自動化的過程，而是需要業(yè)務(wù)團隊根據(jù)實際業(yè)務(wù)的情況，不斷調(diào)整入?yún)?，調(diào)整模型的過程，會涉及大量的人與機器的交互。因此，如何將這些核心理念應(yīng)用到具體的業(yè)務(wù)中，我們需要思考2個方面的問題：
算法模型在設(shè)計過程中，要保障業(yè)務(wù)執(zhí)行的效果
- 模型復(fù)現(xiàn)問題：預(yù)測模型是如何生成的，如果模型丟失了，能否重新訓(xùn)練找回丟失的模型？
- 線上一致性問題線上時效表達時，訂單是由哪個模型預(yù)測的？同樣的入?yún)⒔o到同一個模型預(yù)測，是否保持冪等？發(fā)布新模型時，如何保障模型上線后的效果符合預(yù)期？
- 模型快速升級問題：線上指標下降了，模型更新流程需要多少人工介入？更新頻次的增加，是否帶來人工成本線性增長？
如何降低業(yè)務(wù)使用算法模型的門檻
- 運營模型的門檻是否可以降低？
- 業(yè)務(wù)、產(chǎn)品是否能配置化地訓(xùn)練、選擇自己需要的模型？
- 是否能讓更多樣化的業(yè)務(wù)決策能落地，獲得更好的業(yè)務(wù)收益呢？
三、MLOps關(guān)鍵理念的實踐--時效仿真產(chǎn)品
基于上述的思考，我們設(shè)計并開發(fā)了時效仿真產(chǎn)品，并將MLOps的理念融入其中。
模型的可復(fù)現(xiàn)性
對于模型訓(xùn)練環(huán)節(jié)來說，訓(xùn)練集、代碼版本和模型參數(shù)是三個非常重要的因素。其中代碼版本、模型超參可以通過git和數(shù)據(jù)庫控制， 比較容易忽略的是訓(xùn)練集的狀態(tài)，我們通過數(shù)據(jù)分層和業(yè)務(wù)日期隔離兩種方法確保了訓(xùn)練集的可追溯性。
數(shù)據(jù)分層，保障數(shù)據(jù)版本一致性
如下左圖所示，在訓(xùn)練環(huán)節(jié)，時效仿真產(chǎn)品的用戶可以圈選任意天的訂單用作訓(xùn)練。同樣圈選了下列日期的樣本，站在不同日期訓(xùn)練是不一樣的。比如站在20240903和20240902，那么對于20240901支付的訓(xùn)練樣本，20240903會比20240902多一批已簽收訂單進入模型訓(xùn)練。越近期的數(shù)據(jù)越能反映履約網(wǎng)絡(luò)的變化，一般20240903訓(xùn)練得到的模型預(yù)測會更準一點。
時效仿真產(chǎn)品-訓(xùn)練樣本的圈選
數(shù)據(jù)分層
這就說明了圈選同樣支付日期的訂單做訓(xùn)練樣本，因為訓(xùn)練日期不同導(dǎo)致已簽收訂單不同，進而影響實際進入模型訓(xùn)練的樣本不同。
針對這個問題，我們做了數(shù)據(jù)分層，如上右圖所示，數(shù)倉會將每日訂單的最新狀態(tài)更新完畢， 用戶發(fā)起仿真任務(wù)后，服務(wù)端按需取對應(yīng)訂單，通過仿真任務(wù)ID作為分區(qū)，落到訓(xùn)練集和預(yù)測集表。隨后通過AI計算平臺調(diào)起訓(xùn)練、預(yù)測任務(wù)，同樣傳入仿真任務(wù)ID，訓(xùn)練預(yù)測任務(wù)取相應(yīng)分區(qū)。這樣日后需要重新訓(xùn)練，我們能保證同一個仿真任務(wù)得到的數(shù)據(jù)是一樣的。
業(yè)務(wù)日期隔離，防止數(shù)據(jù)泄露問題
數(shù)據(jù)分層雖然保障了數(shù)據(jù)版本的一致性，但時效場景因其特殊性，我們?nèi)钥赡苡龅綌?shù)據(jù)泄露的問題。如下圖所示，按經(jīng)驗訂單平均在4天內(nèi)能被簽收，但是數(shù)據(jù)上從20240830開始訂單的簽收時間延長了，因為20240902是臺風摩羯登陸的日子，受到臺風天氣的影響，簽收時間也發(fā)生了變化。
針對20240830~20240901期間的支付訂單，做訂單簽收時長的時效預(yù)測，有一部分訂單會在臺風前簽收，有一部分會在臺風后簽收，在臺風到來前后訓(xùn)練得到的模型是完全不同的，預(yù)測的結(jié)果也是不同的。
- 在臺風前訓(xùn)練，模型平均預(yù)測時間就是4天，
- 在臺風后訓(xùn)練，模型就會預(yù)測時間偏長。
如果臺風結(jié)束后模型沒及時調(diào)整，那整個時效表達的準確性就會大打折扣，不僅會破壞模型的可復(fù)現(xiàn)性，對模型準確性也造成了影響。我們做過測算，在不加干預(yù)情況下，臺風后預(yù)測樣本履約率會大幅上升(+2.3pt)，T日準確率大幅折損(-30.82pt)，模型表達過于保守。
同支付訂單 簽收區(qū)間示意圖
如何解決呢？
- 對于可復(fù)現(xiàn)性，我們在后臺記錄了每個仿真任務(wù)的執(zhí)行業(yè)務(wù)日期， 根據(jù)業(yè)務(wù)執(zhí)行日期來判斷，模型可以看到哪些天已簽收訂單做訓(xùn)練數(shù)據(jù)， 這個場景里只要把業(yè)務(wù)日期固定在臺風前，那不管是哪天訓(xùn)練的模型，其效果都是一樣的。
- 對于準確性而言，我們希望讓模型訓(xùn)練正常日期，預(yù)測正常時長，臺風、暴雪等異常情況通過bcp（Business Continuity Planning）加時來保障，臺風過后指標能迅速回歸正常?；诖耍覀冊跁r效仿真產(chǎn)品里設(shè)計了訂單圈選時間類型，可以按支付或應(yīng)履約日期來圈選，臺風情況就按應(yīng)履約圈選臺風前的樣本即可，如下左圖。
圖片
通過上述的產(chǎn)品設(shè)計，我們能保證模型在任意時間訓(xùn)練，任意歷史狀態(tài)下看到的數(shù)據(jù)都是一致的，為模型可復(fù)現(xiàn)性打下了基礎(chǔ)。每個模型訓(xùn)練完成后，除了保存模型文件，我們也會記錄代碼版本、特征、后處理策略等模型必要參數(shù)。
線上的一致性保障
當我們得到理想的模型及仿真結(jié)果后，接下去要確保安全地上線，如何能確保也是知易行難。仿真可以失敗無數(shù)次，只要有一次成功就可以，上線卻不容許那么多次失敗，最好是一次成功。
在時效場景里更特殊的是：
- 隨著時間的推移我們的履約網(wǎng)絡(luò)能力是一個動態(tài)變化的過程，相應(yīng)地模型也需要長期頻繁的更新。
- 每次模型上線后，其效果一般要等訂單走完支付到簽收的生命周期后才能回收效果，一般今天上線的模型，下周才知道線上效果如何。
那么如何保障模型每次更新都是可靠的，通過一段時間的探索，我們找到了模型可靠性三步曲，依靠流量回放、流程保障和自動發(fā)布來保障線上模型的效果。
流量回放，確保仿真入?yún)⒑途€上入?yún)⒁恢滦裕嵘Ｐ蜏蚀_率
我們經(jīng)常會遇到模型仿真效果很好，但線上陪跑就掉很多精度，排查后發(fā)現(xiàn)仿真和線上陪跑的入?yún)⒋嬖诓灰恢碌那闆r。比如賣家發(fā)貨地址、承運商等信息，在支付的時候存在不確定性，線上有入?yún)⒀a齊邏輯，比如用子模型預(yù)測，或拿歷史眾數(shù)填充；但仿真時這些信息已成歷史，落在表里的是真實數(shù)據(jù)了。這就導(dǎo)致了線上、線下的入?yún)⒉灰恢隆?/p>
服務(wù)端同學為此建設(shè)了堅實的流量回放能力。平臺不同的業(yè)務(wù)流程，各環(huán)節(jié)的預(yù)測是不同的。以相對復(fù)雜的現(xiàn)貨流程為例，需要預(yù)測商家發(fā)貨、頭程運輸、庫內(nèi)作業(yè)和尾程運輸，理論上每一段都可以用不同的模型來預(yù)測，每一段預(yù)測入?yún)⒍伎赡懿灰粯?。服?wù)端同學設(shè)計的統(tǒng)一流量回放能力保障了在每一段的入?yún)?、出參、調(diào)用模型版本都記錄在案，做到了任意訂單的可追溯。
復(fù)雜的業(yè)務(wù)流程
統(tǒng)一的流量回放
對應(yīng)到模型訓(xùn)練、仿真環(huán)節(jié)， 我們用真實數(shù)據(jù)做訓(xùn)練， 用線上實際入?yún)矸抡?，這樣最大化地保障模型精度，減少了仿真與上線之間的精度損失。
流程保障，取得模型穩(wěn)定性和準確性之間的平衡，最大化業(yè)務(wù)效果
網(wǎng)絡(luò)履約能力會受到多種事件變化因素的影響，根據(jù)事件因素的特點，大致可分為臨時性變化和長久性變化。
- 臨時性變化：比如臺風惡劣天氣、兩會管控、春節(jié)打烊等事件觸發(fā)，事件開始時履約能力急劇變差，事件結(jié)束后馬上又恢復(fù)；
- 長久性變化：比如承運商班次調(diào)整、倉網(wǎng)變化等，其影響時間較長。
臨時性變化不應(yīng)該放入模型訓(xùn)練， 長久性變化應(yīng)該讓模型去學習，并且越早學習到表達就越準。
如何判斷是臨時性還是長久性變化呢？如果不加約束，盡量用最新數(shù)據(jù)訓(xùn)練，難以排除臨時性變化影響的樣本，這樣在事件結(jié)束后模型表達會偏保守，如上文的臺風后陪跑，會損失指標的穩(wěn)定性。如果加以約束，用履約已完成的訂單做訓(xùn)練，這樣可以通過履約時長等統(tǒng)計數(shù)據(jù)來判斷是否屬臨時性異常，可以減少異常樣本的干擾，但也會損失一定準確性。
與產(chǎn)品同學反復(fù)溝通了方案后，最終站在業(yè)務(wù)效果最大化的角度，我們選擇在穩(wěn)定性和準確性之間取其平衡，每周會定時啟動較新樣本仿真，選其中較優(yōu)模型進入陪跑，待部分簽收后決策是否選擇模型上線，詳細流程如下圖。
圖片
模型自動發(fā)布，確保模型落地效果
模型的發(fā)布涉及到一系列流程，流程中所做的配置和操作，對模型效果會有較大的影響。因此，模型的發(fā)布也是非常重要的環(huán)節(jié)。但模型發(fā)布，一般需要等一周后，有部分訂單簽收，才能看到實際的結(jié)果，存在滯后性。在早期曾發(fā)生過多起，因為模型發(fā)布流程問題，導(dǎo)致模型效果打了折扣，比如新特征模型取錯了線上Redis特征名、Ark開關(guān)配置錯誤、模型更新后部分服務(wù)器sdk未升級等等?；诖?，我們建立了模型自動發(fā)布流程，將線上邏輯不符合預(yù)期的情況提前反映出來。
- 梳理了模型發(fā)布流程圖，將發(fā)布流程標準化，如下左圖所示；
- 取消發(fā)布流程中的手動操作，改為系統(tǒng)自動操作，同時沉淀了SLA；
- 接入了模型上線審批流：陪跑回收到符合預(yù)期的效果后，需要由業(yè)務(wù)方?jīng)Q策選用哪個模型上線，模型的上線，將直接決定業(yè)務(wù)運營的效果和管理成本，為此我們也接入了審批流，如下右圖所示；
- 建立離線陪跑相同模型的方法來驗證線上、仿真預(yù)測的一致性，離線陪跑的訂單及入?yún)⑼ㄟ^流量回放獲得，兩邊對比預(yù)測結(jié)果是否一致；
- 建立舊模型反向陪跑：尤其模型有新特征或新邏輯的情況下，未來的網(wǎng)絡(luò)履約能力可能存在較大的波動，如果舊模型直接下線，網(wǎng)絡(luò)履約能力波動帶來的影響將很難，需要有舊模型的陪跑，才能確定是線上邏輯問題，還是網(wǎng)絡(luò)履約能力變化問題。
發(fā)布流程
上線審批流
良好的自動化離不開合理的自動化流程設(shè)計，Automation作為MLOps的重要模塊，幫助我們較好的解決了手動操作帶來的風險和人工成本，在流量回放的一致性驗證、模型仿真陪跑流程、發(fā)布自動化三方面做的自動化為我們?nèi)粘５统杀具\營帶來了很大幫助。
模型落地標準化、產(chǎn)品化、自動化，降低業(yè)務(wù)落地門檻
在模型線上表達比較穩(wěn)定之后，公司希望在不同的業(yè)務(wù)場景嘗試模型的應(yīng)用，比如經(jīng)濟型快遞獨立模型、周末獨立模型、支付和應(yīng)履約模型等，不同的場景應(yīng)用目的雖然不同，但其底層基礎(chǔ)流程大致相同，為了能夠讓業(yè)務(wù)根據(jù)不同的管理訴求，能夠靈活的調(diào)整模型訓(xùn)練集，我們跟時效工程、算法工程團隊合作，借助AI計算平臺的調(diào)度能力，結(jié)合自研的faas，將模型訓(xùn)練、仿真做成了完全可自助的產(chǎn)品。其大致流程如下：
在產(chǎn)品前端，用戶可以按需選擇不同的樣本，選擇靈活性非常大，可以按不同周期、承運商、類目、訂單類型、線路等等各種維度來圈選需要訓(xùn)練或仿真的訂單。服務(wù)端在接受訓(xùn)練、仿真請求后，按需生成訓(xùn)練集和預(yù)測集，再調(diào)度AI計算平臺執(zhí)行相應(yīng)任務(wù)。這里我們通過 faas解耦與仿真邏輯解析層隔離的方式支撐了產(chǎn)品靈活性和底層架構(gòu)穩(wěn)定性。
faas解耦，提升算法維護模型的靈活性
如下左圖，沒有faas，調(diào)用KubeAI的邏輯非常深地耦合在服務(wù)端的代碼里，算法同學想要調(diào)整這部分配置，就需要服務(wù)端同學改代碼去發(fā)版；
如下右圖，有了faas，服務(wù)端只需要關(guān)心調(diào)用了哪個function，關(guān)鍵的入?yún)⑹鞘裁淳涂梢粤耍湔{(diào)用如右圖。 鏡像版本、啟動命令、模板ID的更新就解耦給到算法同學去維護了，增加了算法迭代靈活性的同時，保障了服務(wù)端接口的穩(wěn)定性。
服務(wù)端耦合過多調(diào)用AI計算平臺代碼
服務(wù)端只關(guān)心調(diào)用function和入?yún)?/span>
仿真邏輯解析層隔離，計算任務(wù)原子化，適配多種業(yè)務(wù)場景
業(yè)務(wù)的需求往往是復(fù)雜的，靈活的，多變的，比如：
- 增加多種業(yè)務(wù)類型如品牌直發(fā)、現(xiàn)貨；
- 批量訓(xùn)練、預(yù)測多個模型擇優(yōu)，不同模型對應(yīng)不同特征、超參等，最后將較優(yōu)模型注冊到仿真產(chǎn)品；
- 支持多種預(yù)測目標，如支付-簽收、支付-到倉、發(fā)貨-簽收等不同模型。
面對業(yè)務(wù)多變的需求，我們需要讓計算任務(wù)具有原子性，穩(wěn)定的特點。我們選擇在AI計算平臺實際執(zhí)行的任務(wù)中增加解析層和后處理層的方法，與用戶的需求交互，按需生成不同的配置、啟動命令來調(diào)用pipline，中間執(zhí)行的pipline是一直穩(wěn)定的。
圖片
如此，我們將工程與算法的交互做了良好的解耦，讓工程與算法各司其職；讓底層穩(wěn)定下來，解析層靈動起來。時效仿真產(chǎn)品就變得更敏捷，整個模型的訓(xùn)練、預(yù)測可以更高效、自動地運轉(zhuǎn)。
目前，模型的仿真已經(jīng)基本不需要算法同學介入，極大的解放了研發(fā)團隊在模型探索業(yè)務(wù)應(yīng)用和模型更新上的精力，減少了研發(fā)在持續(xù)維護模型上的成本。
業(yè)務(wù)應(yīng)用效果
綜上所述，在保證模型效果的同時，將模型的應(yīng)用門檻降低，使得產(chǎn)品業(yè)務(wù)等非研發(fā)同學也能參與進模型的應(yīng)用上來，借助其業(yè)務(wù)的敏感性和專業(yè)性，可以在更多的業(yè)務(wù)場景中創(chuàng)造進一步價值。
本期我們將為大家介紹，業(yè)務(wù)在模型使用中，兩個比較典型的創(chuàng)新方法，一個是時效AB方法，帶來了較好的貨幣化收益，一個是新特征挖掘，顯著提升了模型準確率兩個典型案例。
時效AB，貨幣化收益明顯
得物非常重視消費者的購物體驗，在時效上，也制定了賠付策略，為用戶提供訂單時效保障，超時則提供賠付補償。這套策略提升了客戶訂單的轉(zhuǎn)化，留存，但也對時效的保障提出了更高的要求，不僅要考慮時效的準確性，還需要兼顧賠付成本和GMV收益。如果時效表達過于激進，可能會促轉(zhuǎn)化提高GMV，但同時增大了訂單超時的風險，造成晚到必賠及客訴成本， 表達保守則反之。
那收益和成本之間的平衡點在哪兒呢？
產(chǎn)品同學由此牽頭做了AB實驗，通過仿真產(chǎn)品，我們得到多組履約率和準確率不同的組合，在不同用戶AB過程中找到了收益和成本之間的平衡點。
圖片
新特征挖掘，顯著提升模型準確性
業(yè)務(wù)產(chǎn)品在運營管理中發(fā)現(xiàn)，相對日常，周末、節(jié)假日期間，部分商家、承運商的網(wǎng)絡(luò)履約能力會有一定波動，模型預(yù)測準確度也會受到影響。
分析后發(fā)現(xiàn)，網(wǎng)絡(luò)履約能力的波動可以由一系列統(tǒng)計指標來刻畫，比如昨日支付單量、昨日未攬收單量比例等。那這些指標能否讓模型感知到呢？
通過仿真產(chǎn)品測算得到這些指標作為新特征，模型可以顯著提升準確率，上線后也能保持相應(yīng)優(yōu)勢，使得平臺在周末、節(jié)假日期間也能提供高質(zhì)量履約服務(wù)。
通過產(chǎn)品化降低的使用門檻，我們也期望未來會有更多有意思的場景與產(chǎn)品業(yè)務(wù)同學共同挖掘，創(chuàng)造更大的價值！
五、延展scale的思考
經(jīng)過近1年的建設(shè)，供應(yīng)鏈算法團隊和時效團隊配合緊密做了完善的工程建設(shè)。但從長遠來看，供應(yīng)鏈未來會有越來越多的場景要復(fù)用同樣的能力，從短期來看，當前合作模式也存在一定局限。
- 算法模型發(fā)布靈活性要求更高，預(yù)處理、后處理變動靈活，而業(yè)務(wù)代碼又期望穩(wěn)定。
- 模型運營上對算法可見度較低，模型版本記錄、當前上線陪跑了哪些模型對算法無法有效感知。
- 模型推理耦合在業(yè)務(wù)應(yīng)用里，對機器成本提高了要求。業(yè)務(wù)邏輯對機器配置要求低，但因為算法模型對機器要求配置高，所以拉高了業(yè)務(wù)域的機器成本，不便運維降本。
因此在最近供應(yīng)鏈算法工程小分隊成立了，并且與AI計算平臺團隊強強聯(lián)合，希望把業(yè)務(wù)域邏輯和算法邏輯解耦開來，讓算法同學能更好地干預(yù)、運維模型，讓更多場景可以低成本地接入MLOps標準。
圖片
如上圖所示，讓AI負責底層調(diào)度，供應(yīng)鏈工程負責抽象公共能力，供應(yīng)鏈算法和業(yè)務(wù)開發(fā)團隊靈活地在各種場景落地。希望在不久的將來，我們有更多更好的故事可以與諸位分享，也歡迎各位業(yè)界大佬能加入我們團隊！
