當(dāng)今，機(jī)器學(xué)習(xí)模型已經(jīng)成為商業(yè)決策的主要驅(qū)動(dòng)因素，和其他商業(yè)策略一樣，這些機(jī)器學(xué)習(xí)模型需要隨著時(shí)間的推移而進(jìn)行修改，其背后的技術(shù)原因是“模型漂移”。雖然大多數(shù)課程、文章和帖子都描述了機(jī)器學(xué)習(xí)(ML)生命周期(從收集數(shù)據(jù)開始到部署機(jī)器學(xué)習(xí)模型結(jié)束)，但是它們往往忘記了機(jī)器學(xué)習(xí)生命周期中一個(gè)非常重要的特性，即模型漂移。

模型漂移的本質(zhì)意思是指目標(biāo)變量和自變量之間的關(guān)系隨時(shí)間而變化。由于這種漂移，模型會(huì)變得不穩(wěn)定，并且隨著時(shí)間的推移預(yù)測會(huì)不斷出錯(cuò)。

漂移類型

模型漂移可以分為兩大類。

第一種被稱為“概念漂移”。當(dāng)目標(biāo)變量本身的統(tǒng)計(jì)屬性發(fā)生變化時(shí)，就會(huì)發(fā)生這種情況。顯而易見，如果我們試圖預(yù)測的變量的含義發(fā)生了變化，那么模型就不能很好地用于這個(gè)更新的定義。

第二種也是最常見的一種是“數(shù)據(jù)漂移”。當(dāng)預(yù)測變量的統(tǒng)計(jì)屬性發(fā)生變化時(shí)，就會(huì)發(fā)生這種情況。同樣，如果基礎(chǔ)變量發(fā)生了變化，則模型必然會(huì)失敗。發(fā)生這種情況的典型例子是，數(shù)據(jù)中的模式由于季節(jié)性而發(fā)生變化。無論哪種商業(yè)模式在夏天行得通，在冬天可能就行不通。盡管航班需求在節(jié)假日期間激增，但航空公司在淡季很難保持客流量。另一個(gè)例子是當(dāng)個(gè)人偏好發(fā)生變化時(shí)，其購物數(shù)據(jù)也會(huì)產(chǎn)生變化。

如何解決呢?

解決這個(gè)問題的最佳方法是不斷地重新擬合模型。根據(jù)過去的經(jīng)驗(yàn)，可以估計(jì)出模型漂移的開始時(shí)間。在此基礎(chǔ)上，也可以重新開發(fā)機(jī)器學(xué)習(xí)模型，以減輕漂移帶來的風(fēng)險(xiǎn)。

對于數(shù)據(jù)隨時(shí)間變化的情況，數(shù)據(jù)權(quán)重是一個(gè)不錯(cuò)的選擇。例如，根據(jù)最近的交易確定機(jī)器學(xué)習(xí)模型的一些特征，這些特征賦予最近的交易更多的權(quán)重，而給予過去的交易更少的權(quán)重。這不僅確保了機(jī)器學(xué)習(xí)模型的魯棒性，而且還有助于避免與漂移相關(guān)的潛在問題。

應(yīng)對模型漂移的更復(fù)雜的方法是對變化本身進(jìn)行建模。開發(fā)的第一個(gè)模型保持靜態(tài)，并作為基線。根據(jù)最近交易數(shù)據(jù)中行為的變化，可以建立新的機(jī)器學(xué)習(xí)模型來糾正這個(gè)基線模型的預(yù)測。

應(yīng)該多久重新訓(xùn)練一次模型呢?

既然我們已經(jīng)看到了最常見的解決方案涉及到模型的持續(xù)再訓(xùn)練，那么問題就出現(xiàn)了，這需要多久進(jìn)行一次訓(xùn)練呢?對此有多種解決方案，每種解決方案都因情況而異。

雖然等待問題發(fā)生并不是最好的方法，但是當(dāng)涉及到新模型時(shí)，它仍然是唯一的選擇。當(dāng)問題出現(xiàn)時(shí)，可以對出現(xiàn)的問題進(jìn)行調(diào)查，并進(jìn)行修改以防止未來出現(xiàn)此類問題。

當(dāng)模型中涉及的實(shí)體數(shù)據(jù)是季節(jié)性模式時(shí)，應(yīng)根據(jù)季節(jié)對模型進(jìn)行再訓(xùn)練。例如，隨著節(jié)日期間支出的增加，機(jī)構(gòu)需要建立特殊的模型來應(yīng)對這種模式的突然變化。

檢測漂移的最佳方法是持續(xù)監(jiān)測。與模型穩(wěn)定性相關(guān)的指標(biāo)需要在連續(xù)的時(shí)間間隔內(nèi)進(jìn)行監(jiān)視。根據(jù)領(lǐng)域和業(yè)務(wù)的不同，這個(gè)間隔可以是一周、一個(gè)月、一個(gè)季度等。監(jiān)視模式可以是手動(dòng)的，也可以是自動(dòng)的腳本，在觀察到突然的異常時(shí)應(yīng)觸發(fā)警報(bào)和通知。

最后

正如哲學(xué)家赫拉克利特的名言，“變化是唯一不變的”。那些準(zhǔn)備好接受和監(jiān)控這些變化的組織，是注定要成功的。