【51CTO.com快譯】機(jī)器學(xué)習(xí)模型是為定義的業(yè)務(wù)目標(biāo)設(shè)計(jì)的。機(jī)器學(xué)習(xí)模型產(chǎn)品化是指在相關(guān)數(shù)據(jù)集上托管、擴(kuò)展和運(yùn)行機(jī)器學(xué)習(xí)模型。生產(chǎn)級機(jī)器學(xué)習(xí)模型還需要有彈性和靈活性，以適應(yīng)將來的變化和反饋。Forrester最近的一項(xiàng)研究表明，改善客戶體驗(yàn)、提升盈利能力和增加收入是組織使用機(jī)器學(xué)習(xí)項(xiàng)目計(jì)劃實(shí)現(xiàn)的幾個(gè)主要目標(biāo)。

雖然機(jī)器學(xué)習(xí)模型已獲得全世界的贊譽(yù)，但很難轉(zhuǎn)化為積極的業(yè)務(wù)效益。處理活躍數(shù)據(jù)并將機(jī)器學(xué)習(xí)模型部署到生產(chǎn)環(huán)境時(shí)，工程、數(shù)據(jù)和業(yè)務(wù)方面的一大堆問題成為瓶頸。據(jù)調(diào)查，43%的人稱在機(jī)器學(xué)習(xí)模型生成和集成方面遇到障礙。確保機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)企業(yè)預(yù)期的最終目標(biāo)很重要，由于可靠而廉價(jià)的開源基礎(chǔ)設(shè)施，機(jī)器學(xué)習(xí)模型在全球組織的采用正以前所未有的速度增長。Gartner預(yù)測，全球40%的領(lǐng)先組織計(jì)劃在2020年底之前實(shí)際部署AI解決方案。為了解機(jī)器學(xué)習(xí)模型產(chǎn)品化方面的常見陷阱，不妨了解組織面臨的五大挑戰(zhàn)。

1. 數(shù)據(jù)的復(fù)雜性

需要約100萬條相關(guān)記錄才能在數(shù)據(jù)上訓(xùn)練機(jī)器學(xué)習(xí)模型，這不能是隨隨便便的數(shù)據(jù)。數(shù)據(jù)可行性和可預(yù)測性方面的風(fēng)險(xiǎn)浮出水面。評估我們是否有相關(guān)的數(shù)據(jù)集、是否足夠快地獲取這些數(shù)據(jù)集以便進(jìn)行預(yù)測并非易事。獲取上下文數(shù)據(jù)也是個(gè)問題。在百勝餐飲集團(tuán)(Yum Brands)的一個(gè)機(jī)器學(xué)習(xí)擴(kuò)展項(xiàng)目中，該公司的一些產(chǎn)品(如肯德基，奉行新的特許權(quán)加盟計(jì)劃)沒有足夠的客戶數(shù)據(jù)。光有數(shù)據(jù)還不夠。大多數(shù)機(jī)器學(xué)習(xí)團(tuán)隊(duì)從非數(shù)據(jù)湖方法入手，在傳統(tǒng)數(shù)據(jù)倉庫上訓(xùn)練機(jī)器學(xué)習(xí)模型。如果是傳統(tǒng)的數(shù)據(jù)系統(tǒng)，數(shù)據(jù)科學(xué)家常常將80%的時(shí)間用于清理和管理數(shù)據(jù)，而不是訓(xùn)練模型。還需要強(qiáng)大的治理系統(tǒng)和數(shù)據(jù)分類，以便數(shù)據(jù)透明地共享并分門別類，從而再次利用。由于數(shù)據(jù)復(fù)雜性，維護(hù)和運(yùn)行機(jī)器學(xué)習(xí)模型的成本相對回報(bào)會隨著時(shí)間的推移而降低。

2. 設(shè)計(jì)和部署

一旦數(shù)據(jù)可用，就必須根據(jù)使用場景和未來彈性敲定基礎(chǔ)設(shè)施和技術(shù)堆棧。機(jī)器學(xué)習(xí)系統(tǒng)可能很難設(shè)計(jì)。機(jī)器學(xué)習(xí)領(lǐng)域有眾多技術(shù)可用。模型要取得成功，關(guān)鍵在于選擇每種技術(shù)堆棧時(shí)將不同領(lǐng)域的技術(shù)堆棧分別標(biāo)準(zhǔn)化，以便不會加大產(chǎn)品化的難度。比如說，數(shù)據(jù)科學(xué)家可能使用Pandas之類的工具，用Python編代碼。但是這些未必很好地適用于Spark或Pyspark更合適的生產(chǎn)環(huán)境。設(shè)計(jì)不當(dāng)?shù)募夹g(shù)解決方案很費(fèi)錢。然后，生命周期挑戰(zhàn)以及管理和穩(wěn)定生產(chǎn)環(huán)境中的多個(gè)模型也變得難以處理。

3. 整合風(fēng)險(xiǎn)

機(jī)器學(xué)習(xí)模型要取得成功，與不同的數(shù)據(jù)集和建模技術(shù)很好地集成在一起的可擴(kuò)展生產(chǎn)環(huán)境至關(guān)重要。整合不同的團(tuán)隊(duì)和運(yùn)營系統(tǒng)總是具有挑戰(zhàn)性。復(fù)雜的代碼庫必須融入到準(zhǔn)備部署到生產(chǎn)環(huán)境的結(jié)構(gòu)清晰的系統(tǒng)中。如果沒有將模型部署到生產(chǎn)環(huán)境的標(biāo)準(zhǔn)化流程，團(tuán)隊(duì)會在任何階段停滯不前。不同的團(tuán)隊(duì)需要將工作流程自動化集成到工作流程系統(tǒng)中，并進(jìn)行測試。如果未在合適的階段測試模型，最后就要修復(fù)整個(gè)生態(tài)系統(tǒng)。技術(shù)堆棧必須實(shí)現(xiàn)標(biāo)準(zhǔn)化，否則集成可能是場噩夢。集成還是確保機(jī)器學(xué)習(xí)實(shí)驗(yàn)框架不是一次性奇跡的關(guān)鍵時(shí)刻。否則如果業(yè)務(wù)環(huán)境發(fā)生變化或遭遇災(zāi)難性事件，模型無法提供價(jià)值。

4. 測試和模型支持

測試機(jī)器學(xué)習(xí)模型很困難，但與生產(chǎn)過程的其他步驟一樣重要，甚至更重要。了解結(jié)果、運(yùn)行狀況檢查、監(jiān)測模型性能、留意數(shù)據(jù)異常以及重新訓(xùn)練模型一起組成整個(gè)產(chǎn)品化周期。即使在運(yùn)行測試之后，可能仍需要適當(dāng)?shù)臋C(jī)器學(xué)習(xí)生命周期管理工具來查找測試中未出現(xiàn)的問題。

5. 分配角色和積極溝通

數(shù)據(jù)科學(xué)、數(shù)據(jù)工程、DevOps及其他相關(guān)團(tuán)隊(duì)之間保持透明的溝通對于機(jī)器學(xué)習(xí)模型的成功至關(guān)重要。但分配角色、提供詳細(xì)的訪問權(quán)限以及為每個(gè)團(tuán)隊(duì)密切關(guān)注很復(fù)雜。緊密的協(xié)作和溝通對于在早期階段識別不同方面的風(fēng)險(xiǎn)至關(guān)重要。讓數(shù)據(jù)科學(xué)家深入?yún)⑴c也事關(guān)機(jī)器學(xué)習(xí)模型的未來。

除了上述挑戰(zhàn)外，還要留意不可預(yù)見的事件，比如新冠疫情?？蛻舻馁徺I行為突然變化時(shí)，過去的解決方案不再適用，缺少充分訓(xùn)練模型的新數(shù)據(jù)就成了障礙?？傊?，擴(kuò)展機(jī)器學(xué)習(xí)模型并不容易。

原文標(biāo)題：5 Challenges to Scaling Machine Learning Models，作者：Sigmoid Analyitcs

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】