抵御另一個(gè)人工智能冬天的最后一道防線(xiàn)
很多人都擔(dān)心又一波 AI 寒冬即將到來(lái)。雖然 ML 解決方案并不缺乏,但得到企業(yè)實(shí)際部署的不過(guò)十分之一。為此,我們有必要通過(guò)五種戰(zhàn)術(shù)顯著降低部署成本。另外,也希望這篇文章能幫助企業(yè) ML 高管、經(jīng)理以及從業(yè)人員深入思考并快速采取行動(dòng)。這將是我們抵御“AI 寒冬”的一道屏障。
1. 一個(gè)故事
在了解到我在此前文章中提出的“數(shù)據(jù)科學(xué)很無(wú)聊”結(jié)論之后,來(lái)自加拿大某銀行的高級(jí)經(jīng)理 Michelle 提出了一項(xiàng)積極的 ML 議程,并跟我進(jìn)行了熱烈的討論。
Michelle 負(fù)責(zé)監(jiān)督該銀行的 ML 概念驗(yàn)證(PoC)產(chǎn)品組合。在每個(gè)概念驗(yàn)證項(xiàng)目中,她都需要確定某種 ML 技術(shù)在 4 到 6 個(gè)月周期之內(nèi)能否給企業(yè)帶來(lái)價(jià)值。她希望讓目標(biāo)更進(jìn)一步——不只是完成更多概念驗(yàn)證,而是真正部署更多 ML 項(xiàng)目。順帶一提,她目前的部署率僅為 13% 左右。
這就引出了兩個(gè)重要問(wèn)題: 我們?yōu)槭裁礋o(wú)法部署更多 ML 解決方案?又一波 AI 寒冬是否即將來(lái)臨?
我先簡(jiǎn)要回答一下:是的,如果大家還沒(méi)提升 ML 解決方案的部署率,那么又一輪 AI 寒冬確實(shí)來(lái)了。你和你的數(shù)據(jù)科學(xué)團(tuán)隊(duì)將成為對(duì)抗這波寒流的最后一道防線(xiàn)。如何對(duì)抗?解決五大核心挑戰(zhàn)以繼續(xù)保持發(fā)展勢(shì)頭。否則,你和你的團(tuán)隊(duì)將失去這份“二十一世紀(jì)最性感的工作”(不是我說(shuō)的,但網(wǎng)上都這么傳)。
2. 宏觀(guān)圖景:AI 的關(guān)注與供應(yīng)情況
自 2012 年以來(lái),我們經(jīng)歷了一波堪稱(chēng)形勢(shì)大好的“AI 之春”,真可謂是智能春風(fēng)吹滿(mǎn)地。隨著技術(shù)的突破、深度學(xué)習(xí)的一步步商業(yè)化以及計(jì)算資源成本的持續(xù)降低,再加上谷歌與英偉達(dá)等巨頭廠(chǎng)商的推動(dòng),人們對(duì) AI 的關(guān)注一路水漲船高。
但必須承認(rèn),從上世紀(jì)六十年代開(kāi)始,幾乎每十年就會(huì)興起這么一波 AI 之春,但隨后總會(huì)出現(xiàn)嚴(yán)重的 AI 寒冬,具體表現(xiàn)包括:1)懷疑態(tài)度占據(jù)主流;2)資金投入大幅削減。
現(xiàn)在人們的懷疑態(tài)度又占據(jù)主流了嗎?好像是的(或者至少出現(xiàn)了端倪)。當(dāng)今市場(chǎng)上出現(xiàn)了各種各樣的觀(guān)點(diǎn),我們可以通過(guò)谷歌搜索趨勢(shì)進(jìn)行一番總結(jié)。簡(jiǎn)單來(lái)講,目前的趨勢(shì)是:雖然關(guān)注度仍然很高,但似乎正在趨于平緩。
2019 年 10 月 18 日谷歌趨勢(shì)圖
資金投入大幅削減了嗎?
暫時(shí)還沒(méi)有。目前的資金流主要分為兩種:風(fēng)險(xiǎn)投資與企業(yè)資金。根據(jù)畢馬威發(fā)布的一份報(bào)告,如果將 2018 年第一季度與 2019 年第一季度的投資資本與歷史交易進(jìn)行比較,就會(huì)發(fā)現(xiàn)整體風(fēng)險(xiǎn)投資市場(chǎng)都有所降溫。但風(fēng)投資金的絕對(duì)數(shù)額仍然可觀(guān),而且 AI 繼續(xù)在其中充分最熱門(mén)的領(lǐng)域(直到風(fēng)投們找到更好的機(jī)會(huì)為止)。從供應(yīng)角度看,AI 初創(chuàng)企業(yè)與人才可能將繼續(xù)保持增長(zhǎng)勢(shì)頭。
數(shù)據(jù)整理自 2019 年 10 月 28 日
另一方面,企業(yè)定義著 AI 的真正需求與未來(lái)命運(yùn),這是因?yàn)椋?)企業(yè)才是 AI 初創(chuàng)公司的目標(biāo)客戶(hù);2)企業(yè)雇用最多 ML 技術(shù)人才。 遺憾的是,企業(yè)的內(nèi)部 AI 項(xiàng)目投資數(shù)額大多不對(duì)外公開(kāi)。
因此,我們只能通過(guò)以下基本原理進(jìn)行推斷:企業(yè)是否正著手部署 AI 解決方案以真正實(shí)現(xiàn)(而不只是口頭支持)這一新興技術(shù)承諾的價(jià)值?如果答案是肯定的,那么他們一定會(huì)保持或者增加必要的資金投入。
3. 微觀(guān)圖景:AI 的需求情況
下面讓我們著眼具體層面,看看近年來(lái)企業(yè)到底如何使用以及部署 AI 功能。
1)N= 來(lái)自北美、歐洲以及亞洲的 114000 家機(jī)構(gòu);2)國(guó)際分析機(jī)構(gòu);3)《福布斯》,2019 年
注意事項(xiàng): a) 此次調(diào)查并不能代表整體情況。某些企業(yè)肯定會(huì)部署超過(guò) 10% 的 AI 項(xiàng)目;我就見(jiàn)過(guò)部署比例在 25% 到 40% 之間的公司,但其規(guī)模一般比較小。b)我們不清楚 10% 的部署是否算高。由于公開(kāi)數(shù)據(jù)比較有限,我們無(wú)法比較 ML 與非 ML 概念驗(yàn)證項(xiàng)目之間的部署率差異,也無(wú)從判斷 10% 的部署率能否帶來(lái)足夠抵消全部概念驗(yàn)證項(xiàng)目總成本的投資收益;但普遍看法是,“我們還可以做得更好。”c)各項(xiàng)調(diào)查涵蓋不同的企業(yè),但主要面向北美地區(qū)的大型組織機(jī)構(gòu)。
我的主要觀(guān)點(diǎn)是: 如果企業(yè)沒(méi)有部署更多 ML 解決方案,則代表內(nèi)部對(duì) AI 技術(shù)的需求將有所減少;ML 人才將失去耐心并選擇離開(kāi);風(fēng)險(xiǎn)投資方將把資金轉(zhuǎn)移到其他更有希望的項(xiàng)目當(dāng)中;高管們會(huì)失去信心并削減 AI 項(xiàng)目的資金預(yù)算。最終,歷史將重演:另一波 AI 寒冬必然到來(lái),我的后背都有點(diǎn)發(fā)涼了。
4. AI 寒冬極簡(jiǎn)史與目前的核心問(wèn)題
引發(fā) AI 寒冬的原因有很多,可能來(lái)自政治、技術(shù)以及社會(huì)等各個(gè)層面。Libby Kinsey 就曾經(jīng)撰寫(xiě)文章分析目前的具體形勢(shì)。好消息是:以往的很多限制性因素,例如數(shù)據(jù)(要提供質(zhì)量更高的訓(xùn)練數(shù)據(jù),勢(shì)必需要更強(qiáng)大的服務(wù)與工具)、處理能力、商業(yè)準(zhǔn)備程度以及整體數(shù)字化水平等,都得到了顯著改善。壞消息是:我們?nèi)匀幻鎸?duì)著一大無(wú)法回避的障礙(某些舊問(wèn)題仍然存在,只不過(guò)相對(duì)得到了緩解)。
在本次調(diào)查涉及的企業(yè)中,最核心的問(wèn)題在于 AI 部署的經(jīng)濟(jì)性。正如采用其他任何技術(shù)一樣,這也是整個(gè) AI 行業(yè)必須克服的關(guān)鍵性難題。而且只有盡早采取行動(dòng),這些經(jīng)濟(jì)因素才能得到解決。
我的好友 Joan Didion 寫(xiě)道 ,“生活中的改變總是在一瞬間發(fā)生,普普通通的一瞬間。”我們無(wú)法預(yù)測(cè)事情最終將變成什么樣,因此無(wú)論 AI 寒冬是否真的存在,我們都應(yīng)該保持警惕、積極籌備并嚴(yán)陣以待。
因此,讓我們深入思考當(dāng)前企業(yè)為什么只部署了大約十分之一的 ML 概論驗(yàn)證項(xiàng)目;我們又該為此做點(diǎn)什么。
5. 聊點(diǎn)具體的,再談?wù)剳?zhàn)術(shù)
簡(jiǎn)而言之,ML 解決方案部署起來(lái)太太太貴了。我們可以把部署工作拆分成以下五個(gè)子問(wèn)題,理解了這些核心問(wèn)題之后,我們才能逐一將其攻破。
1) 流程: 從概念驗(yàn)證到部署的途徑尚不明確。大多數(shù)企業(yè)在組織內(nèi)部設(shè)定概念驗(yàn)證思路,確定優(yōu)先級(jí)順序并為部分前景光明的創(chuàng)意提供資金。在試點(diǎn)項(xiàng)目訓(xùn)練完成后,大家會(huì)開(kāi)幾瓶香檳慶祝一下,然后就沒(méi)有然后了。很多團(tuán)隊(duì)都不清楚接下來(lái)該干啥,例如從哪里申請(qǐng)資金,以及跟誰(shuí)一道將概念驗(yàn)證擴(kuò)展為生產(chǎn)級(jí)解決方案。實(shí)際上,這本身就是個(gè)問(wèn)題,詳見(jiàn)第 3 點(diǎn)。
核心問(wèn)題: 如何從概念驗(yàn)證走向生產(chǎn)系統(tǒng)?
解決方案: 先劃撥一筆專(zhuān)款用于預(yù)部署。設(shè)定明確的部署標(biāo)準(zhǔn)來(lái)分配預(yù)算資金(例如與舊有模型相比,新模型的準(zhǔn)確性至少要提高 2%)。另外,設(shè)定確切流程注入后續(xù)資金。接下來(lái),制定整合流程,并盡早與 IT 及運(yùn)營(yíng)專(zhuān)家開(kāi)展磋商。如果要對(duì)概念驗(yàn)證項(xiàng)目進(jìn)行最終部署,還必須配備一套資源配置規(guī)劃方案。
2) 激勵(lì): 概念驗(yàn)證項(xiàng)目的 KPI 設(shè)置不當(dāng)。ML 概念驗(yàn)證項(xiàng)目通常隸屬于企業(yè)中的大規(guī)模創(chuàng)新舉措。但多數(shù)企業(yè)往往在 ML 項(xiàng)目中承繼了整體創(chuàng)新的基本目標(biāo),即重在學(xué)習(xí)、而非實(shí)際部署。這相當(dāng)于設(shè)置了錯(cuò)誤的動(dòng)機(jī)與期望。因此,數(shù)據(jù)科學(xué)團(tuán)隊(duì)通常專(zhuān)注于嘗試前沿技術(shù),而未能在創(chuàng)新與工程可行性之間取得平衡。換言之,他們最終拿出的是可演示的解決方案,而非可集成的實(shí)際成果。他們分享的是關(guān)于技術(shù)本身的知識(shí),而非將技術(shù)納入核心業(yè)務(wù)體系的方法。激勵(lì)驅(qū)動(dòng)行為,行為決定結(jié)果,請(qǐng)務(wù)必牢記這一點(diǎn)。
核心問(wèn)題: 如何幫助團(tuán)隊(duì)構(gòu)建更多可部署的解決方案?又該如何培養(yǎng)擁有必要能力的團(tuán)隊(duì)?
解決方案: 把 KPI 的關(guān)注重點(diǎn)從“學(xué)習(xí)”轉(zhuǎn)化為“可部署創(chuàng)新成果”。努力在創(chuàng)新性與可部署性之間取得平衡。另外,要強(qiáng)調(diào)完備的工程設(shè)計(jì)(具備可行性,在證明價(jià)值之前不要過(guò)度設(shè)計(jì))。最后,對(duì)交付成果進(jìn)行標(biāo)準(zhǔn)化,具體涵蓋可供演示的可部署應(yīng)用程序、整合計(jì)劃以及關(guān)于學(xué)習(xí)、利弊以及潛在風(fēng)險(xiǎn)的業(yè)務(wù)案例。
3) 團(tuán)隊(duì): 很多概念驗(yàn)證團(tuán)隊(duì)并不具備合適的技能儲(chǔ)備。不少數(shù)據(jù)科學(xué)團(tuán)隊(duì)只追求構(gòu)建模型,而不愿意接手工程或者運(yùn)營(yíng)方面的工作。正如第 2 點(diǎn)所述,激勵(lì)與總體期望在這方面起到?jīng)Q定性作用。如果沒(méi)有采用正確的工程實(shí)踐,團(tuán)隊(duì)只會(huì)在嘗試部署時(shí)面臨重重障礙。我們可以想象這樣的場(chǎng)景:在投入 4 個(gè)月時(shí)間構(gòu)建一套出色的概念驗(yàn)證方案后,高管們也都表示贊許。但在嘗試部署后,我們突然意識(shí)到至少還需要一年半的時(shí)間進(jìn)行重新設(shè)計(jì)、組建正確團(tuán)隊(duì)并推動(dòng)工程盡職調(diào)查,才有可能讓項(xiàng)目真正落地——這無(wú)疑會(huì)嚴(yán)重影響到投資回報(bào)。
核心問(wèn)題: 如何讓團(tuán)隊(duì)構(gòu)建起可部署的解決方案?又該如何培養(yǎng)擁有必要能力的團(tuán)隊(duì)?
解決方案: 聘請(qǐng)對(duì)工程技術(shù)擁有豐富經(jīng)驗(yàn)以及工作熱情的數(shù)據(jù)科學(xué)家。如果沒(méi)有合適的人選或者薪酬要求過(guò)高,不妨邀請(qǐng)內(nèi)部工程及運(yùn)營(yíng)團(tuán)隊(duì)的專(zhuān)家組建混合團(tuán)隊(duì)。如果這些方式都不靈……也可以在 LinkedIn 上碰碰運(yùn)氣 。
4) 技術(shù): 現(xiàn)有基礎(chǔ)設(shè)施不足以支撐 ML 項(xiàng)目。開(kāi)發(fā)與生產(chǎn)環(huán)境之間存在著巨大的數(shù)據(jù)與工具差異。結(jié)果就是,在我們將解決方案從開(kāi)發(fā)環(huán)境遷移至生產(chǎn)環(huán)境時(shí),往往需要進(jìn)行一系列額外的重構(gòu)與測(cè)試。從數(shù)據(jù)角度來(lái)看,大多數(shù)生產(chǎn)數(shù)據(jù)無(wú)法在開(kāi)發(fā)模型中使用。在使用生產(chǎn)數(shù)據(jù)時(shí),機(jī)器學(xué)習(xí)模型的性能可能發(fā)生顯著變化。而從工具的角度出發(fā),開(kāi)發(fā)模型中包含大量用于創(chuàng)新目的的新型工具,但生產(chǎn)環(huán)境無(wú)疑更傾向使用穩(wěn)定性高且具備可擴(kuò)展性的舊有工具(并不是壞事)。
核心問(wèn)題: 如何選擇既能實(shí)現(xiàn)創(chuàng)新、又可穩(wěn)定運(yùn)行的最佳技術(shù)棧?如何進(jìn)行整合與簡(jiǎn)化?
解決方案: 創(chuàng)建一套沙箱環(huán)境,用于托管經(jīng)過(guò)清潔且與生產(chǎn)環(huán)境高度統(tǒng)一的數(shù)據(jù)。設(shè)定一套實(shí)施準(zhǔn)則,幫助團(tuán)隊(duì)在 ML 工作流中選擇正確的工具(例如,如果生產(chǎn)環(huán)境不支持 Python Pandas,請(qǐng)始終使用良好的舊 SQL 實(shí)施開(kāi)發(fā)環(huán)境中的數(shù)據(jù)流水線(xiàn)傳輸;在不同關(guān)鍵組件之間切換語(yǔ)言相當(dāng)麻煩,請(qǐng)務(wù)必謹(jǐn)慎)。另外,即使某些基礎(chǔ)設(shè)施與安全團(tuán)隊(duì)表示反對(duì),也請(qǐng)?jiān)试S并鼓勵(lì)團(tuán)隊(duì)使用 Docker 架構(gòu)實(shí)現(xiàn)高層應(yīng)用程序堆棧的靈活部署。最后,結(jié)合 ML DevOps 實(shí)踐。
5) 政策: 變革往往會(huì)遭遇激烈的反對(duì)。相信很多朋友都聽(tīng)說(shuō)過(guò)關(guān)于變革以及企業(yè)文化轉(zhuǎn)變的討論,但我在這里仍然要再?gòu)?qiáng)調(diào)一下。與任何新思維、新工具或者新流程的引入一樣,懷疑、不熟悉或者誤解等問(wèn)題的存在,總會(huì)帶來(lái)一定程度的不確定性。結(jié)果就是,團(tuán)隊(duì)將更多時(shí)間耗費(fèi)在內(nèi)部爭(zhēng)論身上,并最終失去了概念驗(yàn)證項(xiàng)目的最佳落地時(shí)機(jī)。
核心問(wèn)題: 如何獲得利益相關(guān)方的支持?
解決方案: 統(tǒng)一的價(jià)值觀(guān)與利益訴求。建立起擁有正確且清晰價(jià)值主張的用例。盡早引導(dǎo)上、下游流程參與進(jìn)來(lái),確保高管及運(yùn)營(yíng)層面的利益相關(guān)方了解項(xiàng)目、參與項(xiàng)目。與他們共同設(shè)計(jì)解決方案,通過(guò)第 2 點(diǎn)中提到的流程收集專(zhuān)業(yè)意見(jiàn),并盡早獲得支持。另外,記得分階段推進(jìn)項(xiàng)目進(jìn)度。最后,也記得找位在企業(yè)內(nèi)混得游刃有余的老大哥幫忙協(xié)調(diào)各方意見(jiàn),這同樣非常重要。
總 結(jié)
如果我們不部署更多 ML 解決方案,人們將會(huì)逐漸喪失信心,企業(yè)則把注意力轉(zhuǎn)移到更有前途的機(jī)會(huì)身上,以往的 AI 寒冬終將再次上演。但我堅(jiān)信,阻礙 ML 部署的很多問(wèn)題完全可以快速解決,其中有些屬于 ML 技術(shù)面臨的特殊問(wèn)題,也有些源自企業(yè)內(nèi)的固有限制。
但歷史就在我們手中,我們的努力將決定下一波 AI 寒冬是否到來(lái)!各位 ML 高管、經(jīng)理以及從業(yè)者,我們是對(duì)抗 AI 寒冬的最后一道防線(xiàn),加油!