是什么阻礙人工智能進(jìn)步?還是數(shù)據(jù)的問題
弗雷斯特咨詢公司(Forrester Consulting)代表Capital One進(jìn)行的一項新調(diào)查顯示,缺乏堅實的數(shù)據(jù)基礎(chǔ)和堅實的數(shù)據(jù)工作流正阻礙企業(yè)在機(jī)器學(xué)習(xí)和人工智能方面取得更大進(jìn)展。
據(jù)Capital One近日發(fā)布的新報告《可操作性機(jī)器學(xué)習(xí)實現(xiàn)關(guān)鍵業(yè)務(wù)成果》,盡管企業(yè)在將機(jī)器學(xué)習(xí)(ML)和人工智能(AI)投入生產(chǎn)方面取得了一些成功,但如果數(shù)據(jù)管理問題不成為阻礙,它們將會取得更大進(jìn)展。
該報告部分基于Forrester今年7月對北美150名數(shù)據(jù)管理決策者的調(diào)查,發(fā)現(xiàn)73%的決策者認(rèn)為數(shù)據(jù)流的透明度、可追溯性和可解釋性是阻礙機(jī)器學(xué)習(xí)和AI應(yīng)用操作化的關(guān)鍵問題。調(diào)查還發(fā)現(xiàn),57%的受訪者表示,他們的數(shù)據(jù)科學(xué)家和業(yè)務(wù)者之間的內(nèi)部豎井阻礙了機(jī)器學(xué)習(xí)的部署。
Capital One高級副總裁兼數(shù)據(jù)分析主管David Kang表示:“我們?nèi)匀惶幵谶@樣一個階段,機(jī)器學(xué)習(xí)算法本身并不是阻礙人們獲得成功的障礙。”“關(guān)鍵還是數(shù)據(jù)!”
當(dāng)Capital One委托進(jìn)行這項調(diào)查時,他們認(rèn)為最大的挑戰(zhàn)將集中在機(jī)器學(xué)習(xí)的可操作性上。隨著機(jī)器學(xué)習(xí)和人工智能應(yīng)用的發(fā)展,MLOps(機(jī)器學(xué)習(xí)運營)已經(jīng)成為獨立學(xué)科,也是Capital One正在投資的領(lǐng)域。
Kang說,但當(dāng)這份報告出爐時,數(shù)據(jù)決策者最關(guān)心的還是在建立堅實的數(shù)據(jù)基礎(chǔ)(包括數(shù)據(jù)工程和數(shù)據(jù)基礎(chǔ)設(shè)施)方面缺乏進(jìn)展。
“從某些方面來說,這令人失望。但從其他方面來說,這并不令人驚訝。因為要大規(guī)模利用數(shù)據(jù),就需要持續(xù)關(guān)注思考和重新思考數(shù)據(jù)生態(tài)系統(tǒng)中的每一個能力——如何生產(chǎn)和消費,如何監(jiān)控,如何以不同的方式管理數(shù)據(jù)。數(shù)據(jù)生態(tài)系統(tǒng)的轉(zhuǎn)型旅程仍在進(jìn)行中。這不是一件你只做一次就會忘記的事。它需要持續(xù)關(guān)注?!?/p>
Capital One的調(diào)查與最近其他研究的發(fā)現(xiàn)相似。這些研究發(fā)現(xiàn),數(shù)據(jù)管理的問題減緩了機(jī)器學(xué)習(xí)和人工智能的采用速度和程度。其中包括9月份受Databricks委托發(fā)布的《麻省理工科技評述》(MIT Technology Review)報告,強(qiáng)調(diào)了數(shù)據(jù)管理不當(dāng)對人工智能的危害;以及IDC 8月份受Collibra委托進(jìn)行的一項研究,該研究發(fā)現(xiàn),數(shù)據(jù)編目、傳承、質(zhì)量管理和治理等具有“數(shù)據(jù)智能”特征的公司與市場成功之間存在相關(guān)性。
如果說這些研究有一個共同的主題,那就是,盡管現(xiàn)有的機(jī)器學(xué)習(xí)和人工智能技術(shù)的復(fù)雜性正在迅速增長,但企業(yè)發(fā)現(xiàn),他們還沒有做好一些核心數(shù)據(jù)管理工作,而這些工作是實現(xiàn)這些技術(shù)進(jìn)步所必須的。
企業(yè)可能會發(fā)現(xiàn),ML或AI應(yīng)用對有限的概念驗證(POC)產(chǎn)生了積極的影響,但未能采取必要的步驟,以確保在更廣泛的真實生產(chǎn)中順利推出。
在你想要擴(kuò)大規(guī)模的技術(shù)開始在市場上產(chǎn)生影響之前,可能需要等待一段時間。誘惑總是存在的,這些概念開始看到效果,然后突然就發(fā)現(xiàn)自己在某一個地方有一堆數(shù)據(jù)豎井和一堆其他數(shù)據(jù)工程基礎(chǔ)設(shè)施的挑戰(zhàn)。
數(shù)據(jù)科學(xué)仍然是一門相當(dāng)新的學(xué)科,許多公司都在努力填補(bǔ)職位空缺。Capital One的報告發(fā)現(xiàn),57%的受訪者表示,他們打算利用合作關(guān)系來填補(bǔ)數(shù)據(jù)科學(xué)從業(yè)者之間的空白。Kang表示,缺乏內(nèi)部專業(yè)知識也使得企業(yè)建立核心數(shù)據(jù)基礎(chǔ)設(shè)施變得更加關(guān)鍵,從而使更先進(jìn)的ML和AI用例更容易在此基礎(chǔ)上構(gòu)建,也更容易重復(fù)。
Capital One的調(diào)查也發(fā)現(xiàn)了減緩機(jī)器學(xué)習(xí)和人工智能采用的其他問題。該公司發(fā)現(xiàn),36%的受訪者認(rèn)為“龐大、多樣化、混亂的數(shù)據(jù)集”是主要障礙,38%的受訪者認(rèn)為人工智能風(fēng)險是最大挑戰(zhàn)。38%的人提到了跨組織和外部數(shù)據(jù)合作伙伴的數(shù)據(jù)豎井,稱這對機(jī)器學(xué)習(xí)的成熟度構(gòu)成了挑戰(zhàn)。
數(shù)據(jù)管理的“小問題”似乎并沒有減緩人工智能和機(jī)器學(xué)習(xí)的投資(至少目前還沒有)。Capital One的調(diào)查發(fā)現(xiàn),61%的決策者計劃在未來三年增加新的機(jī)器學(xué)習(xí)能力和應(yīng)用。超過一半(53%)的受訪者目前正在優(yōu)先考慮利用機(jī)器學(xué)習(xí)提高業(yè)務(wù)效率。
那么,公司用機(jī)器學(xué)習(xí)做什么呢?這是調(diào)查的另一個有趣的花絮,即自動異常檢測是機(jī)器學(xué)習(xí)的最主要用例,40%的受訪者報告這是他們的最主要用例。這引起了Kang的共鳴,他幫助Capital One建立了基于機(jī)器學(xué)習(xí)的異常檢測系統(tǒng)。
ML和AI的其他主要用例包括: 自動應(yīng)用程序和基礎(chǔ)設(shè)施更新(39%),以及滿足負(fù)責(zé)任和有道德AI的新監(jiān)管和隱私要求(39%)。