?根據(jù)Appen本周發(fā)布的《人工智能和機器學(xué)習(xí)狀況》報告，各機構(gòu)仍在努力獲取良好、干凈的數(shù)據(jù)，以維持其人工智能和機器學(xué)習(xí)計劃。

根據(jù)Appen對504名商業(yè)領(lǐng)袖和技術(shù)專家的調(diào)查，在人工智能的四個階段中，數(shù)據(jù)來源；數(shù)據(jù)準備；模型訓(xùn)練和部署；人工主導(dǎo)的模型評估階段——數(shù)據(jù)來源消耗的資源最多、時間最長、最具挑戰(zhàn)性。

根據(jù)Appen的調(diào)查，數(shù)據(jù)來源平均消耗企業(yè)組織34%的人工智能預(yù)算，數(shù)據(jù)準備、模型測試和部署各占24%，模型評估占15%。該調(diào)查由哈里斯調(diào)查(Harris Poll)進行，受訪者包括來自美國、英國、愛爾蘭和德國的IT決策者、商業(yè)領(lǐng)袖和經(jīng)理以及技術(shù)從業(yè)者。

就時間而言，數(shù)據(jù)來源大約消耗26%的時間，數(shù)據(jù)準備的時間為24%，模型測試、部署和模型評估的時間各為23%。最后，42%的技術(shù)人員認為數(shù)據(jù)來源是AI生命周期中最具挑戰(zhàn)性的階段，其他階段情況分別為：模型評估(41%)、模型測試和部署(38%)和數(shù)據(jù)準備(34%)。

盡管面臨挑戰(zhàn)，但各企業(yè)組織都在努力使其發(fā)揮作用。據(jù)Appen稱，五分之四(81%)的受訪者表示，他們有足夠的數(shù)據(jù)支持他們的人工智能計劃。成功的關(guān)鍵可能在于：絕大多數(shù)(88%)的公司通過使用外部AI訓(xùn)練數(shù)據(jù)提供商(如Appen)來擴充數(shù)據(jù)。

然而，數(shù)據(jù)的準確性還有待商榷。Appen發(fā)現(xiàn)，只有20%的受訪者報告數(shù)據(jù)準確率超過80%。只有6%（大約每20個人中有一個）說他們的數(shù)據(jù)準確性達到90%或更高。

考慮到這一點，根據(jù)Appen的調(diào)查，近一半(46%)的受訪者認為數(shù)據(jù)的準確性很重要。只有2%的人認為數(shù)據(jù)準確性不是很大的需求，而51%的人認為這是至關(guān)重要的需求。

Appen的首席技術(shù)官Wilson Pang對數(shù)據(jù)質(zhì)量的重要性有著不同的看法，他的客戶中有48%認為數(shù)據(jù)質(zhì)量不重要。

報告中說:“數(shù)據(jù)的準確性對人工智能和ML模型的成功至關(guān)重要，因為質(zhì)量豐富的數(shù)據(jù)會產(chǎn)生更好的模型輸出和一致的處理和決策?！薄盀榱双@得好的結(jié)果，數(shù)據(jù)集必須準確、全面和可擴展?！?/p>

深度學(xué)習(xí)和以數(shù)據(jù)為中心的人工智能的興起，已經(jīng)將人工智能成功的動力從良好的數(shù)據(jù)科學(xué)和機器學(xué)習(xí)建模轉(zhuǎn)移到良好的數(shù)據(jù)收集、管理和標簽。在當(dāng)今的遷移學(xué)習(xí)技術(shù)中，這一點尤其明顯。人工智能的實踐者會放棄一個大型的預(yù)先訓(xùn)練的語言或計算機視覺模型，用他們自己的數(shù)據(jù)對其中的一小部分進行再訓(xùn)練。

更好的數(shù)據(jù)還可以幫助防止不必要的偏見滲透到人工智能模型中，防止人工智能可能導(dǎo)致的壞結(jié)果。對于大型語言模型來說，這一點尤其明顯。

報告中說：“隨著在多語言網(wǎng)絡(luò)抓取數(shù)據(jù)上訓(xùn)練的大型語言模型(LLM)的興起，企業(yè)正面臨另一個挑戰(zhàn)。由于訓(xùn)練語料庫中充斥著有毒的語言，以及種族、性別和宗教偏見，這些模型通常會表現(xiàn)出不受歡迎的行為?！?/p>

網(wǎng)絡(luò)數(shù)據(jù)的偏見引發(fā)了棘手的問題，雖然有一些變通辦法(改變訓(xùn)練方案，過濾訓(xùn)練數(shù)據(jù)和模型輸出，并從人類反饋和測試中學(xué)習(xí))，但需要進行更多的研究，以創(chuàng)建一個“以人為中心的LLM”基準和模型評估方法的良好標準。

Appen表示，數(shù)據(jù)管理仍然是人工智能面臨的最大障礙。調(diào)查發(fā)現(xiàn)，在人工智能循環(huán)中，41%的人認為數(shù)據(jù)管理是最大的瓶頸。排在第四位的是缺乏數(shù)據(jù)，30%的受訪者認為這是人工智能成功的最大障礙。

但也有一些好消息：企業(yè)用于管理和準備數(shù)據(jù)的時間正在下降。Appen說，今年的比例剛剛超過47%，而去年報告中的比例為53%。

“由于大多數(shù)受訪者使用外部數(shù)據(jù)提供商，可以推斷，通過外包數(shù)據(jù)來源和準備，數(shù)據(jù)科學(xué)家正在節(jié)省適當(dāng)管理、清潔和標簽他們的數(shù)據(jù)所需的時間?！睌?shù)據(jù)標簽公司說。

然而，根據(jù)數(shù)據(jù)中相對較高的錯誤率判斷，也許組織不應(yīng)該縮減其數(shù)據(jù)來源和準備過程(無論是內(nèi)部的還是外部的)。當(dāng)涉及到建立和維護AI流程時，有很多相互競爭的需求——雇傭合格的數(shù)據(jù)專業(yè)人員的需求是Appen確定的另一個首要需求。但是，在數(shù)據(jù)管理取得重大進展之前，組織應(yīng)該繼續(xù)向他們的團隊施加壓力，繼續(xù)推動數(shù)據(jù)質(zhì)量的重要性。

調(diào)查還發(fā)現(xiàn)，93%的組織強烈或在一定程度上同意AI倫理應(yīng)該是AI項目的“基礎(chǔ)”。Appen首席執(zhí)行官Mark Brayan表示，這是一個良好的開端，但還有很多工作要做。Brayan在一份新聞稿中說:“問題是，許多人正面臨著試圖用糟糕的數(shù)據(jù)集構(gòu)建偉大的人工智能的挑戰(zhàn)，這為實現(xiàn)他們的目標制造了巨大的障礙?！?/p>

根據(jù)Appen的報告，企業(yè)內(nèi)部自定義收集的數(shù)據(jù)仍然是用于人工智能的主要數(shù)據(jù)集，占數(shù)據(jù)的38%至42%。合成數(shù)據(jù)表現(xiàn)出驚人的強勁，占組織數(shù)據(jù)的24%至38%，而預(yù)標記數(shù)據(jù)(通常來自數(shù)據(jù)服務(wù)提供商)占數(shù)據(jù)的23%至31%。

特別是，合成數(shù)據(jù)有可能減少敏感AI項目中的偏差發(fā)生率，Appen 97%的調(diào)查參與者表示，他們在“開發(fā)包容性訓(xùn)練數(shù)據(jù)集”中使用了合成數(shù)據(jù)。

報告中其他有趣地發(fā)現(xiàn)包括:

• 77%的組織每月或每季度對他們的模型進行再訓(xùn)練;（Ai時代前沿解讀：人工智能不是一勞永逸的，根據(jù)應(yīng)用需求不斷提升，需要不斷更新。）
• 55%的美國企業(yè)聲稱自己領(lǐng)先于競爭對手，而在歐洲這一比例為44%;（Ai時代前沿解讀：歐洲人略微比美國人低調(diào)一些。）
• 42%的組織報告稱人工智能“廣泛”推出，而在《2021年人工智能狀態(tài)報告》中，這一比例為51%;（Ai時代前沿解讀：人工智能應(yīng)用越來越廣泛了。）
• 7%的機構(gòu)報告稱人工智能預(yù)算超過500萬美元，而去年這一比例為9%。（Ai時代前沿解讀：一方面可能由于人工智能逐漸成熟降低了成本，也說明人工智能不再是一個“奢侈品”，正逐漸成為企業(yè)的“必備品”。）