數(shù)據(jù)治理

長(zhǎng)期以來(lái)，它一直是數(shù)據(jù)行業(yè)的核心焦點(diǎn)。

Google說(shuō)得很好——“數(shù)據(jù)治理是你為確保數(shù)據(jù)安全、私有、準(zhǔn)確、可用和可用所做的一切，它涉及制定適用于如何收集、存儲(chǔ)、處理和處置數(shù)據(jù)的內(nèi)部標(biāo)準(zhǔn)——數(shù)據(jù)政策?！?/p>

正如這一定義所強(qiáng)調(diào)的那樣，數(shù)據(jù)治理是關(guān)于管理數(shù)據(jù)——準(zhǔn)確地說(shuō)，是驅(qū)動(dòng)AI模型的引擎。

既然數(shù)據(jù)治理和AI之間的聯(lián)系的初步跡象已經(jīng)開(kāi)始顯現(xiàn)，讓我們將其與AI疲勞聯(lián)系起來(lái)。盡管這個(gè)名字暴露了它，但強(qiáng)調(diào)導(dǎo)致這種疲憊的原因確保了這個(gè)術(shù)語(yǔ)在整個(gè)帖子中的一致使用。

AI疲勞

由于公司、開(kāi)發(fā)人員或團(tuán)隊(duì)面臨的挫折和挑戰(zhàn)，AI疲勞開(kāi)始出現(xiàn)，經(jīng)常導(dǎo)致AI系統(tǒng)的價(jià)值實(shí)現(xiàn)或?qū)嵤┦　?/p>

它主要始于對(duì)AI能力的不切實(shí)際的期望。對(duì)于AI等復(fù)雜技術(shù)，關(guān)鍵利益攸關(guān)方不僅需要與AI的能力和可能性保持一致，還需要與其局限性和風(fēng)險(xiǎn)保持一致。

談到風(fēng)險(xiǎn)，道德通常被認(rèn)為是事后的想法，導(dǎo)致放棄不符合規(guī)定的AI倡議。

你一定想知道數(shù)據(jù)治理在導(dǎo)致AI疲勞方面的作用——這是本文的前提。

這就是我們接下來(lái)要去的地方。

AI疲勞大致可分為部署前和部署后。讓我們首先關(guān)注部署前的工作。

部署前

將概念驗(yàn)證(PoC)升級(jí)到部署的因素有很多，例如：

• 我們?cè)谂鉀Q什么問(wèn)題?
• 為什么現(xiàn)在就確定優(yōu)先順序會(huì)成為一個(gè)緊迫的問(wèn)題?
• 有哪些數(shù)據(jù)可用?
• 它首先是ML——可解的嗎?
• 數(shù)據(jù)有規(guī)律嗎?
• 這種現(xiàn)象可以重演嗎?
• 哪些額外數(shù)據(jù)會(huì)提升模型的性能?

一旦我們?cè)u(píng)估了使用ML算法可以最好地解決問(wèn)題，數(shù)據(jù)科學(xué)團(tuán)隊(duì)就會(huì)執(zhí)行探索性的數(shù)據(jù)分析。在這個(gè)階段揭示了許多底層數(shù)據(jù)模式，突出了給定數(shù)據(jù)是否包含豐富的信號(hào)，它還有助于創(chuàng)建工程特征，以加快算法的學(xué)習(xí)過(guò)程。

接下來(lái)，團(tuán)隊(duì)構(gòu)建第一個(gè)基線模型，通常會(huì)發(fā)現(xiàn)它的性能沒(méi)有達(dá)到可接受的水平。一款輸出像擲硬幣一樣好的車型不會(huì)增加任何價(jià)值，這是構(gòu)建ML模型時(shí)的首批挫折之一，也就是經(jīng)驗(yàn)教訓(xùn)。

公司可能會(huì)從一個(gè)業(yè)務(wù)問(wèn)題轉(zhuǎn)移到另一個(gè)業(yè)務(wù)問(wèn)題，從而導(dǎo)致疲勞。盡管如此，如果底層數(shù)據(jù)沒(méi)有攜帶豐富的信號(hào)，任何AI算法都無(wú)法建立在它的基礎(chǔ)上，該模型必須從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)統(tǒng)計(jì)關(guān)聯(lián)，以對(duì)看不見(jiàn)的數(shù)據(jù)進(jìn)行概括。

部署后

盡管經(jīng)過(guò)訓(xùn)練的模型在驗(yàn)證集上顯示了有希望的結(jié)果，但根據(jù)合格的業(yè)務(wù)標(biāo)準(zhǔn)，例如70%的精度，如果模型在生產(chǎn)環(huán)境中不能充分發(fā)揮作用，仍然可能會(huì)出現(xiàn)疲勞。

這種類型的AI疲勞被稱為部署后階段。

無(wú)數(shù)原因可能會(huì)導(dǎo)致性能下降，而糟糕的數(shù)據(jù)質(zhì)量是困擾該模型的最常見(jiàn)問(wèn)題，它限制了模型在缺少關(guān)鍵屬性的情況下準(zhǔn)確預(yù)測(cè)目標(biāo)反應(yīng)的能力。

考慮在訓(xùn)練數(shù)據(jù)中只有10%缺失的基本特征之一，現(xiàn)在生產(chǎn)數(shù)據(jù)中50%的時(shí)間變?yōu)榭?，從而?dǎo)致錯(cuò)誤預(yù)測(cè)，這樣的迭代和確保模型一致執(zhí)行的努力會(huì)讓數(shù)據(jù)科學(xué)家和業(yè)務(wù)團(tuán)隊(duì)感到疲憊，從而削弱人們對(duì)數(shù)據(jù)管道的信心，并使項(xiàng)目投資面臨風(fēng)險(xiǎn)。

數(shù)據(jù)治理是關(guān)鍵

穩(wěn)健的數(shù)據(jù)治理措施對(duì)于解決這兩種類型的AI疲勞至關(guān)重要。鑒于數(shù)據(jù)是ML模型的核心，信號(hào)豐富、無(wú)錯(cuò)誤和高質(zhì)量的數(shù)據(jù)是ML項(xiàng)目成功的必要條件。解決AI疲勞問(wèn)題需要高度關(guān)注數(shù)據(jù)治理。因此，我們必須嚴(yán)格工作，確保正確的數(shù)據(jù)質(zhì)量，為構(gòu)建最先進(jìn)的模型和提供值得信賴的業(yè)務(wù)見(jiàn)解奠定基礎(chǔ)。

數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量是蓬勃發(fā)展的數(shù)據(jù)治理的關(guān)鍵，也是機(jī)器學(xué)習(xí)算法成功的關(guān)鍵因素。公司必須在數(shù)據(jù)質(zhì)量方面進(jìn)行投資，例如向數(shù)據(jù)消費(fèi)者發(fā)布報(bào)告。在數(shù)據(jù)科學(xué)項(xiàng)目中，想想當(dāng)質(zhì)量不佳的數(shù)據(jù)進(jìn)入模型時(shí)會(huì)發(fā)生什么，這可能會(huì)導(dǎo)致性能不佳。

只有在錯(cuò)誤分析期間，團(tuán)隊(duì)才能識(shí)別數(shù)據(jù)質(zhì)量問(wèn)題，當(dāng)這些問(wèn)題被發(fā)送到上游修復(fù)時(shí)，最終會(huì)導(dǎo)致團(tuán)隊(duì)之間的疲勞。

顯然，這不僅僅是花費(fèi)的努力，而且在正確的數(shù)據(jù)開(kāi)始輸入之前，還會(huì)損失大量的時(shí)間。

因此，始終建議從源頭修復(fù)數(shù)據(jù)問(wèn)題，以防止此類耗時(shí)的迭代。最終，發(fā)布的數(shù)據(jù)質(zhì)量報(bào)告暗示數(shù)據(jù)科學(xué)團(tuán)隊(duì)(或任何其他下游用戶和數(shù)據(jù)消費(fèi)者)了解傳入數(shù)據(jù)的可接受質(zhì)量。

如果沒(méi)有數(shù)據(jù)質(zhì)量和治理措施，數(shù)據(jù)科學(xué)家將因數(shù)據(jù)問(wèn)題而不堪重負(fù)，從而導(dǎo)致導(dǎo)致AI疲勞的不成功模型。

結(jié)束語(yǔ)

這篇文章強(qiáng)調(diào)了AI疲勞開(kāi)始的兩個(gè)階段，并介紹了數(shù)據(jù)質(zhì)量報(bào)告等數(shù)據(jù)治理措施如何能夠推動(dòng)構(gòu)建值得信賴和健壯的模型。

通過(guò)數(shù)據(jù)治理建立堅(jiān)實(shí)的基礎(chǔ)，公司可以構(gòu)建成功和無(wú)縫的AI開(kāi)發(fā)和采用的路線圖，灌輸熱情。

為了確保這篇文章全面概述了應(yīng)對(duì)AI疲勞的各種方法，我還強(qiáng)調(diào)了組織文化的作用，組織文化與數(shù)據(jù)治理等其他最佳實(shí)踐相結(jié)合，將使數(shù)據(jù)科學(xué)團(tuán)隊(duì)能夠更快、更快地建立有意義的AI貢獻(xiàn)。