Error Analysis 使用機(jī)器學(xué)習(xí)技術(shù)，助數(shù)據(jù)科學(xué)家更好地了解模型錯(cuò)誤模式。

在 2020 年 5 月的微軟 Build 大會(huì)上，微軟推出了三個(gè)響應(yīng)式的 AI(Responsible AI，RAI)工具包，這三個(gè)工具分別是 InterpretML、Fairlearn 和 SmartNoise。這些工具包與微軟 Azure 機(jī)器學(xué)習(xí)緊密集成，通過(guò)這些工具可以使機(jī)器學(xué)習(xí)領(lǐng)域的數(shù)據(jù)科學(xué)家能夠理解模型預(yù)測(cè)、評(píng)估公平性并保護(hù)敏感數(shù)據(jù)。

在這個(gè)工具系列的基礎(chǔ)上，微軟宣布推出新的功能，通過(guò)新的 Error Analysis 工具包調(diào)試模型中的不準(zhǔn)確之處，并在 SmartNoise 中使用合成數(shù)據(jù)提升隱私性。

使用 Error Analysis 識(shí)別和診斷模型的不精確性

在分析機(jī)器學(xué)習(xí)模型時(shí)，我們常常關(guān)注精度等總體指標(biāo)。 然而，模型的準(zhǔn)確率在不同的數(shù)據(jù)子群中往往并不統(tǒng)一，某些輸入條件的交叉點(diǎn)會(huì)導(dǎo)致模型更頻繁地失敗。為了提高精度，我們需要挖掘和評(píng)估這些不同的錯(cuò)誤來(lái)源。從歷史上看，解決這些問(wèn)題需要手動(dòng)操作，并且十分耗時(shí)。

Error Analysis，這是微軟響應(yīng)式 AI 工具包中的最新成員，并且完全開源。Error Analysis 使用機(jī)器學(xué)習(xí)按照有意義的維度對(duì)模型錯(cuò)誤進(jìn)行分區(qū)，以幫助開發(fā)者更好地理解錯(cuò)誤中的模式。此舉可以能夠快速識(shí)別出誤差較高的子群，并直觀地診斷出這些錯(cuò)誤背后的根本原因。

雖然這是一個(gè)剛剛才開源的工具，但 Error Analysis 在微軟 AI 開發(fā)中卻扮演著舉足輕重的作用。Error Analysis 在 2018 年開始作為一個(gè)研究項(xiàng)目，在 2019 年就與微軟混合現(xiàn)實(shí)團(tuán)隊(duì)密切合作，使該工具成為內(nèi)部 AI 基礎(chǔ)設(shè)施的一部分。開源版本能夠?qū)崿F(xiàn)是由 Azure 機(jī)器學(xué)習(xí)中的 RAI 工具團(tuán)隊(duì)推動(dòng)的。Error Analysis 連同其他 RAI 工具包也將在 2021 年中期歸入 OSS 和 Azure 機(jī)器學(xué)習(xí)中。

本文轉(zhuǎn)自O(shè)SCHINA

本文標(biāo)題：微軟開源 AI 診斷工具 Error Analysis

本文地址：https://www.oschina.net/news/131059/enabling-responsible-ai-with-new-open-source-capabilities