選擇性風(fēng)險(xiǎn)可以提高AI的公平性和準(zhǔn)確性
麻省理工人工智能實(shí)驗(yàn)室的研究人員發(fā)表了一篇新論文,旨在譴責(zé)在某些場(chǎng)景下使用選擇性回歸,因?yàn)檫@種技術(shù)會(huì)降低數(shù)據(jù)集中代表性不足的群體模型的整體性能。
這些代表性不足的群體往往是女性和有色人種,這種對(duì)他們的忽視導(dǎo)致了一些關(guān)于人工智能種族主義和性別歧視的報(bào)道。在一個(gè)賬戶中,用于風(fēng)險(xiǎn)評(píng)估的人工智能錯(cuò)誤地將黑人囚犯標(biāo)記為白人囚犯的兩倍。在另一項(xiàng)案例中,沒有任何背景的男性照片被認(rèn)定為醫(yī)生和家庭主婦的比例高于女性。
通過選擇性回歸,人工智能模型可以對(duì)每個(gè)輸入做出兩個(gè)選擇:預(yù)測(cè)或棄權(quán)。只有在對(duì)決策有信心的情況下,該模型才會(huì)做出預(yù)測(cè),在幾次測(cè)試中,通過排除無法正確評(píng)估的輸入來提高模型的性能。
然而,當(dāng)輸入被刪除時(shí),它會(huì)放大數(shù)據(jù)集中已經(jīng)存在的偏見。一旦AI模型被部署到現(xiàn)實(shí)生活中,這將導(dǎo)致代表性不足的群體進(jìn)一步不準(zhǔn)確,因?yàn)樗鼰o法像在開發(fā)過程中那樣刪除或拒絕代表性不足的群體。最終希望確保以明智的方式考慮跨組的錯(cuò)誤率,而不是僅僅最小化模型的一些廣泛的錯(cuò)誤率。
麻省理工學(xué)院的研究人員還引入了一種新技術(shù),旨在提高模型在每個(gè)子組中的模型性能。這種技術(shù)被稱為單調(diào)選擇性風(fēng)險(xiǎn),一種模型沒有棄權(quán),而是包含種族和性別等敏感屬性,而另一種則不包含。同時(shí),兩個(gè)模型都做出決策,沒有敏感數(shù)據(jù)的模型被用作數(shù)據(jù)集中偏差的校準(zhǔn)。
為這個(gè)特定問題提出正確的公平概念是一項(xiàng)挑戰(zhàn)。但是通過執(zhí)行這個(gè)標(biāo)準(zhǔn),單調(diào)的選擇風(fēng)險(xiǎn),我們可以確保當(dāng)減少覆蓋范圍時(shí),模型性能實(shí)際上在所有子組中都變得更好。
當(dāng)使用醫(yī)療保險(xiǎn)數(shù)據(jù)集和犯罪數(shù)據(jù)集進(jìn)行測(cè)試時(shí),新技術(shù)能夠降低代表不足的群體的錯(cuò)誤率,同時(shí)不顯著影響模型的整體性能。研究人員打算將這項(xiàng)技術(shù)應(yīng)用到新的應(yīng)用中,比如房?jī)r(jià)、學(xué)生平均學(xué)分績(jī)點(diǎn)和貸款利率,看看它是否可以用于其他任務(wù)。?