AI 算法偏見（性別、人種……）如今在海外早已不是新鮮議題，不久前，互聯(lián)網(wǎng)上的一條視頻就引發(fā)了大眾對此大規(guī)模的探討。一名年輕的微軟研究人員就此話題在個(gè)人網(wǎng)絡(luò)留言上展開了對面部識別系統(tǒng)模型所存在偏見的探討，引發(fā)了包括 Jeff Dean 等大牛在內(nèi)的共鳴。她究竟說了些什么？

[[256625]]

事情起源于互聯(lián)網(wǎng)上的一個(gè)視頻，在視頻中，社會(huì)黨眾議員 Alexandria Ocasio-Cortez 聲稱由數(shù)學(xué)驅(qū)動(dòng)的算法本質(zhì)上都是擁有種族主義傾向的。這條帖子很快獲得了大眾的響應(yīng)，其中就包括一位名叫 Anna S. Roth 的研究人員。

原帖轉(zhuǎn)發(fā)量截止目前為止已經(jīng)達(dá)到了 2.8k，擁有超過 7.2k 的留言。

直通車：https://twitter.com/RealSaavedra/status/1087627739861897216

據(jù)個(gè)人主頁介紹， Anna S. Roth 是微軟技術(shù)與研究部門的一名研究人員，專職于微軟的 Project Oxford 項(xiàng)目——這是一個(gè)混合了 APIs 與 SDKs，使開發(fā)人員能夠輕松利用 Microsoft Research 和 Bing 的計(jì)算機(jī)視覺、語音檢測和語言理解前沿工作進(jìn)行再創(chuàng)造的項(xiàng)目。此外，她還曾經(jīng)入選 Business Insider 雜志「30 位 30 歲以下具有影響力的科技女性」榜單。

她在個(gè)人留言上接連發(fā)表多達(dá) 29 條的短評，簡單概括了面部識別系統(tǒng)模型產(chǎn)生偏見的原因，以及相應(yīng)的解決方案和現(xiàn)存困境。由于內(nèi)容淺顯易懂且直中要害，谷歌大腦領(lǐng)導(dǎo)人 Jeff Dean 也忍不住進(jìn)行推薦。

接下來一起看看 Anna S. Roth 分別說了些什么吧。

關(guān)于數(shù)據(jù)偏差問題

Alexandria Ocasio-Cortez 說的完全在理。我曾經(jīng)從事面部識別的商業(yè)開發(fā)工作（當(dāng)時(shí)的方向有點(diǎn)偏，開發(fā)的是存在偏見的模型），我認(rèn)為人們最終會(huì)找到一些具體可信的例子搞清 AI 系統(tǒng)是如何產(chǎn)生偏見的。網(wǎng)絡(luò)上的專家們解釋了，面部識別系統(tǒng)之所以產(chǎn)生偏見，是因?yàn)閿?shù)據(jù)有所偏差。

所以我準(zhǔn)備和大家談?wù)劊?/p>

（1）那些（有偏差的）數(shù)據(jù)來自哪里。

（2）偏差測量標(biāo)準(zhǔn)的選擇同樣事關(guān)緊要。

（需要強(qiáng)調(diào)一點(diǎn)是，我只是針對行業(yè)所發(fā)生的一些事情進(jìn)行泛泛而談，并非專指本人雇主的某個(gè)具體事例。簡單來說，這些都只是我的個(gè)人意見，不代表雇主的立場。）

最前沿的面部識別系統(tǒng)都需要在「非常龐大」的數(shù)據(jù)集上進(jìn)行訓(xùn)練。為達(dá)到訓(xùn)練效果，你需要獲取同一個(gè)人的多張相片。比如當(dāng)下發(fā)布數(shù)據(jù)集之一——來自 UW 的 MF2，就擁有 672K 的人員信息和 4.7M 的相片。

相關(guān)論文鏈接：

https://homes.cs.washington.edu/~kemelmi/ms.pdf

這些數(shù)據(jù)主要來源于網(wǎng)絡(luò)，比如 MF2 數(shù)據(jù)集的數(shù)據(jù)就出自 Flickr；另一個(gè)數(shù)據(jù)集 MS-Celeb-1M（https://www.msceleb.org）的 1000 萬張圖像則是從網(wǎng)上「爬」下來的。需要強(qiáng)調(diào)的是，「在公共互聯(lián)網(wǎng)上流傳的照片」并不能夠完全代表「世界上的所有人類」。

然而全球的互聯(lián)網(wǎng)訪問量并非均勻分布的。連研究人員也一樣。你可能抓取的還是那些以英語作為媒介語的網(wǎng)絡(luò)資源/視頻（記住，您需要獲取同一個(gè)人的多張照片。）那么我想請問的是，使用 Flickr 的都是哪一些人？在微軟名人數(shù)據(jù)集 MS Celeb 的論文中，說明了數(shù)據(jù)集中的 100 萬個(gè)名人有超過 3/4 是女性——所以在判斷哪個(gè)性別的人群在網(wǎng)上更有名氣時(shí)，是否就會(huì)陷入 Alexandria Ocasio-Cortez 所謂的「自動(dòng)化假設(shè)」陷阱？對此，負(fù)責(zé)構(gòu)建數(shù)據(jù)集的人員一般會(huì)通過多種手段進(jìn)行調(diào)整。

一個(gè)非常「燒錢」的選擇是走進(jìn)「現(xiàn)實(shí)世界」中，通過付費(fèi)的方式進(jìn)行數(shù)據(jù)收集。然而想把這件事情做得「正確」（比如收集數(shù)據(jù)的地點(diǎn)）、做得「符合倫理道德」（比如是否獲得對方同意、公平補(bǔ)償?shù)龋梢稽c(diǎn)都不簡單。然而這些細(xì)節(jié)卻會(huì)導(dǎo)致結(jié)果存在「巨大」差異。

當(dāng)然我們還可以擁有其他的數(shù)據(jù)來源。比如有些人就想到使用嫌疑人照片（呀！又是一個(gè)根深蒂固的社會(huì)偏見影響數(shù)據(jù)集+注釋的例子）。據(jù)我所知，一個(gè)處在非美國監(jiān)控州的國內(nèi)公司可以訪問那些大型政府?dāng)?shù)據(jù)集。（很顯然如果你是 FB，還可以訪問那些具有更好分布的數(shù)據(jù)。）

數(shù)據(jù)集不僅僅是你保存數(shù)據(jù) + 進(jìn)行標(biāo)注的地方。很多數(shù)據(jù)集需要人類進(jìn)一步手動(dòng)進(jìn)行注釋，一般會(huì)通過眾包的形式（即通過在線平臺(tái)零碎地給眾包人員支付費(fèi)用，而且往往金額較小）。眾包形式存在太多來自人類的干擾因素。比如眾包人員的文化背景？他們是不是被問到實(shí)際上屬于主觀的問題？（年齡、情緒等）

關(guān)于數(shù)據(jù)偏差測量

如今我們達(dá)成的一個(gè)共識是，有偏差的數(shù)據(jù)輸入將導(dǎo)致有偏見的模型。實(shí)際上，我們已經(jīng)擁有許多很酷的技術(shù)方法可以解決訓(xùn)練數(shù)據(jù)的分布問題。

一般要想評估模型的偏差情況和表現(xiàn)性能，你需要找到方法來進(jìn)行測量。否則你無法得知模型的偏差原因和偏差程度。打個(gè)比方，您也許需要?jiǎng)?chuàng)建一個(gè)包含具有各種特征的人員的標(biāo)簽數(shù)據(jù)集，以便你在組與子組上測試模型的運(yùn)行情況。

偏差測量需要綜合這些人的角度和觀點(diǎn)——在哪些問題是重要的以及社會(huì)科學(xué)層面上可能受到模型影響的人群。打個(gè)比方，「如果你戴眼鏡，將導(dǎo)致模型表現(xiàn)變得不夠準(zhǔn)確」要比「如果你是有色人種，將導(dǎo)致模型表現(xiàn)變得糟糕」的危害更小，這是有一定社會(huì)原因的。

決定哪些內(nèi)容需要進(jìn)行測量、構(gòu)建測量數(shù)據(jù)集、發(fā)布相關(guān)標(biāo)準(zhǔn)，是你構(gòu)建相關(guān)系統(tǒng)時(shí)的「明智」選擇。因此，當(dāng) Alexandria Ocasio-Cortez 說「種族不公被模型傳遞出來，是因?yàn)樗惴ㄈ杂扇祟愓瓶亍箷r(shí)，她是完全正確的。

從過去到現(xiàn)在，對于這么做可能導(dǎo)致的嚴(yán)重后果，人們已經(jīng)一次又一次進(jìn)行記錄。詳見：http://gendershades.org/。它為致力于解決這些問題的不同人群提供了強(qiáng)而有力的論據(jù)。（注：這也意味著國際化與多樣性。比如計(jì)算機(jī)視覺領(lǐng)域的大部分工作都是在中國完成創(chuàng)建和消費(fèi)。因此這些主題都具有國際化視角。）

相關(guān)解決方案

回到 Alexandria Ocasio-Cortez 引發(fā)的議論。她給到我們的一點(diǎn)啟發(fā)是，AI 倫理學(xué)并非單純的「減少偏見的技術(shù)方法」或者「應(yīng)用倫理學(xué)」。而是偏見滲入到模型當(dāng)中、或者模型以不適合的方式被使用、或者循環(huán)反饋機(jī)制加強(qiáng)偏見，因?yàn)檫@些原因交織而成的新問題。

我經(jīng)?；叵搿洞笪餮蟆冯s志一篇關(guān)于德國執(zhí)法部門調(diào)查庇護(hù)申請的報(bào)道中所出現(xiàn)的這句話。當(dāng)最終采用這些概率系統(tǒng)的用戶將系統(tǒng)的性能歸結(jié)為「天賜」的，而非人類，將會(huì)發(fā)生什么事情？

文章鏈接：

https://www.theatlantic.com/magazine/archive/2018/04/the-refugee-detectives/554090/

「BAMF 的面部識別軟件以及由它所繪制的龐大數(shù)據(jù)庫，現(xiàn)在看來像是「天賜的」，一位職員帶有敬意地表示道?！肝覐膩韽膩頉]見它出過錯(cuò)。」

我試圖給出一些實(shí)際例子，說明涉及面部的識別能力可能導(dǎo)致什么樣的嚴(yán)重后果，以幫助大家理解這個(gè)視頻的大背景。然而，這些想法實(shí)際上都來自學(xué)界和公眾的倡導(dǎo)?！府?dāng)下」這個(gè)領(lǐng)域正在產(chǎn)生「如此之多」的學(xué)術(shù)研究，這些都是那些有見識的想法的來源。我們很幸運(yùn)能夠向 @timnitGebru、 @jovialjoy,、@hannawallach,、@mathbabedotorg,、@jennwvaughan 這樣的專家們學(xué)習(xí)。

還有許多來自學(xué)術(shù)界和社會(huì)活動(dòng)界正在就如何記錄、理解和減少偏見對人工智能的影響，進(jìn)而減少人工智能對社會(huì)的負(fù)面影響，紛紛提出自己的想法。我們可以從這些地方找到這些想法 http://gendershades.org/（對行業(yè)實(shí)踐和公眾意識有著巨大的影響），以及這里 https://fatconference.org/index.html

我就以這些話作為本次意見發(fā)表的收尾吧。作為一名過去經(jīng)常投入在面部識別相關(guān)研究工作的人，我非常感謝這個(gè)領(lǐng)域的專家們，他們的功勞包括發(fā)現(xiàn)了我當(dāng)時(shí)所研究系統(tǒng)的嚴(yán)重問題（以及創(chuàng)造性的修復(fù)方法）。