許多國家在與新型冠狀病毒作斗爭，下令公民在火車站或機場一律接受體溫檢測。這種情形下所需的設(shè)備：手持溫度計已從一種專業(yè)設(shè)備變成了常見設(shè)備。

“計算機視覺”是AI的一個分支，專注于自動標(biāo)記圖像。大多數(shù)計算機視覺系統(tǒng)使用含有極少量手持溫度計圖像的數(shù)據(jù)集加以訓(xùn)練。因而，它們無法正確標(biāo)記這種設(shè)備。

在Twitter上瘋傳的一個實驗中，非營利研究和倡導(dǎo)組織AlgorithmWatch證明，計算機視覺服務(wù)Google Vision Cloud將手持測溫計的深膚色人員的圖像標(biāo)記為“槍支”，而將淺膚色人員的類似圖像標(biāo)記為“電子設(shè)備”。隨后的實驗表明，持有溫度計的深膚色手的圖像被標(biāo)記為“槍支”，而手上覆以淺橙色圖案的同一圖像足以讓計算機將其標(biāo)記為“單目望遠鏡”。

4月3日，添加覆蓋層后，Google Vision Cloud生成了完全不同的標(biāo)簽。

谷歌此后更新了算法。自4月6日起，它不再返回“槍支”標(biāo)簽。

谷歌的產(chǎn)品策略和運營主管Tracy Frey在一份聲明中寫道：“這個結(jié)果是不可接受的。認識到這一結(jié)果與種族主義之間的聯(lián)系很重要；對于由此可能造成的任何傷害，我們深表歉意。”

Frey女士說：“我們的調(diào)查發(fā)現(xiàn)，一些物體被誤標(biāo)記為槍支；這些結(jié)果存在于一系列膚色中。我們已調(diào)整了置信度（confidence score），以便圖像中有槍支時更準(zhǔn)確地返回標(biāo)簽。”她補充道，谷歌發(fā)現(xiàn)“沒有表明與膚色有關(guān)的系統(tǒng)性偏見的證據(jù)。”

荷蘭代爾夫特理工大學(xué)攻讀博士的Agathe Balayn表示贊同，她著重研究自動化系統(tǒng)中的偏見這一課題。她在谷歌的服務(wù)中測試了幾個圖像，得出的結(jié)論是，示例可能是“不存在統(tǒng)計偏見的不準(zhǔn)確例子。”她寫道，在缺乏更嚴(yán)格測試的情況下，不能說這個系統(tǒng)存在偏見。

4月6日，深膚色手的結(jié)果已經(jīng)過了更新

背景調(diào)查

不難理解為什么計算機視覺會基于膚色生成不同的結(jié)果。這類系統(tǒng)處理人們辛苦標(biāo)記的數(shù)百萬張圖片（比如說，你點擊內(nèi)有汽車或橋梁的方框以證明你不是機器人時所做的工作），并從中得出自動推斷。

計算機視覺無法識別人類意義上的任何物體。它依賴訓(xùn)練數(shù)據(jù)中相關(guān)的模式。研究表明，一旦在白雪皚皚的背景下拍照，計算機視覺會將狗標(biāo)記為狼。如果母牛站在海灘上，它們會被標(biāo)記為狗。

由于膚色深的人在訓(xùn)練數(shù)據(jù)集中描繪暴力的場景中出現(xiàn)的頻率可能高得多，因此對深膚色手的圖像進行自動推斷的計算機用暴力方面的詞匯加以標(biāo)記的可能性要大得多。

其他計算機視覺系統(tǒng)出現(xiàn)了類似的偏見。去年12月，F(xiàn)acebook拒絕讓巴西的一個Instagram用戶可以為圖片打廣告，理由是圖片含有武器。實際上，那幅圖片上就一個男孩和一級方程式賽車手Lewis Hamilton。兩個人的膚色都很深。

帶來的實際影響

標(biāo)記錯誤可能會在實際環(huán)境下造成影響。紐約大學(xué)AI Now研究所的技術(shù)研究員、計算機視覺專家Deborah Raji在一封電子郵件中寫道，在美國，武器識別工具被用于眾多學(xué)校、音樂廳、公寓大樓和超市。在歐洲，一些警察隊伍部署的自動監(jiān)視裝備也可能使用計算機視覺技術(shù)。Raji女士寫道，由于這些系統(tǒng)大多數(shù)類似Google Vision Cloud，因此“它們很可能存在同樣的偏見。”因而，膚色深的人更有可能被標(biāo)記為危險分子，即使他們手持像手持溫度計這樣無害的東西。

Nakeema Stefflbauer是專注于包容性的技術(shù)專家社區(qū)FrauenLoop的創(chuàng)始人兼首席執(zhí)行官，她在一封電子郵件中寫道，計算機視覺軟件中的偏見會“絕對”影響深膚色人群的生活。她補充說，由于女性和深膚色人群的誤識別率一直偏高，因此用于監(jiān)視的計算機視覺的普及會對他們造成過大的影響。

Stefflbauer女士提到了Ousmane Bah和Amara K. Majeed這兩個例子，由于人臉識別系統(tǒng)出錯，Bah這名少年被錯誤地指控在蘋果商店盜竊，而Majeed在人臉被誤識別后，被錯誤地指控參與了2019年斯里蘭卡爆炸案。Stefflbauer預(yù)料，若缺乏有效的監(jiān)管，整批人群到頭來會避開某些建筑物或社區(qū)。她補充道，如果有偏見的計算機視覺得到更廣泛的部署，個人可能在行動中面臨事實上的限制。

逐步變化

谷歌的主管Frey女士在聲明中寫道，公平性是谷歌的“核心AI原則”之一，谷歌“致力于在開發(fā)機器學(xué)習(xí)方面取得進步，而公平性是衡量成功機器學(xué)習(xí)的一個關(guān)鍵指標(biāo)”。

但是谷歌的圖像識別工具之前就返回過帶有種族偏見的結(jié)果。2015年，谷歌相冊（Google Photos）將兩個深膚色的人標(biāo)記為“大猩猩”。谷歌后來表示了歉意，不過據(jù)《連線》雜志報道，谷歌并沒有解決這個問題。相反，它只是簡單地不再返回“大猩猩”這個標(biāo)簽，即便明明是這種哺乳動物的圖片也是如此。

據(jù)AI Now研究所的Deborah Raji聲稱，技術(shù)公司仍在開發(fā)帶有種族偏見的產(chǎn)品，至少有兩個原因可以解釋這種情況。首先，它們的團隊以白人和男性為主，這樣一來在開發(fā)階段不太可能找到并解決歧視其他群體的結(jié)果。其次，“許多公司現(xiàn)在才剛開始制定正式流程，以測試和報告設(shè)計這些系統(tǒng)的過程中出現(xiàn)的這類故障，”她寫道。她補充道：“外部問責(zé)是目前提醒這些工程團隊的主要方法。”

“遺憾的是，到有人抱怨時，許多人可能已經(jīng)受到有偏見的模型的過大影響。”