9月4日消息，Meta日前發(fā)布了一款名為FACET的開源數(shù)據(jù)集，旨在幫助研究人員審核計算機視覺模型中的偏差。

在一篇博客文章中，Meta詳細說明，使用目前的基準測試方法很難評估人工智能的公平性。根據(jù)Meta的說法，F(xiàn)ACET將通過提供一個大型評估數(shù)據(jù)集來簡化這項任務，研究人員可以使用該數(shù)據(jù)集來審核幾種不同類型的計算機視覺模型。

Meta研究人員在博客文章中詳細介紹說：“該數(shù)據(jù)集由32,000張包含50,000人的圖像組成，由專家人類注釋者標記人口統(tǒng)計屬性，如感知的性別表現(xiàn)，感知的年齡組，額外的身體屬性，如感知的膚色、發(fā)型，以及與人相關的類別，如籃球運動員，醫(yī)生等。FACET還包含SA-1B中69,000個口罩的人、頭發(fā)和服裝標簽?！?/p>

研究人員可以通過讓計算機視覺模型在FACET中處理照片來檢查公平性問題。從那里，他們可以進行分析，以確定模型結果的準確性是否因照片而異。這種準確性的變化可能是人工智能有偏見的跡象。

研究人員可以使用該數(shù)據(jù)集來檢測用于分類優(yōu)化的神經(jīng)網(wǎng)絡中的偏差，這是將相似圖像分組在一起的任務。此外，它使評估目標檢測模型變得更容易。這種模型的設計目的是自動檢測照片中感興趣的項目。

FACET還可以審計執(zhí)行實例分割和視覺接地的AI應用程序，這是兩個專門的對象檢測任務。實例分割是在照片中突出顯示感興趣的項目的過程，例如在它們周圍畫一個框。反過來，視覺基礎模型是一種神經(jīng)網(wǎng)絡，它可以掃描照片，尋找用戶用自然語言描述的對象。

Meta的研究人員表示：“雖然FACET僅用于研究評估目的，不能用于訓練，但我們發(fā)布數(shù)據(jù)集和數(shù)據(jù)集瀏覽器的目的是使FACET可以成為計算機視覺模型的標準公平性評估基準。”