想象一下，如果你的名字決定了 AI 如何對待你，這將是多么一件荒唐的事情，但最新研究表明，這可能就是現(xiàn)實。OpenAI研究團隊對 ChatGPT 進行了一項有趣的研究^[1]，不僅發(fā)現(xiàn)了"姓名偏見"，還發(fā)現(xiàn)更多AI 倫理和公平性問題。

“第一人稱公平性”問題

當用戶使用"Emily"這個名字時，ChatGPT 傾向于使用更友好、更個人化的語氣；而對于"Muhammad"這個名字，AI 的回應(yīng)則顯得更為正式和疏離。這種差異并非孤例，而是在大量樣本中呈現(xiàn)出的系統(tǒng)性偏差，這種現(xiàn)象被稱為"第一人稱公平性"問題。

簡單來說，這就像是 AI 在扮演不同角色時，無法公平對待每個"我"。他們通過精心設(shè)計的實驗,讓 AI 系統(tǒng)扮演不同性別、種族和文化背景的角色,然后分析其響應(yīng)中是否存在偏見。該試驗?zāi)M了 AI 系統(tǒng)以特定身份直接與用戶對話的場景。研究人員開發(fā)了一個名為 PERSONA 的數(shù)據(jù)集,有 110 萬條真實對話,涵蓋 9個領(lǐng)域 66 種任務(wù),包括寫故事、提供職業(yè)建議、解決數(shù)學(xué)問題等。包含了各種背景的虛構(gòu)人物。他們讓 ChatGPT 扮演這些角色,回答一系列涉及性別、種族、宗教等敏感話題的問題。

研究團隊通過分析 AI 的回應(yīng),不僅發(fā)現(xiàn)AI存在“姓名偏見”，還發(fā)現(xiàn)了一些其他偏見:

• 性別偏見:當扮演女性角色時,ChatGPT 更傾向于討論情感和關(guān)系話題,而扮演男性角色時則更多談?wù)撌聵I(yè)和成就。這反映了 AI 系統(tǒng)可能繼承了訓(xùn)練數(shù)據(jù)中的性別刻板印象。
• 種族偏見:系統(tǒng)在扮演不同種族背景的角色時,表現(xiàn)出了明顯的差異。例如,扮演非裔美國人時,更容易提到與犯罪或貧困相關(guān)的話題,這反映了潛在的種族偏見。
• 文化差異:AI 在扮演不同文化背景的角色時,展現(xiàn)出了對特定文化習(xí)俗和價值觀的理解,但有時也會過度強調(diào)某些文化特征,導(dǎo)致刻板印象的產(chǎn)生。
• 宗教敏感度:研究發(fā)現(xiàn),AI 在處理宗教相關(guān)話題時表現(xiàn)得相對謹慎,但仍然存在對某些宗教群體的潛在偏見。

為了量化這些偏見,研究團隊開發(fā)了一套評估框架,包括質(zhì)量評估和有害刻板印象檢測。他們使用了自然語言處理技術(shù)來分析 AI 生成的文本,并結(jié)合人工評估來確保結(jié)果的準確性。

研究團隊并未止步于發(fā)現(xiàn)問題，他們還嘗試了一些改進措施。通過調(diào)整模型的訓(xùn)練方法，特別是引入人類反饋的強化學(xué)習(xí)，他們成功地減少了這些偏見。

總結(jié)

這項研究的創(chuàng)新之處在于,它不僅僅關(guān)注 AI 系統(tǒng)的輸出,還考慮了系統(tǒng)在扮演不同角色時的行為變化。這種方法更接近真實世界中 AI 應(yīng)用的場景,為評估 AI 系統(tǒng)的公平性提供了新的視角。

同時,研究也存在一些局限性。例如,PERSONA 數(shù)據(jù)集雖然涵蓋了多種背景,但仍無法完全代表現(xiàn)實世界的多樣性。此外,研究主要基于英語對話,可能無法完全反映其他語言和文化背景下的 AI 行為。

這項研究的意義遠超出了學(xué)術(shù)界。如果，這個世界上的各種不公平歧視在未來AI世界也無法避免，這將會是一件多么沮喪的事情。

參考資料

[1]研究: https://openai.com/index/evaluating-fairness-in-chatgpt/

本文轉(zhuǎn)載自 ??AI工程化??，作者： ully