數(shù)據(jù)和機(jī)器學(xué)習(xí)算法帶來的洞察力可能是無價(jià)的，但錯誤也可能是不可挽回的。以下這些最近備受矚目的AI失誤，展示了AI技術(shù)可能出錯的后果。

2017年，《經(jīng)濟(jì)學(xué)人》宣稱，數(shù)據(jù)已經(jīng)取代石油，成為世界上最寶貴的資源，這一說法自此廣泛流傳。各行各業(yè)的組織都在不斷加大對數(shù)據(jù)和分析的投資，然而，正如石油有其陰暗面，數(shù)據(jù)和分析也同樣存在風(fēng)險(xiǎn)。

根據(jù)CIO發(fā)布的2023年CIO狀況報(bào)告，26%的IT領(lǐng)導(dǎo)者表示，機(jī)器學(xué)習(xí)(ML)和AI將推動最重要的IT投資。盡管基于ML算法的決策可以為組織帶來競爭優(yōu)勢，但如果出現(xiàn)錯誤，可能會對聲譽(yù)、收入，甚至生命安全造成高昂代價(jià)。

理解數(shù)據(jù)及其傳遞的信息固然重要，但同樣重要的是了解你的工具、熟悉數(shù)據(jù)，并始終將組織的價(jià)值觀放在首位。

以下是過去十年中幾起引人注目的AI失誤，展示了可能出錯的地方。

麥當(dāng)勞因AI點(diǎn)餐失誤終止實(shí)驗(yàn)

在與IBM合作三年，利用AI進(jìn)行得來速點(diǎn)餐后，麥當(dāng)勞在2024年6月宣布終止這一項(xiàng)目。原因是社交媒體上出現(xiàn)了一系列視頻，顯示顧客因AI誤解他們的訂單而感到困惑和沮喪。

其中一段TikTok視頻尤為引人注目，視頻中兩名顧客不斷懇求AI停止操作，因AI持續(xù)往他們的訂單中添加更多的麥樂雞，最終數(shù)量竟達(dá)到260份。在2024年6月13日，麥當(dāng)勞在一份被行業(yè)刊物《餐飲業(yè)》獲取的內(nèi)部備忘錄中宣布，將結(jié)束與IBM的合作并停止測試。

麥當(dāng)勞曾在超過100家美國得來速餐廳試點(diǎn)這一AI技術(shù)，但表示仍然看好語音點(diǎn)餐解決方案的未來。

Grok AI錯誤指控NBA明星進(jìn)行破壞活動

2024年4月，Elon Musk的xAI推出的聊天機(jī)器人Grok在X平臺上錯誤地指控NBA明星克萊·湯普森(Klay Thompson)在加州薩克拉門托市砸碎了多戶住宅的窗戶。

一些評論員推測，Grok可能是在吸收了關(guān)于湯普森“投籃打鐵”(“throwing bricks”是籃球術(shù)語，指投籃失誤)的帖子后“產(chǎn)生了幻覺”，錯誤地構(gòu)建了這起破壞事件。湯普森在他為金州勇士隊(duì)效力的最后一場比賽中表現(xiàn)不佳，勇士隊(duì)也遭遇了慘敗，這是他職業(yè)生涯中最糟糕的季后賽表現(xiàn)之一。之后，湯普森被交易至達(dá)拉斯小牛隊(duì)。

盡管Grok顯示了免責(zé)聲明，表示“Grok是一個(gè)早期功能，可能會出錯。請核實(shí)其輸出內(nèi)容?！保耸录砸l(fā)了關(guān)于當(dāng)AI聊天機(jī)器人發(fā)布虛假誹謗性言論時(shí)，責(zé)任應(yīng)由誰承擔(dān)的質(zhì)疑。

紐約市AI聊天機(jī)器人鼓勵企業(yè)主違法

2024年3月，《Markup》報(bào)道，微軟支持的聊天機(jī)器人MyCity在向創(chuàng)業(yè)者提供錯誤信息，導(dǎo)致他們可能違法。

MyCity于2024年10月推出，旨在為紐約市民提供有關(guān)創(chuàng)業(yè)、經(jīng)營企業(yè)、住房政策和工人權(quán)利的信息，然而，《Markup》發(fā)現(xiàn)MyCity存在嚴(yán)重問題，它錯誤地聲稱企業(yè)主可以從員工的小費(fèi)中抽取分成，解雇投訴性騷擾的員工，甚至可以提供被嚙齒動物咬過的食物，它還錯誤地宣稱房東可以根據(jù)收入來源進(jìn)行歧視。

在報(bào)道曝光后，面對指控的紐約市市長Eric Adams為這一項(xiàng)目進(jìn)行辯護(hù)。目前，這款聊天機(jī)器人仍然在線運(yùn)營。

加拿大航空因聊天機(jī)器人誤導(dǎo)信息賠償乘客

2024年2月，加拿大航空被裁定向一名乘客賠償，原因是其虛擬助手在關(guān)鍵時(shí)刻提供了錯誤信息。

Jake Moffatt在2023年11月咨詢了加拿大航空的虛擬助手，詢問有關(guān)喪親票價(jià)的事項(xiàng)，因當(dāng)時(shí)他的祖母去世。聊天機(jī)器人告訴他，可以先購買溫哥華到多倫多的全價(jià)票，然后在90天內(nèi)申請喪親折扣。根據(jù)這一建議，Moffatt購買了價(jià)值794.98加元的單程票和845.38加元的返程票。

然而，當(dāng)Moffatt提交退款申請時(shí)，加拿大航空拒絕了他的請求，稱喪親票價(jià)折扣不能在購票后申請。

Moffatt將加拿大航空告上了加拿大的仲裁庭，指控該航空公司通過其虛擬助手提供了誤導(dǎo)性信息并存在過失。仲裁庭成員Christopher Rivers表示，加拿大航空辯稱它不應(yīng)對聊天機(jī)器人提供的信息承擔(dān)責(zé)任。

Rivers否決了這一論點(diǎn)，指出加拿大航空未能“合理地確保其聊天機(jī)器人提供準(zhǔn)確的信息”。因此，他命令加拿大航空賠償Moffatt 812.02加元，其中包括650.88加元的損害賠償金。

《體育畫報(bào)》可能發(fā)表了AI生成的作者文章

2023年11月，在線雜志Futurism報(bào)道稱，《體育畫報(bào)》可能刊登了由AI生成的作者撰寫的文章。

Futurism援引匿名消息來源稱，這家歷史悠久的體育雜志發(fā)布了大量由AI生成的作者撰寫的文章。該雜志發(fā)現(xiàn)，相關(guān)作者的頭像出現(xiàn)在一個(gè)出售AI生成肖像的網(wǎng)站上。Futurism隨后聯(lián)系了《體育畫報(bào)》的出版商The Arena Group，后者在聲明中表示，這些文章是由第三方AdVon Commerce提供的授權(quán)內(nèi)容。

聲明中指出：“我們會持續(xù)監(jiān)控合作伙伴，并在這些指控提出時(shí)正在進(jìn)行審查。AdVon向我們保證，所有相關(guān)文章均由人類撰寫和編輯?！?/p>

聲明還表示，AdVon的作者在某些文章中使用了筆名或假名，Arena Group并不認(rèn)可這種行為。隨后，Arena Group將相關(guān)文章從《體育畫報(bào)》網(wǎng)站上撤下。

在Futurism文章發(fā)布后，《體育畫報(bào)》工會發(fā)表聲明，稱對此指控感到震驚，并要求Arena Group管理層提供透明的答案和解釋。

“如果這是真的，那么這些做法違反了我們對新聞業(yè)的所有信念，”《體育畫報(bào)》工會在聲明中表示。“我們強(qiáng)烈反對與這種對讀者不尊重的行為扯上關(guān)系。”

iTutor Group的招聘AI因年齡歧視拒絕應(yīng)聘者

2023年8月，輔導(dǎo)公司iTutor Group同意支付36.5萬美元，以解決美國平等就業(yè)機(jī)會委員會(EEOC)提起的訴訟，該聯(lián)邦機(jī)構(gòu)表示，iTutor Group為中國學(xué)生提供遠(yuǎn)程輔導(dǎo)服務(wù)，使用了AI驅(qū)動的招聘軟件，自動拒絕了年齡55歲及以上的女性申請者和年齡60歲及以上的男性申請者。

EEOC表示，超過200名合格的申請者被該軟件自動拒絕。

“年齡歧視既不公正也不合法，”EEOC主席Charlotte Burrows在一份聲明中表示，“即使技術(shù)在自動化歧視，雇主仍需承擔(dān)責(zé)任。”

盡管iTutor Group否認(rèn)有任何不當(dāng)行為，但最終還是決定與對方達(dá)成和解。作為和解和同意令的一部分，iTutor Group同意采用新的反歧視政策。

ChatGPT編造法院案例

2023年，大型語言模型(LLM)技術(shù)的進(jìn)展引發(fā)了各行業(yè)對GenAI(Gen AI)變革潛力的廣泛興趣。OpenAI的ChatGPT成為這一浪潮的焦點(diǎn)，但該技術(shù)在可靠接管大多數(shù)流程之前還有很長的路要走。紐約律師Steven Schwartz在2023年就深陷困境，這件事也突顯了這一點(diǎn)。當(dāng)時(shí)，他在針對哥倫比亞航空公司Avianca的訴訟中使用ChatGPT進(jìn)行法律研究，結(jié)果被美國地方法院法官Kevin Castel發(fā)現(xiàn)其引用了虛構(gòu)的案例。

Schwartz是Levidow, Levidow & Oberman律師事務(wù)所的律師，他使用OpenAI的GenAI聊天機(jī)器人來查找支持Avianca員工Roberto Mata案件的先例，后者因2019年的一次受傷而提起訴訟，但提交的簡報(bào)中至少六個(gè)案例并不存在。在去年5月提交的文件中，Castel法官指出，Schwartz提交的案例包括虛假的名字、案件號、內(nèi)部引述和引文。

Schwartz的合伙人Peter LoDuca是Mata案件的代理律師，并在簡報(bào)上簽字，自己也因此卷入了這一風(fēng)波。

在一份宣誓書中，Schwartz告訴法庭，這是他首次使用ChatGPT作為法律研究工具，他“并不知道其內(nèi)容可能是虛假的”。他承認(rèn)沒有核實(shí)AI聊天機(jī)器人提供的來源，并表示后悔使用GenAI來補(bǔ)充法律研究，今后在未驗(yàn)證信息真實(shí)性的情況下不會再使用。

2023年6月，Castel法官對Schwartz和LoDuca處以5000美元罰款，并在同月的另一項(xiàng)裁決中駁回了Mata對Avianca的訴訟。

AI算法識別一切，唯獨(dú)不適合新冠疫情

自2020年新冠疫情開始以來，許多組織試圖應(yīng)用機(jī)器學(xué)習(xí)(ML)算法幫助醫(yī)院更快地診斷或分流患者，然而，根據(jù)英國數(shù)據(jù)科學(xué)與AI國家中心——圖靈研究所的報(bào)告，這些預(yù)測工具幾乎沒有帶來任何顯著效果。

《麻省理工科技評論》記錄了許多AI失敗案例，其中大部分源自工具在訓(xùn)練或測試過程中的錯誤。使用錯誤標(biāo)記的數(shù)據(jù)或來源不明的數(shù)據(jù)是常見的罪魁禍?zhǔn)住?/p>

劍橋大學(xué)的機(jī)器學(xué)習(xí)研究員Derek Driggs及其同事在《自然機(jī)器智能》上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型診斷COVID-19病毒的情況。該論文得出結(jié)論：這種技術(shù)不適合臨床使用。例如，Driggs的研究團(tuán)隊(duì)發(fā)現(xiàn)，他們自己的模型存在缺陷，因?yàn)槠溆?xùn)練數(shù)據(jù)集包含了躺著掃描和站立掃描的患者。躺著掃描的患者往往病情更嚴(yán)重，因此算法學(xué)會了根據(jù)患者的姿勢來識別COVID-19風(fēng)險(xiǎn)。

另一個(gè)類似的例子是，一個(gè)算法通過含有健康兒童胸部掃描圖的數(shù)據(jù)集進(jìn)行訓(xùn)練。結(jié)果該算法學(xué)會了識別兒童，而不是高風(fēng)險(xiǎn)患者。

Zillow因算法購房失敗減記數(shù)百萬資產(chǎn)并大幅裁員

2021年11月，在線房地產(chǎn)市場平臺Zillow告知股東，將逐步關(guān)閉其Zillow Offers業(yè)務(wù)，并在接下來的幾個(gè)季度內(nèi)裁減公司25%的員工，即大約2000名員工。該公司“房屋翻轉(zhuǎn)”部門的困境源于其用于預(yù)測房價(jià)的機(jī)器學(xué)習(xí)算法的錯誤率。

Zillow Offers是一個(gè)通過公司基于機(jī)器學(xué)習(xí)算法生成的房產(chǎn)估值“Zestimate”來提供現(xiàn)金購買房產(chǎn)的項(xiàng)目。該計(jì)劃的目的是翻新房產(chǎn)后迅速出售，然而，Zillow的發(fā)言人告訴CNN，該算法的中位數(shù)錯誤率為1.9%，而對于非市場上的房屋，該錯誤率可高達(dá)6.9%。

CNN報(bào)道，自2018年4月Zillow Offers推出以來，Zillow購買了27,000套房屋，但截至2021年9月底，僅售出了17000套。新冠疫情以及房屋翻新工人的短缺等“黑天鵝事件”也導(dǎo)致了算法準(zhǔn)確性的問題。

Zillow表示，該算法導(dǎo)致公司以高于其后續(xù)預(yù)估銷售價(jià)格的價(jià)格購買了房產(chǎn)，結(jié)果在2021年第三季度進(jìn)行了3.04億美元的庫存減記。

在宣布后的投資者電話會議上，Zillow的聯(lián)合創(chuàng)始人兼CEO Rich Barton表示，盡管可以調(diào)整算法，但最終風(fēng)險(xiǎn)太大。

醫(yī)療算法未能標(biāo)記黑人患者

2019年，《科學(xué)》雜志發(fā)表了一項(xiàng)研究，揭示了美國各大醫(yī)院和保險(xiǎn)公司使用的一種醫(yī)療預(yù)測算法對黑人患者的識別能力較低，無法有效標(biāo)記出需要高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃的黑人患者。

高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃為慢性病患者提供專業(yè)護(hù)理人員和初級護(hù)理監(jiān)控，旨在預(yù)防嚴(yán)重并發(fā)癥，然而，研究發(fā)現(xiàn)該算法更傾向于推薦白人患者參加這些計(jì)劃，而不是黑人患者。

研究發(fā)現(xiàn)，該算法使用醫(yī)療費(fèi)用作為衡量個(gè)人醫(yī)療需求的代理變量，然而，根據(jù)《科學(xué)美國人》的報(bào)道，病情較重的黑人患者的醫(yī)療費(fèi)用與健康白人的費(fèi)用相當(dāng)，這導(dǎo)致他們獲得了較低的風(fēng)險(xiǎn)評分，即使他們的需求更高。

該研究的研究人員指出，可能有幾個(gè)因素導(dǎo)致了這一現(xiàn)象。首先，有色人種更可能收入較低，即使有保險(xiǎn)，他們也可能較少獲得醫(yī)療服務(wù)。隱性偏見也可能導(dǎo)致有色人種獲得的醫(yī)療服務(wù)質(zhì)量較低。

盡管該研究未點(diǎn)明具體的算法或開發(fā)者，但研究人員告訴《科學(xué)美國人》，他們正在與開發(fā)者合作以解決這一問題。

微軟聊天機(jī)器人因數(shù)據(jù)集訓(xùn)練發(fā)布種族主義推文

2016年3月，微軟學(xué)到了一個(gè)沉痛的教訓(xùn)：使用Twitter上的互動作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會產(chǎn)生令人不安的結(jié)果。

微軟推出了一款名為Tay的AI聊天機(jī)器人，并將其描述為“對話理解”實(shí)驗(yàn)。其設(shè)計(jì)初衷是讓這個(gè)聊天機(jī)器人扮演一位少女，通過ML和自然語言處理與Twitter用戶進(jìn)行互動。微軟為其提供了匿名的公共數(shù)據(jù)和由喜劇演員預(yù)先編寫的部分內(nèi)容，然后讓它在社交網(wǎng)絡(luò)上進(jìn)行學(xué)習(xí)和自我演化。

然而在短短16小時(shí)內(nèi)，該機(jī)器人發(fā)布了超過95000條推文，其中迅速充斥了公然的種族主義、厭女癥和反猶主義言論。微軟迅速暫停了該服務(wù)進(jìn)行調(diào)整，并最終徹底關(guān)閉了這一項(xiàng)目。

“我們對Tay發(fā)布的無意中冒犯和傷害性的推文深感抱歉，這些推文并不代表我們的立場，也不是我們設(shè)計(jì)Tay的初衷，”微軟研究與孵化部門的副總裁Peter Lee(當(dāng)時(shí)是微軟醫(yī)療部門的副總裁)在事后發(fā)布于微軟官方博客的帖子中寫道。

Lee指出，Tay的前身Xiaoice于2014年由微軟在中國發(fā)布，在Tay發(fā)布前的兩年里，Xiaoice與超過4000萬人進(jìn)行了成功的對話。但微軟沒有預(yù)料到，一些Twitter用戶會立即開始向Tay發(fā)送種族主義和厭女癥評論，Tay很快就從這些內(nèi)容中學(xué)習(xí)并將其融入自己的推文中。

亞馬遜AI招聘工具僅推薦男性

像許多大型公司一樣，亞馬遜渴望使用能夠幫助其人力資源部門篩選最佳候選人的工具，2014年，亞馬遜開始開發(fā)一款A(yù)I驅(qū)動的招聘軟件，然而，這款系統(tǒng)存在一個(gè)重大問題：它嚴(yán)重偏向男性候選人。2018年，路透社曝光了亞馬遜已經(jīng)放棄該項(xiàng)目的消息。

亞馬遜的系統(tǒng)會為候選人打分，分?jǐn)?shù)從1星到5星不等，但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是基于亞馬遜過去十年收到的簡歷進(jìn)行訓(xùn)練的，而其中大多數(shù)簡歷來自男性候選人。由于這些訓(xùn)練數(shù)據(jù)的影響，系統(tǒng)開始對包含“女性”字樣的簡歷短語進(jìn)行懲罰，甚至降低了來自全女性學(xué)院的候選人的評分。

亞馬遜當(dāng)時(shí)表示，這個(gè)工具從未被亞馬遜招聘人員用來評估候選人。公司嘗試修改該工具以使其中立，但最終決定無法保證它不會以其他歧視性的方式對候選人進(jìn)行排序，因此終止了該項(xiàng)目。