2017 年，《經(jīng)濟(jì)學(xué)人》宣稱，數(shù)據(jù)已經(jīng)超越石油成為世界上最有價(jià)值的資源。從那以后，這種說(shuō)法一直在重復(fù)。各個(gè)行業(yè)的企業(yè)一直并將繼續(xù)在數(shù)據(jù)和分析領(lǐng)域進(jìn)行大量投入。但就像石油一樣，數(shù)據(jù)和分析領(lǐng)域也有其陰暗面。

根據(jù)《2022 年首席信息官狀況》報(bào)告，35% 的 IT 領(lǐng)導(dǎo)者表示，數(shù)據(jù)和業(yè)務(wù)分析領(lǐng)域?qū)⒃诮衲晖苿?dòng)其公司進(jìn)行最大的 IT 投資。20% 的 IT 領(lǐng)導(dǎo)者表示，機(jī)器學(xué)習(xí)/人工智能將推動(dòng)企業(yè)進(jìn)行最大的 IT 投資。從機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的業(yè)務(wù)舉措和從分析工作中獲取的洞察力可為企業(yè)帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì)，但一些錯(cuò)誤可能會(huì)使企業(yè)在聲譽(yù)、收入甚至生命方面付出高昂的代價(jià)。

了解你的數(shù)據(jù)以及其中所包含的信息，這很重要，了解你使用的工具、了解你的數(shù)據(jù)以及牢記自己企業(yè)的價(jià)值觀也很重要。

以下是過(guò)去十年中一些在分析和人工智能領(lǐng)域備受矚目的錯(cuò)誤，以說(shuō)明哪些方面可能會(huì)出現(xiàn)問(wèn)題。

人工智能算法可識(shí)別所有東西，但不包括新冠病毒

自新冠疫情開(kāi)始以來(lái)，許多企業(yè)都在試圖利用機(jī)器學(xué)習(xí)算法來(lái)幫助醫(yī)院更快地診斷或分診患者。但據(jù)英國(guó)國(guó)家數(shù)據(jù)科學(xué)和人工智能中心“圖靈研究所”(Turing Institute) 稱，預(yù)測(cè)工具幾乎沒(méi)有帶來(lái)多少影響。

《麻省理工科技評(píng)論》(MIT Technology Review) 記錄了許多失敗案例，其中大部分失敗案例源于工具訓(xùn)練或測(cè)試方式的錯(cuò)誤。使用錯(cuò)誤標(biāo)記的數(shù)據(jù)或使用來(lái)自未知來(lái)源的數(shù)據(jù)是常見(jiàn)的問(wèn)題起因。

劍橋大學(xué)機(jī)器學(xué)習(xí)技術(shù)研究員德里克·德里格斯 (Derek Driggs) 和他的同事在《自然-機(jī)器智能》(Nature Machine Intelligence) 刊物上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型來(lái)診斷病毒。該論文明確指出，這一技術(shù)不適合臨床使用。例如，德里格斯的團(tuán)隊(duì)發(fā)現(xiàn)他們自己的模型存在缺陷，因?yàn)樵撃Ｐ褪腔谝粋€(gè)數(shù)據(jù)集來(lái)訓(xùn)練的，而該數(shù)據(jù)集包括躺臥患者的掃描圖和站立患者的掃描圖。躺臥患者更有可能患有重病，因此，該算法學(xué)會(huì)了根據(jù)掃描圖中患者的身體位置來(lái)識(shí)別新冠病毒風(fēng)險(xiǎn)。

一個(gè)類似的例子是使用含有健康兒童胸部掃描圖的數(shù)據(jù)集進(jìn)行訓(xùn)練的一個(gè)算法。該算法學(xué)會(huì)了如何識(shí)別兒童，而不是識(shí)別高危患者。

由于購(gòu)房算法的災(zāi)難性錯(cuò)誤，Zillow 公司損失了數(shù)百萬(wàn)美元，并大幅裁員

2021 年 11 月，在線房地產(chǎn)公司 Zillow 告訴股東，公司將在未來(lái)幾個(gè)季度結(jié)束其 Zillow Offers 業(yè)務(wù)，并將裁掉 25% 的公司員工(約 2000 名員工)。這家炒房公司的困境就是因?yàn)槠溆糜陬A(yù)測(cè)房?jī)r(jià)的機(jī)器學(xué)習(xí)算法中的錯(cuò)誤率所導(dǎo)致。

Zillow Offers 是一個(gè)程序，該公司通過(guò)該程序?qū)δ骋环慨a(chǎn)給出現(xiàn)金報(bào)價(jià)，而該報(bào)價(jià)則是基于“Zestimate 房產(chǎn)估價(jià)軟件”的機(jī)器學(xué)習(xí)算法而得出的房屋價(jià)值。其想法是對(duì)這些房產(chǎn)進(jìn)行翻新，然后迅速賣出。但 Zillow 公司的一位發(fā)言人告訴美國(guó)有線電視新聞網(wǎng) (CNN)，該算法的錯(cuò)誤率中位數(shù)為 1.9%，而對(duì)于未上市房屋的錯(cuò)誤率可能更高，高達(dá) 6.9%。

美國(guó)有線電視新聞網(wǎng)報(bào)道稱，Zillow 公司自 2018 年 4 月推出 Zillow Offers以來(lái)，通過(guò)此項(xiàng)業(yè)務(wù)購(gòu)買了 27000 套房屋，但到 2021 年 9 月底僅售出 17000 套。新冠疫情和家庭裝修勞動(dòng)力短缺等黑天鵝事件也導(dǎo)致了該算法的準(zhǔn)確率出現(xiàn)問(wèn)題。

Zillow 公司表示，該算法導(dǎo)致公司無(wú)意中以高于當(dāng)前預(yù)計(jì)的未來(lái)售價(jià)購(gòu)買房屋，從而導(dǎo)致 2021 年第三季度的庫(kù)存房屋跌價(jià)為 3.04 億美元。

在該消息發(fā)布后，Zillow 公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官里奇·巴頓 (Rich Barton) 在與投資人舉行的電話會(huì)議上表示，或許可以對(duì)該算法進(jìn)行調(diào)整，但最終其風(fēng)險(xiǎn)太大。

因超出電子表格的數(shù)據(jù)限制，英國(guó)丟失了數(shù)千個(gè)新冠病毒病例

2020 年 10 月，負(fù)責(zé)統(tǒng)計(jì)新冠病毒新增感染病歷的英國(guó)政府機(jī)構(gòu)“英國(guó)公共衛(wèi)生部”(PHE) 透露，在 9 月 25 日至 10 月 2 日期間，有近 16000 例冠狀病毒病例沒(méi)有上報(bào)。其罪魁禍?zhǔn)资鞘裁?Microsoft Excel 表格中的數(shù)據(jù)限制。

英國(guó)公共衛(wèi)生部使用自動(dòng)化流程將新冠病毒陽(yáng)性實(shí)驗(yàn)室結(jié)果以 CSV 文件形式轉(zhuǎn)入 Excel 模板中，然后用于報(bào)告儀表板和接觸人追蹤。不幸的是，Excel 電子表格的每個(gè)工作表最多允許有 1048576 行和 16384 列。此外，“英國(guó)公共衛(wèi)生部”按列而不是按行列出感染病例。當(dāng)這些病例超過(guò) 16384 列的限制時(shí)，Excel 表格會(huì)切斷底部的 15841 條記錄。

這個(gè)“小故障”并沒(méi)有影響接受病毒檢測(cè)的個(gè)人收到他們的結(jié)果，但這確實(shí)阻礙了接觸者追蹤工作，使英國(guó)國(guó)家衛(wèi)生署 (NHS) 更難找到和通知與病毒感染者密切接觸的個(gè)人。英國(guó)公共衛(wèi)生部 (PHE) 臨時(shí)首席執(zhí)行官邁克爾·布羅迪在 10 月 4 日的一份聲明中表示，英國(guó)國(guó)家衛(wèi)生署的測(cè)試和追蹤部門和英國(guó)公共衛(wèi)生部已迅速解決了這一問(wèn)題，并已將所有未解決病例立即轉(zhuǎn)移到英國(guó)國(guó)家衛(wèi)生署的測(cè)試和追蹤部門的接觸者追蹤系統(tǒng)中。

英國(guó)公共衛(wèi)生部實(shí)施了“快速緩解措施”，將大文件進(jìn)行拆分，并對(duì)所有系統(tǒng)進(jìn)行了全面的端到端審查，以防止未來(lái)發(fā)生類似事件。

醫(yī)療服務(wù)算法未能標(biāo)記黑人患者

2019 年，發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，美國(guó)各地的醫(yī)院和保險(xiǎn)公司使用一種醫(yī)療服務(wù)預(yù)測(cè)算法來(lái)找出需要加入“高風(fēng)險(xiǎn)護(hù)理管理”計(jì)劃的患者，但這種算法不太可能單獨(dú)挑出黑人患者。

高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃可為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級(jí)護(hù)理監(jiān)測(cè)，以防止出現(xiàn)嚴(yán)重的并發(fā)癥。但該算法更有可能將這些項(xiàng)目推薦給白人患者，而不是黑人患者。

該項(xiàng)研究發(fā)現(xiàn)，這一算法使用醫(yī)療支出作為確定某人是否需要醫(yī)療服務(wù)的指標(biāo)。但據(jù)《科學(xué)美國(guó)人》(Scientific American) 雜志報(bào)道，病情較重的黑人患者的醫(yī)療費(fèi)用與更健康的白人的醫(yī)療費(fèi)用相當(dāng)，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風(fēng)險(xiǎn)評(píng)分也會(huì)較低。

該項(xiàng)研究的研究人員表示，可能有幾個(gè)因素在起作用。首先，有色人種更有可能收入較低，即使有保險(xiǎn)，也可能使他們不太可能獲得醫(yī)療服務(wù)。隱性偏見(jiàn)也可能導(dǎo)致有色人種接受到更低質(zhì)量的醫(yī)療服務(wù)。

盡管該項(xiàng)研究沒(méi)有提及這一算法或開(kāi)發(fā)者的名字，但研究人員告訴《科學(xué)美國(guó)人》雜志，他們正在與開(kāi)發(fā)者合作解決這一問(wèn)題。

經(jīng)數(shù)據(jù)集訓(xùn)練的微軟聊天機(jī)器人發(fā)表種族主義推文

2016 年 3 月，微軟了解到，使用推特平臺(tái)交流信息作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會(huì)產(chǎn)生令人沮喪的結(jié)果。

微軟在社交媒體平臺(tái)上推出了一款人工智能聊天機(jī)器人，被稱為 Tay。微軟公司將其稱為一個(gè)“對(duì)話理解”的實(shí)驗(yàn)。他們的想法是，該聊天機(jī)器人將扮演一個(gè)十幾歲的少女，結(jié)合使用機(jī)器學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，可通過(guò)推特平臺(tái)與他人進(jìn)行交流。微軟將一些匿名的公共數(shù)據(jù)和喜劇演員預(yù)先編寫的材料植入該機(jī)器人中，然后讓它通過(guò)社交網(wǎng)絡(luò)上的交流來(lái)學(xué)習(xí)和發(fā)展。

在 16 小時(shí)內(nèi)，該聊天機(jī)器人發(fā)布了 95000 多條推文，這些推文迅速呈現(xiàn)出公然的種族主義、厭惡女性和反猶太主義。微軟迅速暫停了該服務(wù)以進(jìn)行調(diào)整，并最終停止了這一服務(wù)。

“我們對(duì) Tay 無(wú)意識(shí)發(fā)出的冒犯性和傷害性推文深表歉意，這些推文并不代表我們的身份或我們的立場(chǎng)，也不代表我們?cè)O(shè)計(jì)該機(jī)器人的方式。”在此事件發(fā)生后，微軟研究與孵化部(時(shí)任微軟醫(yī)療部門公司副總裁)公司副總裁彼得·李 (Peter Lee) 在微軟官方博客上的一篇文章中寫道。

李指出，微軟公司于 2014 年在中國(guó)推出了 Tay 的前身微軟小冰 (Xiaoice)，在 Tay 推出前的兩年內(nèi)，微軟小冰已成功與 4000 多萬(wàn)人進(jìn)行了對(duì)話。令微軟公司沒(méi)有考慮到的是，一群推特用戶會(huì)立即開(kāi)始向 Tay 發(fā)出種族主義和厭惡女性的言論。該機(jī)器人迅速?gòu)倪@些材料中進(jìn)行學(xué)習(xí)，然后將這些內(nèi)容整合到自己的推文中。

“盡管我們已經(jīng)為多種類型的系統(tǒng)濫用行為做好了準(zhǔn)備，但我們還是對(duì)這一特定的冒犯行為犯了嚴(yán)重的疏忽。因此，Tay 在推特上發(fā)布了這些非常不恰當(dāng)和應(yīng)受譴責(zé)的文字和圖片?！崩顚懙?。

亞馬遜公司的人工智能招聘工具只推薦男性

與許多大公司一樣，亞馬遜公司也渴望使用一些工具，能幫助其人力資源部門篩選一些職位申請(qǐng)，以找到最佳的應(yīng)聘者。2014 年，亞馬遜公司開(kāi)始開(kāi)發(fā)人工智能招聘軟件來(lái)解決這一問(wèn)題。但只存在一個(gè)問(wèn)題：該系統(tǒng)非常偏愛(ài)男性應(yīng)聘者。2018 年，路透社報(bào)道稱，亞馬遜公司終止了該項(xiàng)目。

亞馬遜公司的系統(tǒng)會(huì)給應(yīng)聘者打出從 1 到 5 的星級(jí)評(píng)分。但該系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是基于提交給亞馬遜公司的 10 年簡(jiǎn)歷數(shù)據(jù)進(jìn)行訓(xùn)練的——其中大部分是男性簡(jiǎn)歷。由于是基于這些訓(xùn)練數(shù)據(jù)，因此，該系統(tǒng)便使那些包含“女性”一詞的簡(jiǎn)歷處于不利地位，甚至?xí)鼓切﹣?lái)自女子大學(xué)的應(yīng)聘者獲得更低的評(píng)分。

當(dāng)時(shí)，亞馬遜公司表示，亞馬遜的招聘人員從未使用該工具來(lái)評(píng)估應(yīng)聘者。

亞馬遜公司曾試圖修改該工具以使其保持公平，但最終認(rèn)定公司無(wú)法保證這一工具不會(huì)學(xué)習(xí)到其他歧視性的候選人篩選方式，然后終止了該項(xiàng)目。

美國(guó)塔吉特公司 (Target) 的分析工作侵犯了隱私

2012 年，零售巨頭塔吉特公司的一個(gè)分析項(xiàng)目已顯示出，企業(yè)可以從其數(shù)據(jù)中了解多少客戶信息。據(jù)《紐約時(shí)報(bào)》報(bào)道，2002 年，塔吉特公司的銷售部門開(kāi)始考慮如何判斷某一顧客是否懷孕。這一想法導(dǎo)致啟動(dòng)了一個(gè)預(yù)測(cè)分析項(xiàng)目，該項(xiàng)目導(dǎo)致公司無(wú)意中向一名少女的家人透露了她懷孕的消息。反過(guò)來(lái)，這也導(dǎo)致各種文章和營(yíng)銷博客引用該事件作為一個(gè)建議，以避免發(fā)生這一“令人恐怖的情況”。

塔吉特公司的營(yíng)銷部門想要找出懷孕的顧客，因?yàn)樵谌松械哪承r(shí)期(尤其是懷孕時(shí)期)，人們極有可能徹底改變自己的購(gòu)買習(xí)慣。如果塔吉特公司可以在這一時(shí)期接觸到這些顧客，例如，可以培養(yǎng)這些客戶的新購(gòu)物行為，讓他們來(lái)塔吉特公司購(gòu)買雜貨、服裝或其他商品。

與所有其他大型零售商一樣，塔吉特公司一直在通過(guò)購(gòu)物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)。它將這些數(shù)據(jù)與其購(gòu)買的人口數(shù)據(jù)和第三方數(shù)據(jù)整合在一起。對(duì)所有這些數(shù)據(jù)進(jìn)行處理后，塔吉特公司的分析團(tuán)隊(duì)能夠確定，通過(guò)對(duì)公司售出的大約 25 種產(chǎn)品一起進(jìn)行分析，可以生成一個(gè)“懷孕預(yù)測(cè)”分?jǐn)?shù)。然后，營(yíng)銷部門可以針對(duì)高評(píng)分顧客提供優(yōu)惠券和發(fā)送營(yíng)銷信息。

進(jìn)一步的研究表明，研究顧客的生育狀況可能會(huì)讓其中一些顧客感到恐怖。據(jù)《紐約時(shí)報(bào)》報(bào)道，該公司并沒(méi)有放棄自己的定向市場(chǎng)營(yíng)銷工作，但他們確實(shí)開(kāi)始混入一些他們知道孕婦不會(huì)購(gòu)買的商品的廣告(包括在尿布廣告旁邊出現(xiàn)割草機(jī)廣告)，以使顧客覺(jué)得這些廣告組合很隨機(jī)。