[[439096]]

英國《經(jīng)濟學(xué)人》雜志在2017年宣布數(shù)據(jù)已經(jīng)取代石油，成為了世界上最有價值的資源。各行業(yè)組織開始在數(shù)據(jù)和分析方面加大投資。但與石油一樣，數(shù)據(jù)和分析也有其陰暗面。

根據(jù)IDG公司發(fā)布的《2021年CIO狀況報告》，39%的IT領(lǐng)導(dǎo)者表示，2021年的數(shù)據(jù)分析將推動其企業(yè)的大部分IT投資，高于2020年的37%。從機器學(xué)習(xí)算法驅(qū)動的分析和行動中獲得的見解可以為企業(yè)提供競爭優(yōu)勢，但如果出錯可能會在聲譽、收入甚至人身安全方面帶來巨大的損失。

了解數(shù)據(jù)及其表達的信息很重要，企業(yè)了解采用的工具、數(shù)據(jù)并牢記企業(yè)的價值觀也很重要。

以下是過去10年來一些令人關(guān)注的分析和人工智能錯誤，以說明可能出現(xiàn)的問題。

1.Zillow公司由于算法問題損失慘重，并裁減25%的員工

2021年11月，在線房地產(chǎn)服務(wù)商Zillow公司告訴該公司股東，將在未來的幾個季度縮減其Zillow Offers業(yè)務(wù)規(guī)模，并裁減25%的員工(約2000名)。Zillow公司面臨的困境是其用于預(yù)測房價的機器學(xué)習(xí)算法中的錯誤率造成的。

Zillow Offers是一個應(yīng)用程序，該公司根據(jù)其機其器學(xué)習(xí)算法“Zestimate”得出的房屋價值對房產(chǎn)進行報價評估。該公司當時的想法是翻修這些房產(chǎn)并快速出售進行周轉(zhuǎn)。但是Zillow公司的一位發(fā)言人表示，其算法的平均錯誤率為1.9%，而對于非市場住宅，錯誤率可能更高，高達6.9%。

據(jù)美國有線電視新聞網(wǎng)報道，自從2018年4月推出以來，Zillow公司采用Zillow Offers購買了27000套房屋，但一直到2021年9月底僅售出17000套。新冠疫情和房屋裝修勞動力短缺等黑天鵝事件導(dǎo)致了該算法在準確性方面出現(xiàn)了問題。

Zillow表示，該算法導(dǎo)致該公司以更高的價格購買房屋，導(dǎo)致該公司的資產(chǎn)到2021年第三季度減少了3億400萬美元。

在與投資者召開的電話會議上，Zillow公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官RichBarton表示可能會調(diào)整算法，但面臨的風(fēng)險太大。

2.英國公共衛(wèi)生部(PHE)因超出電子表格數(shù)據(jù)限制而丟失了數(shù)千例新冠病毒病例

2020年10月，負責(zé)統(tǒng)計COVID-19感染病例的英國公共衛(wèi)生部(PHE)透露，在今年9月25日至10月2日期間，有將近16000例冠狀病毒病例沒有報告。其罪魁禍首是什么?其原因是Microsoft公司的辦公軟件Excel表格的數(shù)據(jù)限制。

英國公共衛(wèi)生部(PHE)使用自動化流程將COVID-19陽性實驗室結(jié)果作為CSV文件傳輸?shù)綀蟾鎯x表板和聯(lián)系人跟蹤使用的Excel模板中。不幸的是，Excel電子表格每個工作表最多只能有1048576行和16384列。此外，其表格是按列而不是按行來列出案例。當案例超過16384列的限制時，Excel會刪除底部的15841條記錄。

雖然這一故障并沒有影響接受病毒檢測的民眾收到他們的檢測結(jié)果，但它確實阻礙了接觸者追蹤工作，使英國國家衛(wèi)生服務(wù)系統(tǒng)(NHS)更難識別和通知與受感染患者有密切接觸的個人。英國公共衛(wèi)生部(PHE)臨時首席執(zhí)行官Michael Brodie在10月4日的一份聲明中表示已經(jīng)迅速解決了這個問題，并將所有記錄立即轉(zhuǎn)移到NHS Test and Trace接觸者追蹤系統(tǒng)中。

英國公共衛(wèi)生部(PHE)實施了一項“快速緩解措施”，可以拆分大型Excel文件，并對所有系統(tǒng)進行了全面的端到端審查，以防止將來發(fā)生類似事件。

3.美國的醫(yī)療保健算法無法標記黑人患者

2019年發(fā)表在《科學(xué)》雜志上的一項研究表明，美國各地的醫(yī)院和保險公司使用一種醫(yī)療保健預(yù)測算法來識別需要“高風(fēng)險護理管理”計劃的患者，但該算法無法挑出黑人患者。

這個高風(fēng)險護理管理計劃為慢性病患者提供訓(xùn)練有素的護理人員和初級保健監(jiān)測，以防止出現(xiàn)嚴重并發(fā)癥。但該算法更傾向于推薦白人患者參與這些項目。

這項研究的研究人員認為，可能有幾個因素造成了影響。首先，有色人種的收入可能較低，即使有保險，他們也不太可能獲得醫(yī)療服務(wù)。而隱性偏見也可能導(dǎo)致有色人種接受低質(zhì)量的護理服務(wù)。

雖然這項研究沒有提到算法或開發(fā)商的名字，但研究人員表示，正在與開發(fā)人員合作解決這個問題。

4.數(shù)據(jù)集訓(xùn)練微軟聊天機器人發(fā)布種族主義推文

2016年3月，微軟公司了解到，使用Twitter交互作為機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能會產(chǎn)生令人沮喪的結(jié)果。

微軟公司在社交媒體平臺上推出了人工智能聊天機器人Tay。該公司將其描述為“對話式理解”的一個實驗。其想法是讓聊天機器人扮演一個十幾歲女孩的角色，并使用機器學(xué)習(xí)和自然語言處理相結(jié)合的方式通過Twitter與用戶互動。微軟公司采用匿名的公共數(shù)據(jù)預(yù)先編寫的材料植入聊天機器人的應(yīng)用程序中，然后讓它從社交網(wǎng)絡(luò)上的互動中學(xué)習(xí)和發(fā)展。

在16小時內(nèi)，這個聊天機器人發(fā)布了95000多條推文，這些推文迅速充斥了具有明顯的種族主義、厭女主義和反猶太主義的內(nèi)容。微軟公司很快停止了這項服務(wù)進行調(diào)整，并最終取消了這項服務(wù)。

微軟公司研究與孵化公司副總裁Peter Lee在此次事件發(fā)生之后在微軟官方博客上的一篇文章中寫道，“我們對來自Tay的無意冒犯和傷害的推文深表歉意，這些推文并不代表我們的觀點，也不代表我們設(shè)計Tay的本意。”

Lee指出，微軟公司于2014年推出了Tay的前身小冰，在Tay發(fā)布前的兩年內(nèi)，小冰已經(jīng)成功與4000多萬人進行了對話。但微軟公司沒有考慮到的是，很多Twitter用戶會立即向Tay發(fā)布種族主義和厭惡女性的評論。該機器人很快從這些推文中學(xué)習(xí)并將其納入自己的推文中。

他寫道，“雖然我們已經(jīng)為人工智能系統(tǒng)的多種類型的濫用做好了準備，但我們疏忽這一特定的攻擊。因此，Tay在推特上發(fā)布了極不恰當并且應(yīng)受譴責(zé)的文字和圖片。”

5.亞馬遜人工智能招聘工具只推薦男性

像許多大公司一樣，亞馬遜公司渴望能夠幫助其人力資源部門篩選最佳應(yīng)聘者的工具。2014年，亞馬遜公司希望開發(fā)基于人工智能的招聘軟件來做到這一點。但出現(xiàn)了一個問題：該系統(tǒng)傾向選擇男性應(yīng)聘者。亞馬遜公司于2018年取消了該項目。

亞馬遜公司的這個人工智能招聘系統(tǒng)給應(yīng)聘者的星級評分從1到5。但人工智能系統(tǒng)核心的機器學(xué)習(xí)模型是根據(jù)提交給亞馬遜公司的10年簡歷進行訓(xùn)練的——其中大部分簡歷來自男性。由于這些訓(xùn)練數(shù)據(jù)，招聘系統(tǒng)開始對簡歷中包含“女性”一詞的短語進行降分處理。

亞馬遜公司當時表示，該公司招聘人員從未使用該工具來評估應(yīng)聘者。該公司試圖對該工具進行調(diào)整，試圖使其保持中立，但最終決定無法保證它不會學(xué)習(xí)其他歧視性的應(yīng)聘者分類方法，最終取消了這個項目。

6.Target公司的分析項目侵犯隱私

2012年，零售巨頭Target公司的一個分析項目展示了可以從他們的數(shù)據(jù)中了解多少客戶。根據(jù)《紐約時報》的報道，2002年，Target公司的營銷部門想知道如何確定客戶是否懷孕。一個預(yù)測分析項目開展了一系列調(diào)查，該項目將導(dǎo)致零售商無意中向一個十幾歲女孩的家人透露她已經(jīng)懷孕。而此次事件導(dǎo)致大量文章和營銷博客引用，并作為侵犯隱私的一個典型案例。

Target公司的營銷部門希望確定懷孕的人群，是因為人們在生命中的某些時期(懷孕是最重要的時期之一)最有可能從根本上改變他們的購買習(xí)慣。例如，如果Target公司能夠在這段時間內(nèi)接觸到這些客戶，它可以讓這些客戶有更多新的行為，并讓他們轉(zhuǎn)向Target購買食品、服裝或其他商品。

與所有其他大型零售商一樣，Target公司一直在通過購物者代碼、信用卡、調(diào)查等方式收集客戶數(shù)據(jù)。它將這些數(shù)據(jù)與它購買的人口統(tǒng)計數(shù)據(jù)和第三方數(shù)據(jù)混合在一起。通過分析所有這些數(shù)據(jù)，Target公司的分析團隊可以確定其銷售的大約25種產(chǎn)品可以一起進行分析，從而得出“懷孕預(yù)測”分數(shù)。然后，營銷部門可以用優(yōu)惠券和營銷信息篩選出得分較高的客戶。

其他研究表明，研究客戶的生育狀態(tài)可能會讓一些客戶感到毛骨悚然。根據(jù)《泰晤士報》報道，該公司并沒有放棄其有針對性的營銷活動，而是在他們知道孕婦不會購買的東西的廣告中混入一些廣告，其中包括剪草機廣告和尿布廣告，以使客戶認為其廣告組合是隨機的。