在討論人工智能的威脅時，首先想到的是天網(wǎng)，黑客帝國和機器人啟示錄的圖像。排名第二的是技術(shù)失業(yè)，這是在可預見的未來的愿景，在該愿景中，人工智能算法將接管所有工作，并促使人們在不再需要人工勞動的世界中為無意義的生存而斗爭。

[[330865]]

這些威脅中的任何一個還是兩個都是真實存在的，在科學家和思想領(lǐng)袖之間引起了激烈的爭論。但是，人工智能算法還以不那么明顯和難以理解的方式構(gòu)成了當今更加迫在眉睫的威脅。

數(shù)學家凱茜·奧尼爾(Cathy O'Neil)在她的著作《數(shù)學破壞的武器：大數(shù)據(jù)如何增加不平等并威脅民主》中探討了盲目相信算法來做出敏感決策如何損害許多接受決策的人。

AI算法的危險可以表現(xiàn)在算法偏差和危險的反饋循環(huán)中，并且可以擴展到日常生活的各個領(lǐng)域，從經(jīng)濟到社會互動，再到刑事司法系統(tǒng)。盡管在決策中使用數(shù)學和算法并不是什么新鮮事，但深度學習的最新進展以及黑匣子AI系統(tǒng)的泛濫放大了它們的影響，無論是好是壞。如果我們不了解AI的當前威脅，我們將無法從AI的優(yōu)勢中受益。

危險AI算法的特征

我們使用算法進行建模以理解和處理許多事情。“畢竟，模型只不過是某種過程的抽象表示，無論是棒球比賽，石油公司的供應鏈，還是電影院的訂座，”奧尼爾在《數(shù)學武器》中寫道破壞。“無論它是在計算機程序中運行還是在我們的頭腦中運行，該模型都會利用我們所知道的知識，并用其預測各種情況下的響應。”

但是，由于深度學習的進步以及我們生活各個方面的數(shù)字化日益增強，越來越多的模型從我們的頭腦中轉(zhuǎn)移到了計算機上。借助寬帶互聯(lián)網(wǎng)，云計算，移動設(shè)備，物聯(lián)網(wǎng)(IoT)，可穿戴設(shè)備以及一系列其他新興技術(shù)，我們可以收集和處理越來越多的有關(guān)任何事物的數(shù)據(jù)。

對數(shù)據(jù)和計算能力的這種不斷增長的訪問幫助創(chuàng)建了可以自動執(zhí)行越來越多任務的AI算法。以前僅限于研究實驗室的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)進入許多以前對計算機具有挑戰(zhàn)性的領(lǐng)域，例如計算機視覺，機器翻譯，語音和面部識別。

到目前為止，一切都很好。有什么問題嗎?在數(shù)學破壞武器中，O'Neil指定了使AI模型變得危險的三個因素：不透明度，規(guī)模和破壞。

算法與公司不透明

AI系統(tǒng)的不透明性有兩個方面：技術(shù)和公司。近年來，技術(shù)上的不透明性(也稱為人工智能的黑匣子問題)受到了很多關(guān)注。

簡而言之，問題是，我們?nèi)绾沃繟I算法正在做出正確的決定?隨著AI逐漸進入貸款申請?zhí)幚恚庞迷u分，教師評級，累犯預測以及許多其他敏感領(lǐng)域，這個問題變得越來越關(guān)鍵。

許多媒體已經(jīng)發(fā)表文章，將AI算法描述為神秘的機器，其行為甚至對于開發(fā)人員來說都是未知的。但是，與媒體所描述的相反，并不是所有的AI算法都是不透明的。

傳統(tǒng)的軟件通常以AI術(shù)語稱為符號人工智能，以其可解釋和透明的特性而聞名。它們由手工編碼的規(guī)則組成，由軟件開發(fā)人員和領(lǐng)域?qū)＜揖慕M合而成?？梢詫λ鼈冞M行探測和審核，并且可以將錯誤追溯到發(fā)生錯誤的代碼行。

相反，近年來變得越來越流行的機器學習算法通過分析許多訓練示例并創(chuàng)建統(tǒng)計推斷模型來發(fā)展其行為。這意味著開發(fā)人員不一定對AI算法的行為擁有最終決定權(quán)。

但同樣，并非所有的機器學習模型都是不透明的。例如，決策樹和線性回歸模型是兩種流行的機器學習算法，它們將對決定其決策的因素給出清晰的解釋。如果您訓練決策樹算法來處理貸款申請，它可以為您提供樹狀分解(因此稱為名稱)，說明如何確定要確認和拒絕哪些貸款申請。這為開發(fā)人員提供了發(fā)現(xiàn)潛在問題因素并糾正模型的機會。

但是，在過去幾年中非常流行的深度神經(jīng)網(wǎng)絡(luò)在揭示其工作方式方面尤其不利。它們由一層層的人工神經(jīng)元，小的數(shù)學函數(shù)組成，這些函數(shù)將其參數(shù)調(diào)整為訓練期間看到的數(shù)千個示例。在很多情況下，很難探究深度學習模型并確定哪些因素有助于他們的決策過程。

貸款申請?zhí)幚砩疃葘W習算法是一個端到端模型，在該模型中，貸款申請進入，并得出最終結(jié)論。關(guān)于AI算法的決策方式，沒有逐個特征的細分。在大多數(shù)情況下，訓練有素的深度學習模型的性能將比其不太復雜的(決策樹，支持向量機，線性回歸等)更好，并且甚至可能發(fā)現(xiàn)相關(guān)模式，這些模式對于人類專家來說是不會被注意到的。

但是，即使是最精確的深度學習系統(tǒng)也會偶爾出錯，而一旦出錯，就很難確定出了什么問題。但是深度學習系統(tǒng)不需要在不透明性成為問題之前就犯錯誤。假設(shè)一個生氣的客戶想知道為什么AI應用程序拒絕了他們的貸款申請。當您擁有可解釋的AI系統(tǒng)時，就可以對做出決定的步驟提供清晰的解釋。

但是，盡管人工智能算法在技術(shù)上的不透明性在科技媒體上引起了廣泛關(guān)注，但很少討論的是公司使用其算法的不透明方式，即使算法本身是微不足道的且可解釋的。“即使參與者知道要建模，或者模型的用途是什么，該模型還是不透明的，甚至是不可見的?”奧尼爾在《數(shù)學毀滅性武器》中的問題。

將AI算法視為公司機密的公司會盡力將其隱藏，以保持領(lǐng)先于競爭對手的優(yōu)勢。對于支持Google搜索的AI算法，我們知之甚少。這種機密性是有道理的。例如，如果Google發(fā)布了其搜索算法的內(nèi)部結(jié)構(gòu)，那么它將很容易受到游戲的攻擊。實際上，即使沒有Google透露有關(guān)其搜索算法的詳細信息，整個行業(yè)也隨時準備尋找捷徑，直指Google搜索排名第一的位置。畢竟，算法是無意識的機器，它們按照自己的規(guī)則運行。他們不使用常識性判斷來識別扭曲行為準則的邪惡行為者。

但是，以同樣的例子為例，如果沒有透明度，我們?nèi)绾未_保Google本身不會操縱搜索結(jié)果來實現(xiàn)自己的目標和經(jīng)濟利益?這僅顯示了組織在使用AI算法時所走的細線。當AI系統(tǒng)不透明時，它們甚至不需要犯錯誤就可以造成破壞。甚至對系統(tǒng)性能的懷疑陰影也足以引起對系統(tǒng)的不信任。另一方面，過多的透明度也會適得其反，并導致其他災難性的后果。

O'Neil在GDPR和CCPA等規(guī)則生效之前，于2016年撰寫了《數(shù)學毀滅性武器》。這些法規(guī)要求公司對AI算法的使用保持透明，并允許用戶調(diào)查其自動化系統(tǒng)背后的決策過程。其他發(fā)展，例如歐盟委員會的道德AI規(guī)則，也激勵了透明度。

在解決有關(guān)AI透明性的技術(shù)，道德和法律問題方面已經(jīng)取得了很大的進步，還需要做更多的工作。隨著監(jiān)管機構(gòu)通過新法律來規(guī)范公司機密性，公司會找到新方法來規(guī)避這些規(guī)則，而又不會陷入困境，例如，很長的服務條款對話框會明顯地剝奪您獲得算法透明性的權(quán)利。

誰承擔著AI算法的損害

有很多AI算法的例子，它們會提出愚蠢的購物建議，錯誤分類圖像以及做其他愚蠢的事情。但是，隨著AI模型在我們的生活中越來越根深蒂固，它們的錯誤正從良性向破壞性轉(zhuǎn)變。

在書中，奧尼爾(O'Neil)探索了許多情況，這些情況會導致算法對人們的生命造成破壞。例子包括錯誤地對人進行懲罰的信用評分系統(tǒng)，根據(jù)種族和族裔背景對被告判處較重刑罰的累犯算法，最終會解雇表現(xiàn)出色的老師并獎勵作弊者的教師評分系統(tǒng)以及可賺取數(shù)十億美元的交易算法以低收入階層為代價。

算法的影響加上缺乏透明度，導致創(chuàng)建危險的AI系統(tǒng)。例如，奧尼爾說：“新的累犯模型既復雜又數(shù)學。但是在這些模型中嵌入了許多假設(shè)，其中一些是偏見的，”并且補充道，“累犯模型的工作方式被隱藏在算法中，只有少數(shù)精英才能理解。”

基本上，這意味著AI算法可以根據(jù)種族來決定將其關(guān)押，而被告無法查明為什么他們被認為沒有資格獲得赦免。

還有兩個因素使危險AI算法的破壞更加有害。

首先，數(shù)據(jù)。機器學習算法依賴于質(zhì)量數(shù)據(jù)來進行訓練和準確性。如果要圖像分類器準確檢測貓的圖片，則必須為其提供許多帶有標簽的貓的圖片。同樣，貸款申請算法將需要大量的貸款申請及其結(jié)果(已付款或未償還)的歷史記錄。

問題是，那些受到AI算法傷害的人通常是沒有足夠質(zhì)量數(shù)據(jù)的人。這就是為什么貸款申請?zhí)幚碚呖梢詾槟切┮呀?jīng)有足夠的銀行服務機會的人提供更好的服務，并對那些被大量剝奪了金融體系的沒有銀行服務的人和處境不利的人進行懲罰的原因。

第二個問題是反饋回路。當AI算法開始做出有問題的決策時，其行為會產(chǎn)生更多錯誤數(shù)據(jù)，這些錯誤數(shù)據(jù)又會被用于進一步完善算法，從而造成更大的偏見，并且循環(huán)不斷地繼續(xù)下去。

關(guān)于維持治安這一話題，奧尼爾認為，對犯罪的偏見預測會導致更多的警察在貧困社區(qū)居住。她寫道：“這會造成有害的反饋循環(huán)。”警務本身會產(chǎn)生新數(shù)據(jù)，這證明了更多警務的合理性。我們的監(jiān)獄里滿是成千上萬的被判無害罪行的人。”

當您對所有這些彼此分離且相互連接的AI系統(tǒng)如何相互了解產(chǎn)生更大的了解時，您將看到真正的危害是如何發(fā)生的。O'Neil總結(jié)了這種情況：“窮人更有可能信譽不好，生活在高犯罪率的社區(qū)中，周圍有其他窮人。一旦大規(guī)模殺傷性武器的黑暗世界消化了這些數(shù)據(jù)，它就會在掠奪性廣告中投放次級抵押貸款或營利性學校。它派出更多的警察逮捕他們，當他們被定罪后，將對其判處更長的刑期。該數(shù)據(jù)被輸入到其他大規(guī)模殺傷性武器中，這些大規(guī)模殺傷性武器將同一人評為高風險或容易成為目標，并繼續(xù)阻止他們工作，同時提高了他們按揭，汽車貸款和各種可能的保險費率。這進一步降低了他們的信用等級，創(chuàng)造的無非就是建模的死亡螺旋。在大規(guī)模殺傷性武器世界中變得貧窮變得越來越危險和昂貴。”

算法危害的爆炸性規(guī)模

“第三個問題是模型是否具有指數(shù)增長的能力。正如統(tǒng)計學家所說，它可以擴展嗎?”奧尼爾寫了“數(shù)學毀滅武器”一書。

考慮我們前面討論的Google搜索示例。數(shù)十億人使用Google搜索找到有關(guān)健康，政治和社會問題的重要問題的答案。Google的AI算法中的一個小錯誤會對公眾輿論產(chǎn)生巨大影響。

同樣，F(xiàn)acebook的排名算法決定了每天都有成千上萬人看到的新聞。如果這些算法有問題，則可以通過惡意行為者利用它們傳播虛假的，轟動性的新聞。即使沒有直接的惡意意圖，它們?nèi)匀豢赡茉斐蓚?。例如，有利于吸引?nèi)容的新聞提要算法可以放大偏差并創(chuàng)建過濾泡，從而使用戶對替代視圖的容忍度降低。

當不透明和錯誤的Al算法確定了數(shù)億人的信用分數(shù)或決定了該國教育系統(tǒng)的命運時，您便擁有了摧毀數(shù)學武器的所有要素。那么，對此應該怎么做?我們需要承認我們部署的AI算法的局限性。雖然擁有一個可以使您擺脫做出艱難決策的職責的自動化系統(tǒng)似乎很誘人，但您必須了解人類何時處于這些決策的接受端以及它們?nèi)绾问艿接绊憽?/p>

大數(shù)據(jù)流程整理了過去。他們不會創(chuàng)造未來。這樣做需要道德的想象力，而這是人類所能提供的。我們必須明確地將更好的價值嵌入到我們的算法中， 。有時候，這意味著將公平置于利潤之上。