如今，企業(yè)組織越來(lái)越依賴人工智能和機(jī)器學(xué)習(xí)模型進(jìn)行決策，可以說(shuō)這些決策正在影響我們生活的方方面面，例如，銀行使用人工智能來(lái)確定是否向客戶提供信貸以及信貸額度;醫(yī)療放射科部署人工智能來(lái)幫助區(qū)分健康組織和腫瘤;人力資源團(tuán)隊(duì)使用人工智能從海量簡(jiǎn)歷中篩選合適的應(yīng)聘者。

[[424248]]

2019年，歐盟出臺(tái)的《人工智能道德準(zhǔn)則》中明確提出，人工智能的發(fā)展方向應(yīng)該是“可信賴的”，能夠包含安全、隱私和透明、可解釋等多個(gè)方面。但隨著人工智能技術(shù)不斷普及，由此產(chǎn)生的風(fēng)險(xiǎn)也浮出水面，主要體現(xiàn)在兩大方面：

• 信任危機(jī)，即能否信任和依賴人工智能算法輸出的結(jié)果。
• 道德危機(jī)，Deepfake技術(shù)的出現(xiàn)在帶來(lái)新鮮感的同時(shí)，也引發(fā)了人們對(duì)于深度學(xué)習(xí)和人工智能技術(shù)濫用的擔(dān)憂。

“黑盒”人工智能

如今，許多機(jī)器學(xué)習(xí)應(yīng)用程序不允許人們完全理解其功能或背后的邏輯，以實(shí)現(xiàn)稱為“黑盒”的效果，鑒于此，如今的機(jī)器學(xué)習(xí)模型大多是“黑盒”。

這個(gè)特性被認(rèn)為是人工智能技術(shù)應(yīng)用的最大問(wèn)題之一，它讓機(jī)器決策變得不透明，甚至專家或開(kāi)發(fā)人員自己也常常難以理解，這也降低了企業(yè)對(duì)特定領(lǐng)域的機(jī)器學(xué)習(xí)和人工智能的信任感。

【黑盒AI和XAI】

可以說(shuō)，傳統(tǒng)的“黑盒”人工智能程序存在以下問(wèn)題：

• 難以驗(yàn)證輸出是否“正確”;
• 難以理解人工智能系統(tǒng)“哪里出錯(cuò)”，然后進(jìn)行改進(jìn);
• 難以理解創(chuàng)作者的偏見(jiàn)和不公。

因此，了解人工智能算法預(yù)測(cè)背后的原因至關(guān)重要，這不僅可以增強(qiáng)人們對(duì)人工智能算法的信心，還可以提供對(duì)模型的見(jiàn)解或允許對(duì)開(kāi)發(fā)的算法執(zhí)行調(diào)試過(guò)程。

公眾愈發(fā)有興趣了解這些算法背后的過(guò)程，原因之一是各種國(guó)際法(例如歐盟GPDR)的引入提高了公眾對(duì)隱私的敏感度，這些法律對(duì)隱私領(lǐng)域施加了高水平的保護(hù)，同時(shí)在信息處理過(guò)程中要求了更高的透明度，這也是人工智能算法目前正在努力實(shí)現(xiàn)的目標(biāo)。

所有這一切都轉(zhuǎn)化為對(duì)人工智能算法透明度日益增長(zhǎng)的需求。而人工智能背景下對(duì)透明度的需求也進(jìn)一步推動(dòng)了所謂的“可解釋的”人工智能(XAI)的發(fā)展，它代表了一組技術(shù)，可以理解和呈現(xiàn)機(jī)器學(xué)習(xí)模型和人工智能算法的透明愿景。

什么是“可解釋的”人工智能?

“可解釋的”人工智能并不是一個(gè)新的研究領(lǐng)域，它是自80年代以來(lái)就存在的支持復(fù)雜AI系統(tǒng)的推理架構(gòu)，可以看作是人工智能設(shè)計(jì)的自然結(jié)果。

人工智能的未來(lái)可能取決于它允許人們與機(jī)器協(xié)作解決復(fù)雜問(wèn)題的能力。與任何高效協(xié)作一樣，這需要良好的溝通、信任和理解，而可解釋的人工智能旨在應(yīng)對(duì)這些挑戰(zhàn)。

簡(jiǎn)單來(lái)說(shuō)，可解釋的人工智能是組織用來(lái)幫助人們更好地理解模型為何做出某些決策及其工作原理的一組工具和技術(shù)。XAI是：

• 一組最佳實(shí)踐：它利用數(shù)據(jù)科學(xué)家多年來(lái)一直使用的一些最佳程序和規(guī)則來(lái)幫助其他人了解模型是基于哪些數(shù)據(jù)進(jìn)行訓(xùn)練的，還揭示了模型可能暴露于哪些偏見(jiàn)來(lái)源;
• 一組設(shè)計(jì)原則：研究人員越來(lái)越關(guān)注簡(jiǎn)化AI系統(tǒng)的構(gòu)建，使其本質(zhì)上更易于理解;
• 一組工具：隨著系統(tǒng)變得更容易理解，可以通過(guò)將這些知識(shí)融入其中來(lái)進(jìn)一步完善訓(xùn)練模型，并通過(guò)向其他人提供這些知識(shí)以納入他們的模型。

XAI為什么很重要?

對(duì)于組織而言，通過(guò)模型監(jiān)控和人工智能問(wèn)責(zé)制全面了解人工智能決策過(guò)程，而不是盲目信任它們，這一點(diǎn)至關(guān)重要?？山忉尩娜斯ぶ悄芸梢詭椭祟惱斫夂徒忉寵C(jī)器學(xué)習(xí)(ML)算法、深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。

ML模型通常被認(rèn)為是無(wú)法解釋的黑匣子;深度學(xué)習(xí)中使用的神經(jīng)網(wǎng)絡(luò)是人類最難理解的部分;偏見(jiàn)(通?；诜N族、性別、年齡或位置)一直是訓(xùn)練AI模型所面臨的長(zhǎng)期風(fēng)險(xiǎn)。此外，由于生產(chǎn)數(shù)據(jù)與訓(xùn)練數(shù)據(jù)不同，人工智能模型性能可能會(huì)受到影響甚至降低。這使得持續(xù)監(jiān)控和管理模型以促進(jìn)人工智能可解釋性變得至關(guān)重要。

可解釋的人工智能有助于促進(jìn)最終用戶的信任、模型可審計(jì)性和人工智能的高效使用，同時(shí)還降低了使用人工智能所面臨的合規(guī)性、法律、安全和聲譽(yù)風(fēng)險(xiǎn)。此外，借助可解釋的人工智能，企業(yè)可以排除故障并提高模型性能，同時(shí)幫助利益相關(guān)者了解人工智能模型的行為。

其優(yōu)勢(shì)可以概括為：

• 簡(jiǎn)化模型評(píng)估過(guò)程，同時(shí)提高模型透明度和可追溯性;
• 系統(tǒng)地監(jiān)控和管理模型以優(yōu)化業(yè)務(wù)成果，不斷評(píng)估和改進(jìn)模型性能;
• 加快獲得AI結(jié)果的時(shí)間;
• 降低模型治理的風(fēng)險(xiǎn)和成本;

可解釋的人工智能是實(shí)施“負(fù)責(zé)任的”人工智能的關(guān)鍵要求之一，具有公平性、模型可解釋性和問(wèn)責(zé)制。為了實(shí)現(xiàn)負(fù)責(zé)任地采用人工智能，組織需要通過(guò)構(gòu)建基于信任和透明度的人工智能系統(tǒng)，將道德原則嵌入人工智能應(yīng)用程序和流程中。

XAI的應(yīng)用實(shí)例

如今，可解釋的人工智能正在改變各種垂直市場(chǎng)的游戲規(guī)則：

• 醫(yī)療衛(wèi)生：加速診斷、圖像分析和資源優(yōu)化，提高患者護(hù)理決策的透明度和可追溯性，同時(shí)還能簡(jiǎn)化藥品審批流程。
• 金融服務(wù)：通過(guò)透明的貸款和信貸審批流程改善客戶體驗(yàn)，加快信用風(fēng)險(xiǎn)、財(cái)富管理和金融犯罪風(fēng)險(xiǎn)評(píng)估，加速解決潛在的投訴和問(wèn)題，提高對(duì)定價(jià)、產(chǎn)品推薦和投資服務(wù)的信任度。
• 刑事司法：優(yōu)化預(yù)測(cè)和風(fēng)險(xiǎn)評(píng)估流程。在DNA分析、監(jiān)獄人口分析、欺詐檢測(cè)和犯罪預(yù)測(cè)方面使用可解釋的人工智能加速解決問(wèn)題。檢測(cè)訓(xùn)練數(shù)據(jù)和算法中的潛在偏差。

可解釋的人工智能的五個(gè)注意事項(xiàng)：

• 公平和消除偏見(jiàn)：管理和監(jiān)控公平，掃描用戶部署以查找潛在的偏見(jiàn);
• 模型偏離緩解：分析模型并根據(jù)最合乎邏輯的結(jié)果提出建議。當(dāng)模型偏離預(yù)期結(jié)果時(shí)發(fā)出警報(bào);
• 模型風(fēng)險(xiǎn)管理：量化和減輕模型風(fēng)險(xiǎn)。當(dāng)模型表現(xiàn)不佳時(shí)發(fā)送警報(bào)。了解當(dāng)偏差持續(xù)存在時(shí)會(huì)發(fā)生什么;
• 生命周期自動(dòng)化：構(gòu)建、運(yùn)行和管理模型作為集成數(shù)據(jù)和AI服務(wù)的一部分。統(tǒng)一平臺(tái)上的工具和流程以監(jiān)控模型和共享結(jié)果，解釋機(jī)器學(xué)習(xí)模型的依賴關(guān)系;
• 多云就緒：跨混合云部署AI項(xiàng)目，包括公共云、私有云和本地。通過(guò)可解釋的AI促進(jìn)信任和信心。

當(dāng)今時(shí)代，人們迫切需要可解釋的人工智能，而“負(fù)責(zé)任”和“可解釋”的人工智能也確實(shí)將會(huì)是取得利益雙方信任及滿足未來(lái)合規(guī)需求的基石，但想要實(shí)現(xiàn)這一目標(biāo)無(wú)疑是道阻且長(zhǎng)的。

【本文是51CTO專欄作者“安全牛”的原創(chuàng)文章，轉(zhuǎn)載請(qǐng)通過(guò)安全牛（微信公眾號(hào)id:gooann-sectv）獲取授權(quán)】

戳這里，看該作者更多好文