譯者 | 李睿

審校 | 重樓

人工智能(AI)和機(jī)器學(xué)習(xí)(ML)模型如今變得越來越復(fù)雜，這些模型產(chǎn)生的輸出是黑盒——無法向利益相關(guān)者解釋?？山忉屝匀斯ぶ悄埽╔AI）旨在通過讓利益相關(guān)者理解這些模型的工作方式來解決這一問題，確保他們理解這些模型實(shí)際上是如何做出決策的，并確保人工智能系統(tǒng)中的透明度、信任度和問責(zé)制來解決這個(gè)問題。本文探討了各種可解釋性人工智能(XAI)技術(shù)，以闡明它們的基本原理。

可解釋性人工智能至關(guān)重要的幾個(gè)原因

• 信任度和透明度：為了讓人工智能系統(tǒng)被廣泛接受和信任，用戶需要了解決策是如何做出的。
• 法規(guī)遵從性：歐盟的《通用數(shù)據(jù)保護(hù)條例》(GDPR)等法律要求對(duì)影響個(gè)人的自動(dòng)化決策做出解釋。
• 模型調(diào)試和改進(jìn)：深入了解模型決策可以幫助開發(fā)人員識(shí)別和糾正偏差或不準(zhǔn)確之處。

可解釋性人工智能的核心技術(shù)

可解釋性人工智能技術(shù)可分為模型不可知方法和模型特定方法，每種方法都適用于不同類型的人工智能模型和應(yīng)用。

模型不可知方法

（1）局部可解釋模型不可知論解釋(LIME)

局部可解釋模型不可知論解釋(LIME)是一項(xiàng)開創(chuàng)性的技術(shù)，旨在使人類可以理解復(fù)雜機(jī)器學(xué)習(xí)模型的預(yù)測(cè)。從本質(zhì)上講，LIME的好處在于它的簡(jiǎn)單性和解釋任何分類器或回歸器行為的能力，而不管其復(fù)雜性如何。

LIME通過使用可解釋的模型在局部近似來闡明任何分類器或回歸器的預(yù)測(cè)。關(guān)鍵思想是擾動(dòng)輸入數(shù)據(jù)并觀察預(yù)測(cè)如何變化，這有助于識(shí)別顯著影響預(yù)測(cè)的特征。

在數(shù)學(xué)上，對(duì)于給定的實(shí)例\(x\)和模型\(f\), LIME生成一個(gè)新的擾動(dòng)樣本數(shù)據(jù)集，并使用\(f\)對(duì)它們進(jìn)行標(biāo)記。然后，它學(xué)習(xí)一個(gè)局部忠實(shí)于\（f\）的簡(jiǎn)單模型\（g\）（例如線性模型），最小化以下目標(biāo)：

\[ \xi(x) = \underset{g \in G}{\text{argmin}} \; L(f, g, \pi_x) + \Omega(g) \]

其中\(zhòng)(L\)是衡量\(g\)在\(x\)周圍近似\(f\)時(shí)的不忠實(shí)程度，\(\pi_x\)是是定義\（x\）周圍局部鄰域的鄰近度度量，并且\(\Omega\)懲罰\(g\)的復(fù)雜性。

（2）Shapley可加性解釋(SHAP)

Shapley可加性解釋(SHAP)通過為特定預(yù)測(cè)的每個(gè)特征分配重要值來幫助人們理解機(jī)器學(xué)習(xí)模型的輸出。想象一下，人們正試圖根據(jù)房子的大小、年限和位置等特征來預(yù)測(cè)房子的價(jià)格。某些特征可能會(huì)提高預(yù)期價(jià)格，而其他特征可能會(huì)降低預(yù)期價(jià)格。相對(duì)于基線預(yù)測(cè)（數(shù)據(jù)集的平均預(yù)測(cè)），SHAP值有助于人們準(zhǔn)確量化每個(gè)特征對(duì)最終預(yù)測(cè)的貢獻(xiàn)。

特征\(i\)的SHAP值定義為：

\[ \phi_i = \sum_{S \subseteq F \setminus \{i\}} \frac{|S|!(|F| - |S| - 1)!}{|F|!} [f_x(S \cup \{i\}) - f_x(S)] \]

其中，\F\）是所有特征的集合，\S\）是不包括\（i\）的特征的子集，\(f_x(S)\)是特征集\S\）的預(yù)測(cè)，總和是所有可能的特征子集。該公式確保每個(gè)特征的貢獻(xiàn)根據(jù)其對(duì)預(yù)測(cè)的影響進(jìn)行公平分配。

特定于模型的方法

（1）神經(jīng)網(wǎng)絡(luò)中的注意機(jī)制

神經(jīng)網(wǎng)絡(luò)中的注意機(jī)制強(qiáng)調(diào)輸入數(shù)據(jù)中與做出預(yù)測(cè)最相關(guān)的部分。在序列到序列模型的場(chǎng)景中，目標(biāo)時(shí)間步長(zhǎng)\(t\)和源時(shí)間步長(zhǎng)\(j\)的注意力權(quán)重\(\alpha_{tj}\)計(jì)算為:

\[ \alpha_{tj} = \frac{\exp(e_{tj})}{\sum_{k=1}^{T_s} \exp(e_{tk})} \]

其中\(zhòng)(e_{tj}\)是一個(gè)評(píng)分函數(shù)，用于評(píng)估位置\(j\)的輸入和位置\(t\)的輸出之間的對(duì)齊情況，\(T_s\)是輸入序列的長(zhǎng)度。這種機(jī)制允許模型關(guān)注輸入數(shù)據(jù)的相關(guān)部分，從而提高可解釋性。

（2）決策樹的可視化

決策樹通過將決策表示為從輸入特征派生的一系列規(guī)則來提供固有的可解釋性。決策樹的結(jié)構(gòu)可以實(shí)現(xiàn)可視化，節(jié)點(diǎn)表示基于特征的決策，葉子表示結(jié)果。這種可視化表示可以直接跟蹤輸入特征是如何導(dǎo)致特定預(yù)測(cè)的。

（3）實(shí)際實(shí)施和道德考慮

實(shí)現(xiàn)可解釋的人工智能需要仔細(xì)考慮模型類型、應(yīng)用程序要求和解釋的目標(biāo)受眾。在模型性能和可解釋性之間進(jìn)行權(quán)衡也很重要。從道德上來說，確保人工智能系統(tǒng)的公平性、問責(zé)制和透明度至關(guān)重要。可解釋性人工智能的未來方向包括標(biāo)準(zhǔn)化解釋框架和繼續(xù)研究更有效的解釋方法。

結(jié)論

可解釋性人工智能對(duì)于解釋復(fù)雜的AI/ML模型，提供信任和確保其應(yīng)用程序中的問責(zé)制至關(guān)重要。它利用了LIME、SHAP、注意力機(jī)制和決策樹可視化等技術(shù)。隨著該領(lǐng)域的發(fā)展，更復(fù)雜和標(biāo)準(zhǔn)化的可解釋性人工智能方法的開發(fā)對(duì)于解決軟件開發(fā)和法規(guī)遵從性的不斷發(fā)展的需求將是至關(guān)重要的。

原文標(biāo)題：Explainable AI: Interpreting Complex AI/ML Model，作者：Rajiv Avacharmal