XAI的目標(biāo)是為模型的行為和決定提供有意義的解釋，本文整理了目前能夠看到的10個(gè)用于可解釋AI的Python庫(kù)

什么是XAI？

XAI，Explainable AI是指可以為人工智能（AI）決策過程和預(yù)測(cè)提供清晰易懂的解釋的系統(tǒng)或策略。XAI 的目標(biāo)是為他們的行為和決策提供有意義的解釋，這有助于增加信任、提供問責(zé)制和模型決策的透明度。XAI 不僅限于解釋，還以一種使推理更容易為用戶提取和解釋的方式進(jìn)行 ML 實(shí)驗(yàn)。

在實(shí)踐中，XAI 可以通過多種方法實(shí)現(xiàn)，例如使用特征重要性度量、可視化技術(shù)，或者通過構(gòu)建本質(zhì)上可解釋的模型，例如決策樹或線性回歸模型。方法的選擇取決于所解決問題的類型和所需的可解釋性水平。

AI 系統(tǒng)被用于越來越多的應(yīng)用程序，包括醫(yī)療保健、金融和刑事司法，在這些應(yīng)用程序中，AI 對(duì)人們生活的潛在影響很大，并且了解做出了決定特定原因至關(guān)重要。因?yàn)檫@些領(lǐng)域的錯(cuò)誤決策成本很高（風(fēng)險(xiǎn)很高），所以XAI 變得越來越重要，因?yàn)榧词故?AI 做出的決定也需要仔細(xì)檢查其有效性和可解釋性。

可解釋性實(shí)踐的步驟

數(shù)據(jù)準(zhǔn)備：這個(gè)階段包括數(shù)據(jù)的收集和處理。數(shù)據(jù)應(yīng)該是高質(zhì)量的、平衡的并且代表正在解決的現(xiàn)實(shí)問題。擁有平衡的、有代表性的、干凈的數(shù)據(jù)可以減少未來為保持 AI 的可解釋性而付出的努力。

模型訓(xùn)練：模型在準(zhǔn)備好的數(shù)據(jù)上進(jìn)行訓(xùn)練，傳統(tǒng)的機(jī)器學(xué)習(xí)模型或深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)都可以。模型的選擇取決于要解決的問題和所需的可解釋性水平。模型越簡(jiǎn)單就越容易解釋結(jié)果，但是簡(jiǎn)單模型的性能并不會(huì)很高。

模型評(píng)估：選擇適當(dāng)?shù)脑u(píng)估方法和性能指標(biāo)對(duì)于保持模型的可解釋性是必要的。在此階段評(píng)估模型的可解釋性也很重要，這樣確保它能夠?yàn)槠漕A(yù)測(cè)提供有意義的解釋。

解釋生成：這可以使用各種技術(shù)來完成，例如特征重要性度量、可視化技術(shù)，或通過構(gòu)建固有的可解釋模型。

解釋驗(yàn)證：驗(yàn)證模型生成的解釋的準(zhǔn)確性和完整性。這有助于確保解釋是可信的。

部署和監(jiān)控：XAI 的工作不會(huì)在模型創(chuàng)建和驗(yàn)證時(shí)結(jié)束。它需要在部署后進(jìn)行持續(xù)的可解釋性工作。在真實(shí)環(huán)境中進(jìn)行監(jiān)控，定期評(píng)估系統(tǒng)的性能和可解釋性非常重要。

1、SHAP (SHapley Additive exPlanations)

SHAP是一種博弈論方法，可用于解釋任何機(jī)器學(xué)習(xí)模型的輸出。它使用博弈論中的經(jīng)典Shapley值及其相關(guān)擴(kuò)展將最佳信用分配與本地解釋聯(lián)系起來。

2、LIME（Local Interpretable Model-agnostic Explanations）

LIME 是一種與模型無(wú)關(guān)的方法，它通過圍繞特定預(yù)測(cè)在局部近似模型的行為來工作。LIME 試圖解釋機(jī)器學(xué)習(xí)模型在做什么。LIME 支持解釋文本分類器、表格類數(shù)據(jù)或圖像的分類器的個(gè)別預(yù)測(cè)。

3、Eli5

ELI5是一個(gè)Python包，它可以幫助調(diào)試機(jī)器學(xué)習(xí)分類器并解釋它們的預(yù)測(cè)。它提供了以下機(jī)器學(xué)習(xí)框架和包的支持:

• scikit-learn：ELI5可以解釋scikit-learn線性分類器和回歸器的權(quán)重和預(yù)測(cè)，可以將決策樹打印為文本或SVG，顯示特征的重要性，并解釋決策樹和基于樹集成的預(yù)測(cè)。ELI5還可以理解scikit-learn中的文本處理程序，并相應(yīng)地突出顯示文本數(shù)據(jù)。
• Keras -通過Grad-CAM可視化解釋圖像分類器的預(yù)測(cè)。
• XGBoost -顯示特征的重要性，解釋XGBClassifier, XGBRegressor和XGBoost . booster的預(yù)測(cè)。
• LightGBM -顯示特征的重要性，解釋LGBMClassifier和LGBMRegressor的預(yù)測(cè)。
• CatBoost：顯示CatBoostClassifier和CatBoostRegressor的特征重要性。
• lightning -解釋lightning 分類器和回歸器的權(quán)重和預(yù)測(cè)。
• sklearn-crfsuite。ELI5允許檢查sklearn_crfsuite.CRF模型的權(quán)重。

基本用法：

Show_weights() 顯示模型的所有權(quán)重，Show_prediction() 可用于檢查模型的個(gè)體預(yù)測(cè)

ELI5還實(shí)現(xiàn)了一些檢查黑盒模型的算法:

TextExplainer使用LIME算法解釋任何文本分類器的預(yù)測(cè)。排列重要性法可用于計(jì)算黑盒估計(jì)器的特征重要性。

4、Shapash

Shapash提供了幾種類型的可視化，可以更容易地理解模型。通過摘要來理解模型提出的決策。該項(xiàng)目由MAIF數(shù)據(jù)科學(xué)家開發(fā)。Shapash主要通過一組出色的可視化來解釋模型。

Shapash通過web應(yīng)用程序機(jī)制工作，與Jupyter/ipython可以完美的結(jié)合。

from shapash import SmartExplainer
 
 xpl = SmartExplainer(
     model=regressor,
     preprocessing=encoder, # Optional: compile step can use inverse_transform method
     features_dict=house_dict  # Optional parameter, dict specifies label for features name
 )
 
 xpl.compile(x=Xtest,
  y_pred=y_pred,
  y_target=ytest, # Optional: allows to display True Values vs Predicted Values
  )
 
 xpl.plot.contribution_plot("OverallQual")

5、Anchors

Anchors使用稱為錨點(diǎn)的高精度規(guī)則解釋復(fù)雜模型的行為，代表局部的“充分”預(yù)測(cè)條件。該算法可以有效地計(jì)算任何具有高概率保證的黑盒模型的解釋。

Anchors可以被看作為L(zhǎng)IME v2，其中LIME的一些限制(例如不能為數(shù)據(jù)的不可見實(shí)例擬合模型)已經(jīng)得到糾正。Anchors使用局部區(qū)域，而不是每個(gè)單獨(dú)的觀察點(diǎn)。它在計(jì)算上比SHAP輕量，因此可以用于高維或大數(shù)據(jù)集。但是有些限制是標(biāo)簽只能是整數(shù)。

6、BreakDown

BreakDown是一種可以用來解釋線性模型預(yù)測(cè)的工具。它的工作原理是將模型的輸出分解為每個(gè)輸入特征的貢獻(xiàn)。這個(gè)包中有兩個(gè)主要方法。Explainer()和Explanation()

model = tree.DecisionTreeRegressor()
 model = model.fit(train_data,y=train_labels)
 
 #necessary imports
 from pyBreakDown.explainer import Explainer
 from pyBreakDown.explanation import Explanation
 
 #make explainer object
 exp = Explainer(clf=model, data=train_data, colnames=feature_names)
 
 #What do you want to be explained from the data (select an observation)
 explanation = exp.explain(observation=data[302,:],direction="up")

7、Interpret-Text

Interpret-Text 結(jié)合了社區(qū)為 NLP 模型開發(fā)的可解釋性技術(shù)和用于查看結(jié)果的可視化面板。可以在多個(gè)最先進(jìn)的解釋器上運(yùn)行實(shí)驗(yàn)，并對(duì)它們進(jìn)行比較分析。這個(gè)工具包可以在每個(gè)標(biāo)簽上全局或在每個(gè)文檔本地解釋機(jī)器學(xué)習(xí)模型。

以下是此包中可用的解釋器列表：

• Classical Text Explainer——（默認(rèn)：邏輯回歸的詞袋）
• Unified Information Explainer
• Introspective Rationale Explainer

它的好處是支持CUDA，RNN和BERT等模型。并且可以為文檔中特性的重要性生成一個(gè)面板

from interpret_text.widget import ExplanationDashboard
 from interpret_text.explanation.explanation import _create_local_explanation
 
 # create local explanation
 local_explanantion = _create_local_explanation(
 classification=True,
 text_explanation=True,
 local_importance_values=feature_importance_values,
 method=name_of_model,
 model_task="classification",
 features=parsed_sentence_list,
 classes=list_of_classes,
 )
 # Dash it
 ExplanationDashboard(local_explanantion)

8、aix360 (AI Explainability 360)

AI Explainbability 360工具包是一個(gè)開源庫(kù)，這個(gè)包是由IBM開發(fā)的，在他們的平臺(tái)上廣泛使用。AI Explainability 360包含一套全面的算法，涵蓋了不同維度的解釋以及代理解釋性指標(biāo)。

工具包結(jié)合了以下論文中的算法和指標(biāo)：

• Towards Robust Interpretability with Self-Explaining Neural Networks, 2018. ref
• Boolean Decision Rules via Column Generation, 2018. ref
• Explanations Based on the Missing: Towards Contrastive Explanations with Pertinent Negatives, 2018. ref
• Improving Simple Models with Confidence Profiles, , 2018. ref
• Efficient Data Representation by Selecting Prototypes with Importance Weights, 2019. ref
• TED: Teaching AI to Explain Its Decisions, 2019. ref
• Variational Inference of Disentangled Latent Concepts from Unlabeled Data, 2018. ref
• Generating Contrastive Explanations with Monotonic Attribute Functions, 2019. ref
• Generalized Linear Rule Models, 2019. ref

9、OmniXAI

OmniXAI (Omni explable AI的縮寫)，解決了在實(shí)踐中解釋機(jī)器學(xué)習(xí)模型產(chǎn)生的判斷的幾個(gè)問題。

它是一個(gè)用于可解釋AI (XAI)的Python機(jī)器學(xué)習(xí)庫(kù)，提供全方位的可解釋AI和可解釋機(jī)器學(xué)習(xí)功能，并能夠解決實(shí)踐中解釋機(jī)器學(xué)習(xí)模型所做決策的許多痛點(diǎn)。OmniXAI旨在成為一站式綜合庫(kù)，為數(shù)據(jù)科學(xué)家、ML研究人員和從業(yè)者提供可解釋的AI。

from omnixai.visualization.dashboard import Dashboard
 # Launch a dashboard for visualization
 dashboard = Dashboard(
    instances=test_instances,                        # The instances to explain
    local_explanations=local_explanations,           # Set the local explanations
    global_explanations=global_explanations,         # Set the global explanations
    prediction_explanations=prediction_explanations, # Set the prediction metrics
    class_names=class_names,                         # Set class names
    explainer=explainer                              # The created TabularExplainer for what if analysis
 )
 dashboard.show()

10、XAI (eXplainable AI)

XAI 庫(kù)由 The Institute for Ethical AI & ML 維護(hù)，它是根據(jù) Responsible Machine Learning 的 8 條原則開發(fā)的。它仍處于 alpha 階段因此請(qǐng)不要將其用于生產(chǎn)工作流程。