論文題目：

Attention Is Not the Only Choice: Counterfactual Reasoning for Path-Based Explainable Recommendation

論文鏈接：

????https://arxiv.org/pdf/2401.05744??

近日，悉尼科技大學(xué)徐貫東教授團隊，聯(lián)合香港中文大學(xué)、昆士蘭大學(xué)、香港理工大學(xué)、以及新加坡南洋理工大學(xué)等多家單位，發(fā)布了基于路徑反事實推理的推薦系統(tǒng)解釋新方法，并提出了一系列全新的定性和定量的解釋性評價標(biāo)準(zhǔn)，引發(fā)同行廣泛關(guān)注。

01 反事實推理的解釋的背景

近年來，由知識圖驅(qū)動的推薦系統(tǒng)利用各種圖神經(jīng)網(wǎng)絡(luò)建模取得了不錯的效果。然而，與傳統(tǒng)模型相比，比如協(xié)同過濾等，圖上豐富的信息使數(shù)據(jù)結(jié)構(gòu)變得更加復(fù)雜，這給模型的可解釋性帶來了巨大的挑戰(zhàn)。

為了得到推薦的解釋，許多相關(guān)研究先用圖建模和圖神經(jīng)網(wǎng)絡(luò)進行推薦，然后用連接到目標(biāo)結(jié)果的路徑來解釋推薦的結(jié)果，因為這些連接到目標(biāo)結(jié)果的路徑可以反映它和相近項目的關(guān)系。

然而，在推薦圖中通常有大量的候選路徑，如何從中選擇有意義的路徑作為解釋，成為一個值得研究的問題。一些工作將注意力機制集成到模型中，通過注意力機制學(xué)習(xí)路徑的權(quán)重作為路徑的重要性進行解釋。這些權(quán)重通常學(xué)習(xí)了一跳鄰居項目之間的關(guān)系、用戶的購買記錄之間的關(guān)系和輔助信息的重要性，這些解釋都可以通過可視化案例進行評估。

▲ 通過 3 次獨立訓(xùn)練對 16 條路徑進行注意力權(quán)重。每個方塊代表一條路徑，深橙色意味著更高的權(quán)重。

然而，越來越多的工作對基于注意力機制的解釋提出了一些擔(dān)憂，具體總結(jié)為以下兩點：首先，因為許多研究發(fā)現(xiàn)通過注意力機制得到的結(jié)果的可靠性較弱，因此對于它是否能用來解釋這一點有廣泛質(zhì)疑。

如圖所示，在推薦圖上，我們用注意力模型在 16 條路徑上獨立地運行三次，并用熱圖繪制了 16 條路徑的注意力權(quán)重，其中每個色塊表示一個路徑的權(quán)重大小，較深的橙色意味著更高的注意力權(quán)重。

我們可以看到，基于注意力的模型在三次獨立運行后，無法保證穩(wěn)定的權(quán)重分布，這種不穩(wěn)定的結(jié)果無法作為推薦的解釋。其次，圖中使用的注意力機制也傾向于為那些頻繁出現(xiàn)的路徑分配更高的權(quán)重，這些路徑通常包含更普遍、廣泛、大范圍且模糊的信息，而那些有特定解釋語義信息的路徑?jīng)]有被分配了較低的權(quán)重。

02 反事實推理：初露鋒芒

克服上述問題的一個初露鋒芒的方向是反事實推理。一般來說，反事實推理遵循“假設(shè)”思維：如果某個條件不再成立，結(jié)果會發(fā)生什么。尤其是，導(dǎo)致最終結(jié)果發(fā)生巨大變化的條件會被視為重要的原因。

受此啟發(fā)，在推薦場景中，我們可以嘗試通過對候選路徑添加一些輕微的擾動來尋找重要的可解釋路徑，看是哪一個或者哪一些路徑的擾動導(dǎo)致了推薦分數(shù)的變化。如果路徑的輕微干擾導(dǎo)致結(jié)果項目的推薦分數(shù)大幅下降，則認為當(dāng)前路徑是重要的路徑，小幅下降則表示不太重要。

這種基于反事實推理的解釋的新方向可能會給我們帶來以下好處：首先，反事實推理主要關(guān)心模型的輸入和輸出，與模型內(nèi)部的參數(shù)無關(guān)，這非常適合與模型無關(guān)的解釋。這意味著我們可以在多個推薦模型上使用相同的反事實推理方法來查看哪一個更值得信賴。

另外，反事實機制對于那些信息豐富的路徑更有效，因為包含更加廣泛信息的路徑通常具有較低的不確定性，因此它們更難以受到小的干擾來翻轉(zhuǎn)推薦分數(shù)。這有望克服目前基于注意力的解釋存在的諸多問題。

最近的研究已經(jīng)開始探索反事實推理在生成推薦的解釋的可行性。然而，他們中的大多數(shù)只關(guān)注項目、項目的特征或用戶特征。它們都沒有關(guān)注圖中豐富的信息，比如路徑，而基于路徑的解釋是推薦圖中最有說服力、包含信息量最大的解釋方式。盡管有工作探索了知識圖譜上的反事實推理，但他們學(xué)習(xí)的可解釋權(quán)重是針對其模型的，并不能用于不同的推薦模型。

03 論文的研究貢獻

為了填補反事實推理和基于路徑的可解釋推薦模型之間的空白，我們提出了反事實的基于路徑的可解釋推薦（簡稱 CPER）。我們設(shè)計了兩種有效的反事實推理方法，從路徑向量表示和路徑拓撲結(jié)構(gòu)兩個角度尋找可解釋的路徑。具體地，我們提出了一個優(yōu)化框架來學(xué)習(xí)路徑表示的擾動因素。另外，我們還提出了通過強化學(xué)習(xí)驅(qū)動的路徑替換策略，對路徑的拓撲結(jié)構(gòu)進行反事實推理。

此外，除了傳統(tǒng)的基于案例研究的可解釋性評估，我們還提出了一套包括定量和定性的可解釋評估方案。我們在四個數(shù)據(jù)集上評估了我們的可解釋方法，驗證了其顯著優(yōu)勢。

綜上，這篇論文有以下貢獻：

• 我們通過對路徑向量表示和路徑拓撲結(jié)構(gòu)進行反事實推理，提出了一種新穎的可解釋框架用于基于路徑的推薦。對于基于路徑拓撲結(jié)構(gòu)的反事實推理，我們設(shè)計了一種強化學(xué)習(xí)方法來學(xué)習(xí)反事實學(xué)習(xí)中擾動的路徑替換策略。
• 我們提出了一套解決方案來評估基于可解釋路徑的可解釋性質(zhì)量。與傳統(tǒng)的基于案例研究的可解釋性評估不同，我們提出的評估方法包括定量和定性的方法，可廣泛用于評估各種基于路徑的解釋方法。
• 在四個現(xiàn)實世界數(shù)據(jù)集上進行了實驗，進一步驗證了我們框架的有效性。將我們的解釋與基于注意力的解釋進行比較，結(jié)果表明我們的解釋方法具有更高的穩(wěn)定性、有效性和置信度。

04 文章核心看點

為了避免基于注意力的可解釋路徑權(quán)重帶來的不可靠性問題，我們通過反事實學(xué)習(xí)來學(xué)習(xí)可解釋路徑權(quán)重來代替?zhèn)鹘y(tǒng)的注意力權(quán)重。主要思想是，一旦對每個可解釋路徑或路徑集合進行擾動，推薦預(yù)測分數(shù)的降低值就可以視為該路徑或路徑集合的可解釋權(quán)重。

為了實現(xiàn)這一目標(biāo)，我們從路徑向量表示和路徑拓撲結(jié)構(gòu)兩個擾動角度進行反事實推理。具體來說，我們通過學(xué)習(xí)路徑嵌入上的擾動因子來對路徑表示進行反事實推理，并通過基于強化學(xué)習(xí)的策略來替換一些路徑頂點來替換原有路徑，并對路徑拓撲結(jié)構(gòu)進行反事實推理。除此之外，我們還提出了一系列定量和定性的可解釋評估方法用于評估得到的可解釋路徑的優(yōu)勢。

看點1：路徑表征上的反事實推理方法。與傳統(tǒng)的基于注意力的解釋通過注意力權(quán)重來衡量路徑重要性不同，我們從兩個方面評估路徑的重要性：擾動的大小和對推薦結(jié)果的影響。如果對路徑上的擾動非常輕微，但導(dǎo)致推薦的分數(shù)急劇下降，則相應(yīng)的路徑應(yīng)該非常重要。為此，本方法旨在學(xué)習(xí)輕微的擾動因素，同時找到受該擾動影響的可解釋路徑。

看點2：路徑拓撲結(jié)構(gòu)上的反事實推理。具體來說，我們利用強化學(xué)習(xí)強大的搜索功能，設(shè)計了一種路徑替換策略，對路徑的集合進行擾動，即對路徑中頂點進行替換，推薦預(yù)測分數(shù)的降低值就可以視為路徑集合的可解釋權(quán)重。

看點3：基于路徑的推薦的可解釋性評估。評估解釋是否可信是非常主觀的。據(jù)我們所知，很少有一種被廣泛接受的衡量標(biāo)準(zhǔn)來評估基于路徑的可解釋性。在本文中，我們希望通過提出并總結(jié)定性和定量方法來推動這一領(lǐng)域的發(fā)展。

定量評估：

• 置信度（confidence）：我們將每個可解釋路徑的置信度定義為其不確定性，又名熵，其計算方式是受信息論啟發(fā)的。直觀上，更好的解釋模型往往會更自信地探索可解釋的路徑，并使路徑不確定性相對較低。
• 信息量（informativeness）：我們將學(xué)習(xí)到的可解釋路徑反饋給推薦后端，以查看學(xué)習(xí)到的可解釋路徑對推薦性能的貢獻有多大。與所有其余路徑相比，越接近原始結(jié)果，學(xué)習(xí)到的可解釋路徑的信息越多。
• 保真度（fidelity）：它測量從輸入可解釋路徑中刪除不同比例的可解釋路徑時預(yù)測分數(shù)的下降。保真度值越大，表明反事實權(quán)重越強，可解釋性也越好。

定性評估：

• 穩(wěn)定性（stability）：我們通過多次獨立重復(fù)推薦模型學(xué)習(xí)并查看可解釋路徑分布是否一致來評估可解釋方法的穩(wěn)定性。可解釋分布越穩(wěn)定，可解釋方法越可靠。
• 有效性（effectiveness）：我們隨機向路徑集中添加一條不相關(guān)的路徑，以查看解釋框架學(xué)習(xí)的權(quán)重。直觀上，不相關(guān)路徑的可解釋權(quán)重應(yīng)該盡可能小才能有意義。否則，可解釋的權(quán)重是不可靠的。

本文轉(zhuǎn)自 PaperWeekly ，作者：李逸聰

原文鏈接:??https://mp.weixin.qq.com/s/kIhvTi7lGOsm9NFDth_Saw??