大家好，我是對(duì)白。

今天我們來(lái)聊一聊推薦系統(tǒng)中不得不學(xué)的Contrastive Learning方法，近年來(lái)Contrastive Learning在CV和NLP領(lǐng)域的應(yīng)用越來(lái)越廣泛，在推薦系統(tǒng)中當(dāng)然也不例外。我想大家將對(duì)比學(xué)習(xí)與推薦系統(tǒng)結(jié)合主要有以下四個(gè)原因：

一、是因?yàn)閿?shù)據(jù)的稀疏性。眾所周知，在推薦系統(tǒng)中有點(diǎn)擊的數(shù)據(jù)是非常少的，可能系統(tǒng)推薦了十篇文章，用戶只點(diǎn)擊了一篇文章，因此我們可以通過(guò)自監(jiān)督學(xué)習(xí)對(duì)點(diǎn)擊數(shù)據(jù)進(jìn)行增強(qiáng);

二、是因?yàn)閕tem的長(zhǎng)尾分布。主流商品往往代表了絕大多數(shù)用戶的需求，而長(zhǎng)尾商品往往代表了一小部分用戶的個(gè)性化需求，若要對(duì)用戶行為很少的長(zhǎng)尾商品進(jìn)行推薦，也可以通過(guò)自監(jiān)督進(jìn)行增強(qiáng);

三、是因?yàn)樵诳缬蛲扑]中若有多個(gè)不同的view，可以通過(guò)自監(jiān)督學(xué)習(xí)融合多個(gè)view的信息，而非動(dòng)態(tài)的線性加權(quán)，增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力;

四、是因?yàn)樵黾幽Ｐ偷聂敯粜曰驅(qū)乖胍?，可以通過(guò)一些例如Mask和Droupout的方法。

那我們今天就一起討論一下Contrastive Learning在推薦系統(tǒng)中的主流做法和前沿應(yīng)用。

1.DHCN

 

 

 

 

論文標(biāo)題：Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation

論文方向：會(huì)話推薦

論文來(lái)源：AAAI2021

論文鏈接：https://arxiv.org/abs/2012.06852

論文代碼：https://github.com/xiaxin1998/DHCN

 

 

 

 

Session-based recommendation (SBR) 也就是會(huì)話推薦主要的任務(wù)就是基于目前已有的多個(gè)用戶物品交互序列，完成 next-item 預(yù)測(cè)。在這種情況下，用戶配置文件不可用，因此從多個(gè)用戶物品交互序列中提取用戶意圖嵌入就格外重要。

基于此本文將會(huì)話數(shù)據(jù)建模為超圖，提出了一種雙通道超圖卷積網(wǎng)絡(luò)DHCN。同時(shí)本文為了增強(qiáng)超圖建模，創(chuàng)新性地將自監(jiān)督學(xué)習(xí)融入到網(wǎng)絡(luò)訓(xùn)練中，最大化通過(guò) DHCN 中兩個(gè)通道學(xué)習(xí)的會(huì)話表示之間的互信息，作為改進(jìn)推薦任務(wù)的輔助任務(wù)。

超圖定義

 

 

線圖定義

將超圖中的每個(gè)邊(即每個(gè)用戶的session)看作是一個(gè)節(jié)點(diǎn)，而任意兩個(gè)節(jié)點(diǎn)之間的邊權(quán)重看作是這兩個(gè)用戶session的相似度，計(jì)算為

 

 

 

 

構(gòu)建超圖

因?yàn)槌瑘D定義為超邊可以包含多個(gè)節(jié)點(diǎn)，因此這些節(jié)點(diǎn)可以被看作是通過(guò)共同的邊而互相連接，因此每個(gè)用戶的session或者超邊將構(gòu)成一個(gè)完全子圖，且該子圖中的邊權(quán)重都相等(因?yàn)楣蚕硗粭l超邊)。而對(duì)應(yīng)的線圖則是一個(gè)完全圖，任意兩個(gè)節(jié)點(diǎn)(session)的邊權(quán)重說(shuō)明了這兩個(gè)用戶session的相似程度。

超圖卷積

包含多個(gè)超圖卷積層，用于items-embedding的傳播和更新，描述為：涉及同一條超邊的兩個(gè)節(jié)點(diǎn)進(jìn)行消息傳遞，因此在構(gòu)建好的超圖上就是相鄰的兩個(gè)節(jié)點(diǎn)進(jìn)行傳播(因?yàn)樗鼈兩婕肮餐某叄蛘吖餐霈F(xiàn)在某個(gè)用戶的session中)：

 

 

 

 

 

矩陣表達(dá)形式為：

 

 

 

 

注意上述操作沒(méi)有涉及序列特征，為此作者引入一個(gè)可訓(xùn)練的位置編碼矩陣來(lái)體現(xiàn)用戶session中items的序列性，將其與item-embedding進(jìn)行拼接和一個(gè)Dense層操作后得到帶有序列特征的item-embedding：

 

 

 

 

 

 

自監(jiān)督學(xué)習(xí)增強(qiáng)DHCN

超圖建模使模型能夠?qū)崿F(xiàn)良好性能。作者認(rèn)為會(huì)話數(shù)據(jù)的稀疏性可能會(huì)阻礙超圖建模，這將導(dǎo)致次優(yōu)推薦性能。受自監(jiān)督學(xué)習(xí)在簡(jiǎn)單圖上的成功實(shí)踐的啟發(fā)，作者將自監(jiān)督學(xué)習(xí)集成到網(wǎng)絡(luò)中以增強(qiáng)超圖建模。利用自監(jiān)督信號(hào)進(jìn)行學(xué)習(xí)被視為有利于推薦任務(wù)的輔助任務(wù)，它分為兩個(gè)步驟：

創(chuàng)建自監(jiān)督信號(hào)

在DHCN中，通過(guò)這兩個(gè)通道學(xué)習(xí)兩組特定于通道的會(huì)話Embedding。由于每個(gè)通道編碼一個(gè)超圖，該圖只描述由會(huì)話誘導(dǎo)的超圖的物品級(jí)(插入)或會(huì)話級(jí)(會(huì)話間)結(jié)構(gòu)信息，所以兩組Embedding對(duì)象彼此了解很少，但可以互補(bǔ)。在訓(xùn)練中，兩組會(huì)話Embedding之間有一個(gè)客觀映射。簡(jiǎn)單地說(shuō)，這兩組映射可以成為彼此的基礎(chǔ)用于自監(jiān)督學(xué)習(xí)，這種一對(duì)一的映射被視為標(biāo)簽的增廣。如果兩個(gè)會(huì)話Embedding在兩個(gè)視圖中都表示同一個(gè)會(huì)話，就將這一對(duì)標(biāo)記為 ground-truth，否則將其標(biāo)記為 negative。

對(duì)比學(xué)習(xí)

通過(guò)創(chuàng)建自監(jiān)督信號(hào)，利用互信息最大化原則對(duì)兩個(gè)圖得到的表示進(jìn)行對(duì)比，以及對(duì)線圖卷積得到的embedding使用row-wise and column-wise shuffling后得到負(fù)樣本，即增大兩個(gè)角度session-embedding之間的一致性： 

 

 

 

最后的損失函數(shù)為兩部分之和： 

 

 

 

總結(jié)文本的創(chuàng)新點(diǎn)如下：

為 SBR 任務(wù)提出了一種雙通道超圖卷積網(wǎng)絡(luò) DHCN，通過(guò)超圖建模，可以捕獲項(xiàng)目之間的超配對(duì)關(guān)系和交叉會(huì)話信息。

首次將自監(jiān)督學(xué)習(xí)學(xué)習(xí)的概念放入到推薦任務(wù)的網(wǎng)絡(luò)訓(xùn)練中，自監(jiān)督學(xué)習(xí)可以加強(qiáng)模型的表達(dá)能力和推薦任務(wù)的完成效果。

2.MHCN 

 

 

 

論文標(biāo)題：Self-Supervised Multi-Channel Hypergraph Convolutional Network for Social Recommendation

論文方向：社交推薦

論文來(lái)源：WWW2021

論文鏈接：https://arxiv.org/abs/2101.06448

論文代碼：https://github.com/Coder-Yu/QRec

在推薦系統(tǒng)中，當(dāng)用戶-物品交互數(shù)據(jù)比較稀疏時(shí)，通常使用社交關(guān)系來(lái)提高推薦質(zhì)量。大多數(shù)現(xiàn)有的社交推薦模型利用成對(duì)關(guān)系來(lái)挖掘潛在的用戶偏好。然而，現(xiàn)實(shí)生活中用戶之間的互動(dòng)非常復(fù)雜，用戶關(guān)系可能是高階的。超圖提供了一種自然的方法來(lái)建模復(fù)雜的高階關(guān)系，而它在改善社交推薦方面的潛力還有待開(kāi)發(fā)。

在本文中，作者提出了一個(gè)多通道超圖卷積網(wǎng)絡(luò)(MHCN)，利用高階用戶關(guān)系來(lái)增強(qiáng)社交推薦。從技術(shù)上講，網(wǎng)絡(luò)中的每個(gè)通道都通過(guò)超圖卷積來(lái)編碼一個(gè)超圖，該超圖描繪了一個(gè)常見(jiàn)的高階用戶關(guān)系模式。通過(guò)聚合多個(gè)通道學(xué)習(xí)到的Embedding，可以得到全面的用戶表示，從而生成推薦結(jié)果。

然而，聚合操作也可能掩蓋不同類型的高階連接信息的固有特征。為了彌補(bǔ)聚合損失，作者將自監(jiān)督學(xué)習(xí)融入超圖卷積網(wǎng)絡(luò)的訓(xùn)練中，以獲得層次互信息最大化的連通性信息。

現(xiàn)有的自監(jiān)督學(xué)習(xí)(SSL)方法主要用于訓(xùn)練來(lái)自人工平衡數(shù)據(jù)集(如ImageNet)的表示模型。目前還不清楚它們?cè)趯?shí)際情況下的表現(xiàn)如何，在實(shí)際情況下，數(shù)據(jù)集經(jīng)常是不平衡的?；谶@個(gè)問(wèn)題，作者在訓(xùn)練實(shí)例分布從均勻分布到長(zhǎng)尾分布的多個(gè)數(shù)據(jù)集上，對(duì)自監(jiān)督對(duì)比學(xué)習(xí)和監(jiān)督學(xué)習(xí)方法的性能進(jìn)行了一系列的研究。作者發(fā)現(xiàn)與具有較大性能下降的監(jiān)督學(xué)習(xí)方法不同的是，自監(jiān)督對(duì)比學(xué)習(xí)方法即使在數(shù)據(jù)集嚴(yán)重不平衡的情況下也能保持穩(wěn)定的學(xué)習(xí)性能。 

 

 

 

社交推薦系統(tǒng)中常見(jiàn)的高階用戶關(guān)系類型(引自MHCN論文)

構(gòu)建超圖

超圖，它推廣了邊的概念，使其連接到兩個(gè)以上的節(jié)點(diǎn)，為建模用戶之間復(fù)雜的高階關(guān)系提供了一種自然的方法。作者通過(guò)統(tǒng)一形成特定三角形關(guān)系的節(jié)點(diǎn)來(lái)構(gòu)造超圖，這些三角關(guān)系是一組精心設(shè)計(jì)的具有底層語(yǔ)義的三角主題的實(shí)例，如下圖所示： 

 

 

 

從左到右為圖M1 ~ M10，我們根據(jù)其隱含的語(yǔ)義將其分為三組。M1~M7概括了顯性社交網(wǎng)絡(luò)中所有可能的三角關(guān)系，并描述了高階社交連接，比如“有一個(gè)共同的朋友”，我們稱之為“Social Motifs”。M8~M9表示聯(lián)合關(guān)系，即“朋友購(gòu)買(mǎi)同一件物品”。這種類型的關(guān)系可以看作是加強(qiáng)聯(lián)系的信號(hào)，我們將M8 ~ M9命名為“Joint Motifs”。最后，我們還應(yīng)該考慮那些沒(méi)有顯性社交關(guān)系的用戶。因此，M10是非封閉的，它定義了沒(méi)有社交關(guān)系但購(gòu)買(mǎi)了相同物品的用戶之間的隱性高階社會(huì)關(guān)系。我們將M10命名為“Purchase Motif”。在這三種模態(tài)的約束下，我們可以構(gòu)造出包含不同高階用戶關(guān)系模式的三個(gè)超圖。 

 

 

 

MHCN框架圖(引自MHCN論文)

多通道超圖卷積

在本文中，作者使用了三種通道設(shè)置，包括“社交通道(s)”、“聯(lián)合通道(j)”和“購(gòu)買(mǎi)通道§”，以應(yīng)對(duì)三種類型的三角形主題，但通道的數(shù)量可以調(diào)整，以適應(yīng)更復(fù)雜的情況。每個(gè)通道負(fù)責(zé)編碼一種高階用戶關(guān)系模式。因?yàn)椴煌哪Ｊ娇赡軙?huì)對(duì)最終的推薦性能表現(xiàn)出不同的重要性，所以直接將整個(gè)基本的用戶嵌入Embedding提供給所有通道是不明智的。為了控制從基本的用戶Embedding到每個(gè)通道的信息流，作者設(shè)計(jì)了一個(gè)具有自門(mén)控單元(SGU)的預(yù)過(guò)濾器，其定義為： 

 

 

 

超圖卷積定義為: 

 

 

 

 

學(xué)習(xí)全面的用戶表示

在通過(guò)𝐿層傳播用戶嵌入后，我們平均每一層獲得的Embedding，以形成最終的特定于通道的用戶表示： 

 

 

 

為了避免過(guò)度平滑問(wèn)題，然后我們利用注意力機(jī)制對(duì)不同通道的用戶嵌入信息進(jìn)行選擇性聚合，形成全面的用戶嵌入。對(duì)于每個(gè)用戶𝑢，我們學(xué)習(xí)了一個(gè)三元組(𝛼𝑠、𝛼𝑗、𝛼𝑝)來(lái)測(cè)量三個(gè)特定于通道的嵌入對(duì)最終推薦性能的不同貢獻(xiàn)。注意力函數(shù)

定義為： 

 

 

 

全面的用戶表示定義為： 

 

 

 

自監(jiān)督學(xué)習(xí)增強(qiáng)MHCN

由于利用了高階關(guān)系，MHCN表現(xiàn)出了很好的性能，然而，MHCN的一個(gè)缺點(diǎn)是聚合操作可能會(huì)導(dǎo)致高階信息的丟失，因?yàn)椴煌耐ǖ罆?huì)在不同的超圖上學(xué)習(xí)不同分布的Embedding。為了解決這個(gè)問(wèn)題，并充分繼承超圖中豐富的信息，我們將自監(jiān)督學(xué)習(xí)融入到MHCN的訓(xùn)練中。

創(chuàng)建自監(jiān)督信號(hào)

對(duì)于MHCN的每個(gè)通道，我們建立鄰接矩陣𝑨𝑐，以捕獲高階連接信息。𝑨𝑐中的每一行都表示以行索引表示的用戶為中心的相應(yīng)超圖的子圖，然后我們可以引出一個(gè)層次結(jié)構(gòu)：“用戶節(jié)點(diǎn)←以用戶為中心的子超圖←超圖”，并從該結(jié)構(gòu)創(chuàng)建自監(jiān)督信號(hào)。

作者引入自監(jiān)督任務(wù)的目標(biāo)是：全面的用戶表示應(yīng)該反映用戶節(jié)點(diǎn)在不同超圖中的局部和全局的高階連接模式，可以通過(guò)分層最大化用戶表示、以用戶為中心的子超圖和每個(gè)通道中的超圖之間的互信息來(lái)實(shí)現(xiàn)這一目標(biāo)。

對(duì)比學(xué)習(xí)

Deep Graph Infomax (DGI)是一種通用和流行的方法，用于自監(jiān)督的方式學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)中的節(jié)點(diǎn)表示。我們遵循DGI，使用InfoNCE作為我們的學(xué)習(xí)目標(biāo)，以最大化層次互信息。但我們發(fā)現(xiàn)，與二元交叉熵?fù)p失相比，成對(duì)排序損失(在互信息估計(jì)中也被證明是有效的)更適合推薦任務(wù)。因此定義自監(jiān)督任務(wù)的目標(biāo)函數(shù)如下： 

 

 

 

最后，我們將推薦任務(wù)的目標(biāo)(主要的)和最大化層次互信息的任務(wù)(輔助的)統(tǒng)一起來(lái)進(jìn)行聯(lián)合學(xué)習(xí)?？傮w目標(biāo)函數(shù)定義為: 

 

 

 

本文的主要貢獻(xiàn)總結(jié)如下：

研究了通過(guò)利用多通道設(shè)置下的多種高階用戶關(guān)系，在社交推薦中融合超圖建模和圖神經(jīng)網(wǎng)絡(luò)。

將自監(jiān)督學(xué)習(xí)融入到超圖卷積網(wǎng)絡(luò)的訓(xùn)練中，證明了一種自監(jiān)督輔助任務(wù)可以顯著改善社交推薦任務(wù)。

3.SGL 

 

 

 

論文標(biāo)題：Self-supervised Graph Learning for Recommendation

論文來(lái)源：SIGIR2021

論文鏈接：https://arxiv.org/abs/2010.10783

論文代碼：https://github.com/wujcan/SGL

這篇文章提出了一種應(yīng)用于用戶-物品二分圖推薦系統(tǒng)的圖自監(jiān)督學(xué)習(xí)框架。核心的思想是，對(duì)輸入的二分圖，做結(jié)點(diǎn)和邊的dropout進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)后的圖可以看做原始圖的子視圖;在子視圖上使用任意的圖卷積神經(jīng)網(wǎng)絡(luò)，如LightGCN來(lái)提取結(jié)點(diǎn)的表征，對(duì)于同一個(gè)結(jié)點(diǎn)，多個(gè)視圖就能形成多種表征;然后借鑒對(duì)比學(xué)習(xí)的思路，構(gòu)造自監(jiān)督學(xué)習(xí)任務(wù)，即：最大化同一個(gè)結(jié)點(diǎn)不同視圖表征之間的相似性，最小化不同結(jié)點(diǎn)表征之間的相似性;最后對(duì)比學(xué)習(xí)自監(jiān)督任務(wù)和推薦系統(tǒng)的監(jiān)督學(xué)習(xí)任務(wù)聯(lián)合起來(lái)，構(gòu)成多任務(wù)學(xué)習(xí)的范式。

文章的方法很簡(jiǎn)潔，這種思想和陳丹琦的工作，基于對(duì)比學(xué)習(xí)的句子表征SimCSE有異曲同工之處，值得借鑒到實(shí)際的圖表征學(xué)習(xí)中。

解決目前基于user-item二分圖表征學(xué)習(xí)的推薦系統(tǒng)面臨的兩大核心問(wèn)題：

1. 長(zhǎng)尾問(wèn)題。high-degree高度的結(jié)點(diǎn)對(duì)表征學(xué)習(xí)起了主導(dǎo)作用，導(dǎo)致低度的結(jié)點(diǎn)，即長(zhǎng)尾的item的學(xué)習(xí)很困難。
2. 魯棒性問(wèn)題。交互數(shù)據(jù)中包含著很多噪聲。而基于鄰域結(jié)點(diǎn)匯聚的范式，會(huì)擴(kuò)大”噪聲觀測(cè)邊”的影響力，導(dǎo)致最終學(xué)習(xí)的表征受到噪聲交互數(shù)據(jù)的影響比較大。

因此，作者提出了圖自監(jiān)督學(xué)習(xí)的方法SGL，來(lái)提高基于二分圖推薦的準(zhǔn)確性和魯棒性。 

 

 

 

SGL的總體系統(tǒng)框架(引自SGL論文)

圖結(jié)構(gòu)上的數(shù)據(jù)擴(kuò)充

由于以下特定特征，直接在基于圖的推薦中采用CV和NLP任務(wù)中的數(shù)據(jù)增強(qiáng)是不可行的。

1. 用戶和物品的特征是離散的，如one-hot ID等分類變量。因此，圖像上的增強(qiáng)操作，如隨機(jī)裁剪、旋轉(zhuǎn)或模糊，是不適用的。
2. 更重要的是，與將每個(gè)數(shù)據(jù)實(shí)例視為獨(dú)立的CV和NLP任務(wù)不同，交互圖中的用戶和項(xiàng)目本質(zhì)上是相互連接和依賴的。因此，我們需要為基于圖的推薦定制新的增強(qiáng)運(yùn)算符。

二部圖建立在觀察到的用戶-物品交互上，因此包含協(xié)同過(guò)濾信號(hào)。具體來(lái)說(shuō)，第一跳鄰近節(jié)點(diǎn)直接描述了自我用戶和項(xiàng)目節(jié)點(diǎn)，即用戶的歷史項(xiàng)目(或項(xiàng)目的交互用戶)可以被視為用戶(或項(xiàng)目)的預(yù)先存在特征。用戶(或項(xiàng)目)的第二跳鄰近節(jié)點(diǎn)表示類似用戶(或類似項(xiàng)目)。此外，從用戶到商品的higher-order路徑反映了用戶對(duì)商品的潛在興趣。毫無(wú)疑問(wèn)，挖掘圖結(jié)構(gòu)中的固有模式有助于表示學(xué)習(xí)。因此，作者在圖結(jié)構(gòu)上設(shè)計(jì)了三個(gè)算子：node dropout, edge dropout 和 random walk，以創(chuàng)建不同的節(jié)點(diǎn)視圖。運(yùn)算符可以一致表示為：

 

其中，在圖G中獨(dú)立進(jìn)行隨機(jī)選擇s1和s2，從而構(gòu)建兩個(gè)相關(guān)視圖Z1(l)和Z2(l)。三個(gè)增廣算子詳細(xì)闡述如下:Node Dropout (ND)：以概率ρ從圖中丟棄每個(gè)節(jié)點(diǎn)及其連接邊。 

 

 

 

式中，M`, M``∈{0,1} | V |是兩個(gè)掩碼向量，應(yīng)用于節(jié)點(diǎn)集V生成兩個(gè)子圖。因此，這種增強(qiáng)可以從不同的增強(qiáng)視圖中識(shí)別出有影響的節(jié)點(diǎn)，使表示學(xué)習(xí)對(duì)結(jié)構(gòu)變化不那么敏感。Edge Dropout (ED)：以概率ρ從圖中丟棄邊。 

 

 

 

其中M1, M2∈{0,1} | E |是邊集E上的兩個(gè)掩碼向量。只有鄰域內(nèi)的部分連接對(duì)節(jié)點(diǎn)表示有貢獻(xiàn)。因此，耦合這兩個(gè)子圖的目的是捕獲節(jié)點(diǎn)局部結(jié)構(gòu)的有用模式，并進(jìn)一步賦予表示對(duì)噪聲交互的更強(qiáng)的魯棒性。

Random Walk ：上面的兩個(gè)算子生成一個(gè)跨所有圖卷積層共享的子圖。為了探索更高的性能，作者考慮為不同的層分配不同的子圖。這可以看作是使用隨機(jī)游走為每個(gè)節(jié)點(diǎn)構(gòu)造單獨(dú)的子圖。假設(shè)在每一層(有不同的比例或隨機(jī)種子)選擇edge dropout，則可以通過(guò)利用邊掩蔽向量對(duì)層敏感來(lái)制定RW(如下圖所示)： 

 

 

 

為了簡(jiǎn)單起見(jiàn)，作者在圖結(jié)構(gòu)的每個(gè)epoch上應(yīng)用這些增強(qiáng)，也就是說(shuō)，在一個(gè)新的訓(xùn)練epoch開(kāi)始時(shí)，對(duì)每個(gè)節(jié)點(diǎn)生成兩個(gè)不同的視圖(對(duì)于RW，每層生成兩個(gè)不同的視圖)。請(qǐng)注意，對(duì)于兩個(gè)獨(dú)立進(jìn)程(即s1和s2)， dropout和masking比率是相同的。我們將不同比例的調(diào)整留到以后的工作中。值得一提的是，只涉及到dropout和masking操作，并且沒(méi)有添加任何模型參數(shù)。

對(duì)比學(xué)習(xí)

將來(lái)自同一節(jié)點(diǎn)的增強(qiáng)視圖視為正例，來(lái)自不同節(jié)點(diǎn)間的增強(qiáng)視圖視為負(fù)例。正例輔助監(jiān)督促進(jìn)了同一節(jié)點(diǎn)的不同視圖之間的預(yù)測(cè)一致性，而負(fù)例監(jiān)督則強(qiáng)化了不同節(jié)點(diǎn)之間的分歧。形式上，遵循SimCLR，并采用對(duì)比損失InfoNCE來(lái)最大化正例的一致性，最小化負(fù)例的一致性： 

 

 

 

項(xiàng)目上的損失如上類似構(gòu)建。最終的自監(jiān)督任務(wù)損失如下： 

 

 

 

多任務(wù)學(xué)習(xí)

為了改進(jìn)自監(jiān)督學(xué)習(xí)任務(wù)的推薦，作者利用多任務(wù)訓(xùn)練策略聯(lián)合優(yōu)化經(jīng)典推薦任務(wù)和自監(jiān)督學(xué)習(xí)任務(wù)： 

 

 

 

本文的主要貢獻(xiàn)總結(jié)如下：

探索了自監(jiān)督學(xué)習(xí)解決監(jiān)督學(xué)習(xí)范式下基于圖推薦的局限性的潛力;

提出了一個(gè)模型無(wú)關(guān)的框架SGL來(lái)補(bǔ)充監(jiān)督推薦任務(wù)與自監(jiān)督學(xué)習(xí)的用戶-項(xiàng)目圖;

從圖結(jié)構(gòu)的角度，設(shè)計(jì)了三種不同方面的數(shù)據(jù)擴(kuò)充來(lái)構(gòu)建輔助對(duì)比任務(wù)。

下面給大家留一個(gè)討論題，希望大家踴躍發(fā)表意見(jiàn)，讓我們所有人都從討論中受益：

除了DHCN、MHCN和SGL，你還知道哪些將對(duì)比學(xué)習(xí)與推薦系統(tǒng)結(jié)合的模型，它們是如何將自監(jiān)督應(yīng)用在推薦任務(wù)中的，損失函數(shù)又是什么樣的?