本工作由認(rèn)知智能全國重點實驗室 IEEE Fellow 陳恩紅團隊與華為諾亞方舟實驗室完成。陳恩紅教授團隊深耕數(shù)據(jù)挖掘、機器學(xué)習(xí)領(lǐng)域，在頂級期刊與會議上發(fā)表多篇論文，谷歌學(xué)術(shù)論文引用超兩萬次。諾亞方舟實驗室是華為公司從事人工智能基礎(chǔ)研究的實驗室，秉持理論研究與應(yīng)用創(chuàng)新并重的理念，致力于推動人工智能領(lǐng)域的技術(shù)創(chuàng)新和發(fā)展。

8 月 25 日 - 29 日在西班牙巴塞羅那召開的第 30 屆 ACM 知識發(fā)現(xiàn)與數(shù)據(jù)挖掘大會 (KDD2024) 上，中國科學(xué)技術(shù)大學(xué)認(rèn)知智能全國重點實驗室陳恩紅教授、IEEE Fellow，和華為諾亞聯(lián)合發(fā)表的論文 “Dataset Regeneration for Sequential Recommendation”，獲 2024 年大會 Research Track 唯一最佳學(xué)生論文獎。論文第一作者為中科大認(rèn)知智能全國重點實驗室陳恩紅教授，連德富教授，與王皓特任副研究員共同指導(dǎo)的博士生尹銘佳同學(xué)，華為諾亞劉勇、郭威研究員也參與了論文的相關(guān)工作。這是自 KDD 于 2004 年設(shè)立該獎項以來，陳恩紅教授團隊的學(xué)生第二次榮獲該獎項。

• 論文鏈接: https://arxiv.org/abs/2405.17795
• 代碼鏈接: https://github.com/USTC-StarTeam/DR4SR

研究動機

序列推薦系統(tǒng)（Sequential Recommender, SR）是現(xiàn)代推薦系統(tǒng)的重要組成部分，因為它旨在捕捉用戶不斷變化的偏好。近年來，研究者為了增強序列推薦系統(tǒng)的能力，已經(jīng)付出了大量努力。這些方法通常遵循以模型為中心（Model-centric）的范式，即基于固定數(shù)據(jù)集開發(fā)有效的模型。然而，這種方法往往忽視了數(shù)據(jù)中潛在的質(zhì)量問題和缺陷。為了解決這些問題，學(xué)界提出了以數(shù)據(jù)為中心（Data-centric）的范式，重點在于使用固定模型轉(zhuǎn)而生成高質(zhì)量的數(shù)據(jù)集。我們將其定義為 “數(shù)據(jù)集重生成” 問題。

為了獲得最佳的訓(xùn)練數(shù)據(jù)，研究團隊的關(guān)鍵思路是學(xué)習(xí)一個顯式包含物品轉(zhuǎn)移模式的新數(shù)據(jù)集。具體來說，他們將推薦系統(tǒng)的建模過程分為兩個階段：從原始數(shù)據(jù)集中提取轉(zhuǎn)移模式 ，并基于  學(xué)習(xí)用戶偏好。由于學(xué)習(xí)從 的映射涉及兩個隱含的映射： ，因此這一過程具有挑戰(zhàn)性。為此，研究團隊探索了開發(fā)一個顯式表示中的物品轉(zhuǎn)移模式的數(shù)據(jù)集的可能性，這使得我們可以將學(xué)習(xí)過程明確地分為兩個階段，其中  相對更容易學(xué)習(xí)。因此，他們的主要關(guān)注點是學(xué)習(xí)一個有效的的映射函數(shù)，這是一個一對多的映射。研究團隊將這一學(xué)習(xí)過程定義為數(shù)據(jù)集重生成范式，如圖 1 所示，其中 “重生成” 意味著他們不引入任何額外信息，僅依賴原始數(shù)據(jù)集。

圖1

為了實現(xiàn)數(shù)據(jù)集重生成，研究團隊提出了一種新穎的以數(shù)據(jù)為中心的范式 —— 用于序列推薦的數(shù)據(jù)集重生成（DR4SR），旨在將原始數(shù)據(jù)集重生成一個信息豐富且具有通用性的數(shù)據(jù)集。具體來說，研究團隊首先構(gòu)建了一個預(yù)訓(xùn)練任務(wù)，使得數(shù)據(jù)集重生成成為可能。接著，他們提出了一種多樣性增強的重生成器，以在重生成過程中建模序列和模式之間的一對多關(guān)系。最后，他們提出了一種混合推理策略，以在探索與利用之間取得平衡，生成新的數(shù)據(jù)集。

數(shù)據(jù)集重生成過程雖具通用性，但可能不完全適合特定目標(biāo)模型。為解決這一問題，研究團隊提出了 DR4SR+，這是一個模型感知的重生成過程，它根據(jù)目標(biāo)模型的特性定制數(shù)據(jù)集。DR4SR + 通過雙層優(yōu)化問題和隱式微分技術(shù)，個性化評分并優(yōu)化重生成數(shù)據(jù)集中的模式，以增強數(shù)據(jù)集效果。

研究方法

在本項研究中，研究團隊提出了一個名為 “用于序列推薦的數(shù)據(jù)重生成”（DR4SR）的以數(shù)據(jù)為中心的框架，旨在將原始數(shù)據(jù)集重生成一個信息豐富且具有通用性的數(shù)據(jù)集，如圖 2 所示。由于數(shù)據(jù)重生成過程是獨立于目標(biāo)模型的，因此重生成的數(shù)據(jù)集可能不一定符合目標(biāo)模型的需求。因此，研究團隊將 DR4SR 擴展為模型感知版本，即 DR4SR+，以針對特定的目標(biāo)模型定制重生成的數(shù)據(jù)集。

模型無感知的數(shù)據(jù)集重生成

圖2

為了開發(fā)一個信息豐富且具有通用性的數(shù)據(jù)集，研究團隊旨在構(gòu)建一個數(shù)據(jù)集重生成器，以促進數(shù)據(jù)集的自動重生成。然而，原始數(shù)據(jù)集中缺乏用于學(xué)習(xí)數(shù)據(jù)集重生成器的監(jiān)督信息。因此，他們必須以自監(jiān)督學(xué)習(xí)的方式來實現(xiàn)這一目標(biāo)。為此，他們引入了一個預(yù)訓(xùn)練任務(wù)，以指導(dǎo)多樣性增強重生成器的學(xué)習(xí)。在完成預(yù)訓(xùn)練后，研究團隊進一步使用混合推理策略來重生成一個新數(shù)據(jù)集。

數(shù)據(jù)重生成預(yù)訓(xùn)練任務(wù)的構(gòu)建：

圖3

為了構(gòu)建預(yù)訓(xùn)練任務(wù)，他們首先通過基于規(guī)則的方法獲取物品轉(zhuǎn)移模式。然后，要求重生成器 能夠?qū)?nbsp; 重生成對應(yīng)的模式  。研究團隊將整個預(yù)訓(xùn)練數(shù)據(jù)集記作 

促進多樣性的重生成器：

借助預(yù)訓(xùn)練任務(wù)，研究團隊現(xiàn)在可以預(yù)訓(xùn)練一個數(shù)據(jù)集重生成器。本文中，他們采用 Transformer 模型作為重生成器的主要架構(gòu)，其生成能力已被廣泛驗證。數(shù)據(jù)集重生成器由三個模塊組成：一個用于獲取原始數(shù)據(jù)集中序列表示的編碼器、一個用于重生成模式的解碼器，以及一個用于捕捉一對多映射關(guān)系的多樣性增強模塊。接下來，研究團隊將分別介紹這些模塊。

編碼器由多個堆疊的多頭自注意力（MHSA）和前饋網(wǎng)絡(luò)（FFN）層組成。至于解碼器，它將重生成數(shù)據(jù)集 X' 中的模式作為輸入。解碼器的目標(biāo)是在給定編碼器生成的序列表示的情況下重構(gòu)模式

然而，從一個序列中可以提取多個模式，這在訓(xùn)練過程中會帶來挑戰(zhàn)。為了解決這一一對多映射問題，研究團隊進一步提出了一個多樣性增強模塊。

具體而言，研究團隊通過將目標(biāo)模式的信息整合到解碼階段，來自適應(yīng)地調(diào)節(jié)原始序列的影響。首先，他們將編碼器生成的記憶 投影到 K 個不同的向量空間中，即 。理想情況下，不同的目標(biāo)模式應(yīng)與不同的記憶匹配。為此，他們還引入了一個 Transformer 編碼器來編碼目標(biāo)模式并獲取 。他們將 壓縮成一個概率向量：

其中 ， 是選擇第 k 個記憶的概率。為了確保每個記憶空間得到充分訓(xùn)練，我們不執(zhí)行硬選擇，而是通過加權(quán)求和得到最終的記憶：

最終，可以利用獲取的記憶來促進解碼過程，并有效捕捉序列與模式之間復(fù)雜的一對多關(guān)系。

模型感知的數(shù)據(jù)集重生成

由于前面的重生成過程與目標(biāo)模型無關(guān)，因此重生成的數(shù)據(jù)集可能對于特定的目標(biāo)模型來說并不是最優(yōu)的。因此，他們將模型無關(guān)的數(shù)據(jù)集重生成過程擴展為模型感知的重生成過程。為此，在數(shù)據(jù)集重生成器的基礎(chǔ)上，他們引入了一個數(shù)據(jù)集個性化器，用于評估重生成數(shù)據(jù)集中每個數(shù)據(jù)樣本的評分。然后，研究團隊進一步通過隱式微分有效地優(yōu)化數(shù)據(jù)集個性化器。

數(shù)據(jù)集個性化器：

研究團隊的目標(biāo)是訓(xùn)練一個參數(shù)為 的基于 MLP 實現(xiàn)的數(shù)據(jù)集個性化器 ，用以評估每個數(shù)據(jù)樣本 W 對于目標(biāo)模型的評分。為了確?？蚣艿耐ㄓ眯?，研究團隊利用計算得到的評分來調(diào)整訓(xùn)練損失的權(quán)重，這不需要對目標(biāo)模型進行額外的修改。他們從定義原始的下一個物品預(yù)測損失開始：

隨后，個性化數(shù)據(jù)集的訓(xùn)練損失函數(shù)可以定義為：

實驗結(jié)論

主要實驗

研究團隊比較了每種目標(biāo)模型與 “DR4SR” 和 “DR4SR+” 變體的性能，以驗證所提出框架的有效性。

圖4

從圖 4 展示的整體性能中，可以得出以下結(jié)論：

• DR4SR 能夠重生成一個信息豐富且具有普遍適用性的數(shù)據(jù)集
• 不同的目標(biāo)模型偏好不同的數(shù)據(jù)集
• 去噪只是數(shù)據(jù)重生成問題的一個子集