如何利用DeepFM算法設(shè)計推薦系統(tǒng)
譯文【51CTO.com快譯】經(jīng)過了十幾年的發(fā)展，推薦系統(tǒng)在互聯(lián)網(wǎng)行業(yè)已經(jīng)變得越來越流行。從早年沒有一個合適的產(chǎn)品形態(tài)，到如今在今日頭條和抖音等商業(yè)產(chǎn)品中發(fā)揮重要作用，推薦系統(tǒng)已經(jīng)越來越受到互聯(lián)網(wǎng)公司和研究界學(xué)者的重視。
早年的推薦算法主要是各種單模型，例如邏輯回歸、協(xié)同過濾、矩陣分解等等。后來推薦算法演化成了混合模型，例如 GBDT + LR , GBDT + FM 等。而隨著深度學(xué)習(xí)的崛起，深度神經(jīng)網(wǎng)絡(luò)越來越深刻地影響了推薦系統(tǒng)領(lǐng)域的發(fā)展。
Huifeng Guo 等中國國內(nèi)學(xué)者在 IJCAI 2017 發(fā)表了一篇題為《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 》的論文，講解了如何將 FM 和深度學(xué)習(xí)模型進行融合之后進行推薦的算法。
DeepFM 主要有以下三個優(yōu)點：
- DeepFM 可以對低階特征交互和高階特征交互進行建模，不需要進行特征工程。
- DeepFM 可以高效的進行訓(xùn)練，因為模型寬的部分和深的部分，不僅共享輸入，也共享嵌入式向量。
- 實驗數(shù)據(jù)表明 DeepFM 可以在點擊率預(yù)估問題上取得優(yōu)秀的效果。
DeepFM 的輸入數(shù)據(jù)為點擊率預(yù)估常見的 (X, y) 元組，其中 X 是表示用戶和物品的特征向量，可能包括非數(shù)值數(shù)據(jù)，y 是點擊數(shù)據(jù)標(biāo)簽，y = 1 表示用戶點擊了物品，y = 0 表示用戶沒有點擊物品。
DeepFM 的預(yù)測函數(shù)如下：
, 其實是利用 sigmoid 函數(shù)對基于 FM 的預(yù)測和基于 DNN 的預(yù)測進行了融合。算法模型中的 FM 部分算法架構(gòu)如下圖所示：
DNN 部分的算法架構(gòu)如下圖所示：
在混合模型中，F(xiàn)M 和 DNN 共享同一個特征嵌入層。嵌入層的結(jié)構(gòu)如下圖所示：
嵌入層得到的向量記為：
, 該向量參與到后續(xù)的DNN計算中：
，以及
。
作者隨后在測試數(shù)據(jù)集合上對近年來的幾種不同的點擊率預(yù)估算法進行了測評，選擇的測評標(biāo)準(zhǔn)包括 AUC 和 Log-loss ，測評結(jié)果如下圖所示：
與 DeepFM 相比，其他幾種點擊率預(yù)估算法有以下缺點：
- FNN : FNN 是一個由 FM 初始化的前向神經(jīng)網(wǎng)絡(luò)。FM 預(yù)訓(xùn)練策略有如下兩個問題：1). 嵌入層參數(shù)受 FM 影響較大 2). FM 預(yù)訓(xùn)練對算法效率有影響。另外，F(xiàn)M 只包含了高階特征組合。
- PNN : PNN 及其變種 IPNN 和 OPNN 忽略了低階特征的組合。
- 寬深網(wǎng)絡(luò)：寬身網(wǎng)絡(luò)的 FM 部分需要人工處理特征工程。
DeepFM 設(shè)計思路簡單，源于 2016 年 Google 的寬深網(wǎng)絡(luò)方法但是效果出眾。自推薦系統(tǒng)誕生以來，人們便設(shè)計了各種不同的模型融合方法。從修改主題模型的 Collaborative Topic Regression ，到基于 blending 的 GBDT + LR 再到后面的寬深網(wǎng)絡(luò)方法， 給我們設(shè)計算法提供了不同的思路。算法本身是一個既要考慮模型，又要考慮數(shù)據(jù)和參數(shù)的學(xué)科，DeepFM 在如何設(shè)計模型層面給我們展示了很好的范例。
原文標(biāo)題：DeepFM: A Factorization-Machine based Neural Network for CTR Prediction，作者：Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He
汪昊，恒昌利通資深架構(gòu)師，美國猶他大學(xué)碩士，在百度，新浪，網(wǎng)易，豆瓣等公司有多年的研發(fā)和技術(shù)管理經(jīng)驗，擅長機器學(xué)習(xí)，大數(shù)據(jù)，推薦系統(tǒng)，社交網(wǎng)絡(luò)分析，計算機圖形學(xué)，可視化等技術(shù)。在 TVCG 和 ASONAM 等國際會議和期刊發(fā)表論文 8 篇。本科畢業(yè)論文獲國際會議 IEEE SMI 2008 ***論文獎。
【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】
