作者 | 汪昊

審校 | 重樓

自互聯(lián)網(wǎng)誕生以來，互聯(lián)網(wǎng)上的評分網(wǎng)站層出不窮。美國的 IMDB 和爛番茄等網(wǎng)站都有大量的電影評分和影評。許多人在觀影之前都要上類似的網(wǎng)站搜索電影評分以決定自己是否要看某一部電影?？梢哉f，在過去 10 年的人類文明發(fā)展過程中，無數(shù)的人已經(jīng)養(yǎng)成了這一習(xí)慣。今天，我們要給大家潑一盆冷水：以后還是別上電影評分網(wǎng)站搜電影了。電影評分網(wǎng)站的評分根本就不可靠。

在說服大家之前，我們先來介紹一下什么是博爾達計數(shù)法。博爾達計數(shù)法是1770 年法國科學(xué)家提出的評選法國科學(xué)院院士的投票方法。雖然博爾達計數(shù)法的發(fā)明時間可能遠遠早于 1770 年，但是該方法還是以博爾達的名字命名了。博爾達計數(shù)法的投票方式如下：假設(shè)現(xiàn)在有 N 個候選人競選某個職位，觀眾給他們投票，每個人給心中的第一名打 N 分，給第二名 N-1 分…… 最后統(tǒng)計所有分?jǐn)?shù)的總和，得分最高的候選人獲選。博爾達計數(shù)法被用在金球獎評分等活動中，時至今日仍然影響著我們。

或許我們對博爾達計數(shù)法沒有那么熟悉，但我們一定見過博爾達計數(shù)法的變種——區(qū)間評分法。所謂區(qū)間評分法，舉個例子，在 IMDB 上，我們看一部電影，最高分給 5 分，差一些的給 4 分，…… 這就是所謂的區(qū)間評分法。因為我們給的分?jǐn)?shù)是一個區(qū)間內(nèi)的整數(shù)，所以叫區(qū)間評分法。下面，我們將要告訴讀者，所有基于區(qū)間評分法的評分系統(tǒng)都是無效評分系統(tǒng)。

在國際學(xué)術(shù)會議 ICHESS 2023 上，研究者發(fā)表了一篇題為 The Fallacy of Borda Count Method -- Why it is Useless with Group Intelligence and Shouldn't be Used with Big Data including Banking Customer Services 的論文，否定了大數(shù)據(jù)場景下區(qū)間評分法的合理性。因為區(qū)間評分法廣泛應(yīng)用于文化評分網(wǎng)站、電商商品和客服評價系統(tǒng)、銀行柜員評價系統(tǒng)、移動通訊客服評價系統(tǒng)等，因此這篇論文意義深遠，值得每一個人認真閱讀。

這篇論文首先回顧了作者在過去 3 年發(fā)表的若干篇論文。這些論文介紹了若干零樣本學(xué)習(xí)算法：ZeroMat、DotMat、RankMat、PoissonMat、PowerMat、LogitMat 等。這些論文有一個共同特點：在不借助遷移學(xué)習(xí)/元學(xué)習(xí)和預(yù)訓(xùn)練模型的前提下，可以不利用任何用戶評分?jǐn)?shù)據(jù)，極為準(zhǔn)確的預(yù)測用戶物品評分值，是人工智能歷史上第一批真正意義的零樣本學(xué)習(xí)算法。這些算法，可以在推薦系統(tǒng)領(lǐng)域完美的解決冷啟動問題，并且效果絲毫不遜于有完整數(shù)據(jù)的非零樣本學(xué)習(xí)算法。這些顛覆性的成果迫使我們重新思考整個推薦系統(tǒng)領(lǐng)域和在線評分網(wǎng)站評分體系的有效性。這些算法都有一個共同特點，就是充分利用了推薦系統(tǒng)輸入數(shù)據(jù)的冪律特性，使用評分本身近似評分分布，來替代最大似然函數(shù)中的相關(guān)公式，從而達到不需要任何實際數(shù)據(jù)就能完成推薦的目的。

要想理解這些算法，就必須先理解矩陣分解算法。所謂矩陣分解算法，就是利用用戶特征向量和物品特征向量的點乘來最大程度的近似用戶物品評分。矩陣分解的損失函數(shù)如下：

損失函數(shù) L 可以通過隨機梯度下降法進行求解。關(guān)于矩陣分解的最精確的數(shù)學(xué)解釋是 2007 年的推薦系統(tǒng)里程碑論文 Probabilistic Matrix Factorization。這篇論文將矩陣分解重構(gòu)成了最大似然函數(shù)求解問題。ZeroMat 將評分的高斯分布假設(shè)改成了真實的冪律分布，得到了如下的最大似然函數(shù)求解公式：

這個公式可以利用隨機梯度下降進行求解。求解過程如下（標(biāo)準(zhǔn)差設(shè)定為 1）：

這個算法在 MovieLens 和 LDOS-CoMoDa 數(shù)據(jù)集合上進行測試，都取得了和利用全部用戶評分?jǐn)?shù)據(jù)進行運算的矩陣分解算法比肩的效果。

DotMat 算法的損失函數(shù)公式如下：

利用隨機梯度下降公式對該損失函數(shù)進行求解，得到如下公式：

為了省略文章篇幅，下面我們只討論 PoissonMat 和 LogitMat 這兩個算法。PoissonMat 算法的最大似然函數(shù)公式如下：

利用隨機梯度下降對最大似然函數(shù)進行求解，得到如下公式：

下面我們看一下 LogitMat 算法。這個算法的損失函數(shù)結(jié)合了邏輯回歸和矩陣分解：

利用隨機梯度下降對損失函數(shù)進行求解，得到了如下公式：

通過觀察這些函數(shù)的求解公式，我們發(fā)現(xiàn)這些算法無一例外的都不需要任何用戶評分?jǐn)?shù)據(jù)。我們可以在不借助任何數(shù)據(jù)的情況下完成推薦算法的設(shè)計。下面我們從這些算法的原始論文中找出一些原始圖片來分析一下算法的結(jié)果：

圖 1 和圖 2 展示的是 ZeroMat、DotMat、PoissonMat 和 LogitMat 與經(jīng)典的矩陣分解模型的對比結(jié)果。可以看到，許多不需要任何數(shù)據(jù)的算法在準(zhǔn)確性和公平性指標(biāo)上都擊敗了經(jīng)典的矩陣分解模型，而該模型利用了所有的用戶評分矩陣數(shù)據(jù)。

這一系列的結(jié)果讓我們有了充足的理由推翻區(qū)間評分法：因為冪律效應(yīng)的原因，我們可以使用評分本身代替評分的概率分布對最大似然函數(shù)進行建模，這樣可以得到零樣本學(xué)習(xí)算法，并且零樣本學(xué)習(xí)算法可以精確預(yù)測用戶評分喜好，在 [1, 5] 評分區(qū)間上評分誤差可以不超過 0.8 。這一發(fā)現(xiàn)在很大程度上沖擊了我們對于推薦系統(tǒng)領(lǐng)域的認知。因為用戶評分?jǐn)?shù)據(jù)，特別是電影評分?jǐn)?shù)據(jù)中的冪律效應(yīng)不可避免，所以零樣本算法永遠成立。既然一個人給電影打多少分可以不用任何數(shù)據(jù)進行預(yù)測，這樣的評分系統(tǒng)還有何用？因此電影評分網(wǎng)站的評分系統(tǒng)都是無效的評分系統(tǒng)。而這一結(jié)論可以輕易的擴展到其他區(qū)間評分的系統(tǒng)中去：只要該系統(tǒng)的輸入存在冪律效應(yīng)，區(qū)間評分法就是無效的。

查電影評分上互聯(lián)網(wǎng)？別逗了！你給電影打多少分，不用查你的歷史數(shù)據(jù)就能猜的很準(zhǔn)。而這僅僅是因為電影評分的冪律效應(yīng)。這樣的影評評分系統(tǒng)，你敢用嗎？

作者簡介

汪昊，前 Funplus 人工智能實驗室負責(zé)人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔(dān)任技術(shù)和技術(shù)高管職務(wù)。在互聯(lián)網(wǎng)公司和金融科技、游戲等公司任職 12 年，對于人工智能、計算機圖形學(xué)和區(qū)塊鏈等領(lǐng)域有著深刻的見解和豐富的經(jīng)驗。在國際學(xué)術(shù)會議和期刊發(fā)表論文 42 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 最佳論文報告獎。