一、推薦系統(tǒng)中的排序公式

首先，我們來(lái)探討排序公式在推薦系統(tǒng)中的重要地位。對(duì)于眼界廣闊的算法工程師來(lái)說(shuō)，他們?cè)诟鞣N大公司中的工作可能看起來(lái)像是在進(jìn)行數(shù)據(jù)分析，或者進(jìn)行開(kāi)發(fā)，或者策略制定，但實(shí)際上他們所做的一切都是為了一件事——服務(wù)于最終的排序。這是因?yàn)?，推薦系統(tǒng)的最終輸出就是排序結(jié)果。

無(wú)論是從事特征工程、模型訓(xùn)練，還是推薦策略的人，又或是那些努力將業(yè)務(wù)理念融入推薦結(jié)果的人，他們所有的努力，都是為了將個(gè)性化的差異體現(xiàn)在最終的排序結(jié)果中。為了實(shí)現(xiàn)這個(gè)目標(biāo)，必須依靠排序公式。排序公式是實(shí)現(xiàn)我們所有目標(biāo)，并最終展現(xiàn)出推薦結(jié)果的關(guān)鍵。

由于排序公式在推薦系統(tǒng)中占據(jù)著核心地位，大公司對(duì)其的研究和迭代都非常深入且廣泛。排序公式主要包括兩種融合方式：序融合和值融合。

首先，序融合主要關(guān)注各個(gè)模型或其提供的特征以及給出的排序信號(hào)。這種方法只關(guān)注排名，而不關(guān)心其具體的數(shù)值。這樣做的優(yōu)點(diǎn)是，由于我們直接在排名（rank）維度上進(jìn)行排序和融合，這個(gè)過(guò)程已經(jīng)擺脫了各個(gè)子模塊之間尺度的巨大差異影響。這種技術(shù)更適合處理那些最后只需要排名，而無(wú)法最后確定精確評(píng)分的推薦算法，如混排的場(chǎng)景。然而，這種方法的缺點(diǎn)是會(huì)丟失很多信息。

很多大公司也在做各種嘗試，有的公司以前可能主要迭代值融合的算法，但后來(lái)覺(jué)得不能減小方差或差異性，因此改為迭代序融合，嘗試了一段時(shí)間后又回到了迭代值融合。這兩種方法并沒(méi)有絕對(duì)的好與壞，需要結(jié)合業(yè)務(wù)需求選擇最佳的結(jié)合方式，或?qū)⒍呓M合使用。

接下來(lái)介紹序融合。序融合中最簡(jiǎn)單最常見(jiàn)的是 rank product 方法，該方法引自遺傳算法，用于研究哪個(gè)基因最重要，之后很多融合算法都受到了生物信息學(xué)的啟發(fā)。在實(shí)際應(yīng)用中，序融合的研究和使用數(shù)量更多。

值融合是直接對(duì)各個(gè)推薦子模塊的輸出值進(jìn)行操作。這種方法的優(yōu)點(diǎn)是易于理解和調(diào)整。調(diào)整時(shí)，可以清晰看到所調(diào)整的子模塊或公式部分如何影響結(jié)果范圍，如何產(chǎn)生作用，如何擠壓其它信號(hào)，以及如何改變整個(gè)融合分的均值。這些都可以通過(guò)離線或在線的方式預(yù)估。因此，值融合不僅易于實(shí)現(xiàn)，而且對(duì)于進(jìn)行迭代的研究者而言，它降低了迭代的壓力，使得整個(gè)迭代過(guò)程變得更容易。但是，其缺點(diǎn)在于如果某些排序因子預(yù)估值分布是在 0.1，那么會(huì)導(dǎo)致融合效果不理想。

有些目標(biāo)如觀看時(shí)長(zhǎng)或打賞金額等，具有明確的物理含義，而它們本身的尺度(scale)差距非常大。在這種情況下，直接融合無(wú)法獲得良好的效果。因此，我們需要采用某種標(biāo)準(zhǔn)化方法或映射來(lái)解決這個(gè)問(wèn)題。在數(shù)據(jù)來(lái)源相對(duì)統(tǒng)一，例如同一模型得到的不同預(yù)估值，或者尺度接近的情況下，值融合的方式會(huì)比較好，操作起來(lái)也更加簡(jiǎn)單。

為了更好地理解推薦系統(tǒng)中的排序公式融合方式，我們應(yīng)明確融合公式需要解決的問(wèn)題以及應(yīng)如何定義優(yōu)秀的融合公式。在本文中，優(yōu)良的融合公式應(yīng)至少滿足以下基本要求：

• 一是具有區(qū)分度，因?yàn)槿诤瞎饺诤狭烁鞣N先驗(yàn)信息、預(yù)估信號(hào)以及業(yè)務(wù)需求得到的綜合評(píng)分，若評(píng)分沒(méi)有區(qū)分度，那么排序機(jī)制將失效。
• 其次，我們需要最大限度地保留各排序因子的信息量，因?yàn)槿绻诤瞎揭蛟O(shè)計(jì)問(wèn)題而無(wú)法保留原始排序因子的信息，就等同于拋失了這個(gè)排序因子的信息。
• 最后一點(diǎn)，若排序公式過(guò)于復(fù)雜，如包含過(guò)多的超參數(shù)，這將增加人工調(diào)參的難度，使我們可能沉溺于局部最優(yōu)而無(wú)法看清整體趨勢(shì)，為此，我們將在后續(xù)提供一些方法，以減少參數(shù)冗余，并更好地理解數(shù)據(jù)分布，從而更有效地進(jìn)行參數(shù)調(diào)整。

在實(shí)際工作中，優(yōu)化并非僅限于單一指標(biāo)，實(shí)際上，優(yōu)化過(guò)程中涉及到的因素或指標(biāo)間既有可能同向優(yōu)化，又有可能不相關(guān)或相互制約。因此，認(rèn)識(shí)和處理好這些關(guān)系，對(duì)于推薦系統(tǒng)的優(yōu)化具有重要意義。

二、業(yè)務(wù)夾角與多目標(biāo)權(quán)衡

在實(shí)際工作中，調(diào)整模型參數(shù)的過(guò)程經(jīng)?！盃恳话l(fā)而動(dòng)全身”，某個(gè)業(yè)務(wù)的微調(diào)可能會(huì)對(duì)其他相關(guān)業(yè)務(wù)產(chǎn)生影響，這也使得參數(shù)優(yōu)化過(guò)程中壓力倍增，要實(shí)現(xiàn)“帕累托優(yōu)化”（在保障所有業(yè)務(wù)不受影響的同時(shí)，仍能取得收益）實(shí)際上是一項(xiàng)艱巨的任務(wù)，除非我們關(guān)注的指標(biāo)集合相對(duì)較少。然而，在現(xiàn)實(shí)環(huán)境下，各業(yè)務(wù)方都有自己的需求，我們需要盡可能地滿足這些需求。因此，問(wèn)題轉(zhuǎn)變?yōu)槲覀冃枰獱奚嗌偌昂畏N業(yè)務(wù)來(lái)?yè)Q取我們需要的指標(biāo)，以及針對(duì)這些指標(biāo)進(jìn)行多少折算?？偟膩?lái)說(shuō)，對(duì)于融合公式的迭代來(lái)說(shuō)，這個(gè)權(quán)衡是必須要面對(duì)的問(wèn)題。

在進(jìn)行權(quán)衡時(shí)，我們需要基于兩種判斷：價(jià)值判斷和事實(shí)判斷。價(jià)值判斷來(lái)自于高層決策，例如公司策略決定大力發(fā)展短視頻或直播等，這種決策反映了公司的價(jià)值取向，并非我們可以主觀改變的。事實(shí)判斷則是一種客觀存在，例如即使我們決定將短視頻業(yè)務(wù)去置換直播業(yè)務(wù)的某種收益，但這兩項(xiàng)業(yè)務(wù)之間的置換難度是客觀存在的。為此，我們需要在多目標(biāo)優(yōu)化中盡可能感知到這種置換的難易度。這可以通過(guò)某種工具或調(diào)參方式來(lái)實(shí)現(xiàn)，使我們能夠發(fā)現(xiàn)業(yè)務(wù)間置換的實(shí)際難度。在制定多目標(biāo)權(quán)衡設(shè)計(jì)框架時(shí)，我們需要同時(shí)考慮公司戰(zhàn)略的價(jià)值判斷和事實(shí)判斷，這是優(yōu)化權(quán)衡的基本出發(fā)點(diǎn)。

以上介紹了調(diào)整推薦系統(tǒng)排序公式融合過(guò)程中面臨的挑戰(zhàn)和需要做出的決策。

三、排序公式離線尋參原理

下面要探討的問(wèn)題是如何迭代排序公式，進(jìn)而提升技術(shù)效能。對(duì)此，我們需要首先考慮為什么要進(jìn)行離線迭代及其必要性。許多公司投入大量人力資源在調(diào)整排序公式上，算法工程師們可能需要投入大量精力在這樣的任務(wù)上。這是一項(xiàng)費(fèi)時(shí)、費(fèi)心、費(fèi)力的工作，卻又非常必要。一旦參數(shù)調(diào)整成功，其效果將十分顯著。

那么，為什么我們會(huì)選擇離線調(diào)整參數(shù)呢？事實(shí)上，也有公司會(huì)選擇將強(qiáng)化學(xué)習(xí)接入到線上系統(tǒng)中，以實(shí)時(shí)學(xué)習(xí)和調(diào)整參數(shù)。然而，我們并沒(méi)有看到這種方法成為主流，原因主要有以下三點(diǎn)：

• 首先，我們很難確保線上調(diào)參的質(zhì)量。由于線上調(diào)參實(shí)際上是在實(shí)時(shí)運(yùn)行的系統(tǒng)中試錯(cuò)，不能使用大規(guī)模流量進(jìn)行廣范圍的搜索，因此無(wú)法有效覆蓋整個(gè)樣本空間。而且，由于這是一個(gè)實(shí)時(shí)交互的過(guò)程，結(jié)果具有很大的不確定性，且?guī)缀鯖](méi)有試錯(cuò)的空間。因此，使用強(qiáng)化學(xué)習(xí)在實(shí)時(shí)交互的環(huán)境中進(jìn)行訓(xùn)練是非常困難和緩慢的。
• 其次，線上調(diào)參的效率無(wú)法保證。在線上調(diào)參的過(guò)程中，我們無(wú)法保證系統(tǒng)能快速收斂。而且，由于系統(tǒng)狀態(tài)在不斷變化，無(wú)法預(yù)知系統(tǒng)的最終狀態(tài)。考慮到排序公式并無(wú)必要實(shí)時(shí)更新，如果將其視為實(shí)時(shí)模型，便意味著需要在現(xiàn)有的排序結(jié)果中嵌入自己的業(yè)務(wù)理念。由于排序公式的更新一般并不需要達(dá)到分鐘級(jí)，我們完全有條件進(jìn)行離線調(diào)參。
• 最后，線上過(guò)程很難處理多目標(biāo)優(yōu)化問(wèn)題。如前文所述，多目標(biāo)優(yōu)化需要同時(shí)考慮價(jià)值判斷和事實(shí)判斷，即需要同時(shí)考慮上層的業(yè)務(wù)需求和當(dāng)前系統(tǒng)的實(shí)際狀態(tài)。在線上環(huán)境下難以實(shí)現(xiàn)這種優(yōu)化，因?yàn)槲覀儫o(wú)法進(jìn)行反復(fù)或交叉驗(yàn)證。例如，我們無(wú)法獲取 A 置換 B、B 置換 C 等等所需的置換難度。而在離線環(huán)境下，由于其封閉性，我們可以測(cè)定各種置換的邊際效益和置換效果。

基于以上三個(gè)方面的考慮，我們提出了離線調(diào)整排序公式的優(yōu)化路徑。

接下來(lái)介紹離線調(diào)參框架的基本原理。首先我們需要考慮要構(gòu)造什么樣的融合公式，有些工程師可能傾向于加法公式，有些可能傾向于乘法公式，甚至可能有精心設(shè)計(jì)的、具有特定物理含義的公式，這種公式在廣告行業(yè)比較常見(jiàn)，還有一些復(fù)合公式，即基于某個(gè)公式輸出進(jìn)行再次配置的公式，這種可以看作是一種樹(shù)狀結(jié)構(gòu)的公式，可以寫(xiě)成 JSON 格式，這也是一種融合公式。

我們首先需要考慮要迭代的公式是什么形式，一旦確定了這個(gè)，我們就可以知道有多少超參數(shù)需要進(jìn)行迭代。實(shí)際上，迭代公式就是迭代超參數(shù)，我們希望知道在新的公式形式下，這些超參數(shù)被調(diào)整到什么樣子，線上的某些指標(biāo)將如何變化，這是我們要解答的問(wèn)題。確定了融合公式的形式后，就可以開(kāi)始收集離線樣本了。

在收集離線樣本時(shí)，需要考慮關(guān)注哪些指標(biāo)，比如點(diǎn)擊率、觀看時(shí)長(zhǎng)、分享數(shù)、打賞數(shù)等。這是在每次迭代時(shí)都要明確定義的。對(duì)于這些目標(biāo)，我們會(huì)定義自己的計(jì)算方式。例如，對(duì)于離散變量點(diǎn)擊或未點(diǎn)擊，可以使用 AUC 來(lái)衡量。對(duì)于連續(xù)變量，例如觀看時(shí)長(zhǎng)，可以進(jìn)行分桶或使用其他評(píng)估方法來(lái)進(jìn)行度量。因此，第二步就是確定希望優(yōu)化的目標(biāo)，并決定怎么計(jì)算。

確定了離線目標(biāo)后，就要考慮如何將這些目標(biāo)進(jìn)行融合，這就涉及到我們剛剛討論的多目標(biāo)融合，即價(jià)值判斷和事實(shí)判斷。你可能認(rèn)為點(diǎn)擊的 AUC 和分享的 AUC 同樣重要，那么在我們優(yōu)化的目標(biāo)中，這兩個(gè)指標(biāo)的權(quán)重就可以設(shè)為 1:1。這就是價(jià)值判斷部分。事實(shí)判斷部分就是，當(dāng)我們完成了離線尋參，我們一定會(huì)發(fā)現(xiàn)有些指標(biāo)降不下去，有些很容易改進(jìn)。根據(jù)這個(gè)認(rèn)知更新，我們需要調(diào)整我們的優(yōu)化目標(biāo)設(shè)計(jì)。這就是事實(shí)判斷部分。

根據(jù)我們定義的結(jié)果合并方法及子目標(biāo)的方法，可以使用算法工具，比如 Optuna 進(jìn)行尋優(yōu)。這就是我們進(jìn)行 sorted top-K prediction 問(wèn)題中的求解方法。

綜上所述，離線調(diào)參框架至少需要四個(gè)功能：確定融合公式、評(píng)估子目標(biāo)、融合子目標(biāo)，還需要有一個(gè)優(yōu)化器來(lái)求解。這就是我們從技術(shù)角度拆解的離線調(diào)參框架。

四、融合排序量化尋參實(shí)戰(zhàn)

接下來(lái)介紹一款業(yè)界廣泛使用的開(kāi)源框架——ParaDance（項(xiàng)目鏈接：https://github.com/yinsn/ParaDance），該框架由我個(gè)人開(kāi)發(fā)。這是一款開(kāi)箱即用的、全自動(dòng)的排序公式迭代框架。該框架在 Linux 和 Mac 上都可以通過(guò) pip 工具進(jìn)行安裝。

ParaDance 是一個(gè)開(kāi)源項(xiàng)目，主要在業(yè)余時(shí)間進(jìn)行開(kāi)發(fā)和維護(hù)。因此，如果你對(duì)此感興趣，也可以貢獻(xiàn)你的代碼。該框架的特點(diǎn)在于其開(kāi)箱即用的特性，它非常適合一線算法工程師進(jìn)行排序公式的調(diào)整。其次，它支持離線計(jì)算，并且已實(shí)現(xiàn)并行處理，可以很快地運(yùn)行。

由于得到了許多同行的幫助和建議，ParaDance 已經(jīng)具備了豐富的評(píng)估手段，不僅支持如 AUC 這樣的評(píng)估方式，也支持其他各種子目標(biāo)的計(jì)算方式。此外，它還支持豐富的公式形式，不僅僅是加法和乘法公式，你甚至可以將自己想要的公式以 JSON 的形式傳入，ParaDance 可以很好地支持這些操作。

此外，ParaDance 提供全程監(jiān)控功能，可以監(jiān)控每個(gè)子目標(biāo)和綜合目標(biāo)在迭代過(guò)程中的變化情況，讓你一目了然地知道哪些指標(biāo)有明顯的改進(jìn)，哪些指標(biāo)難以迭代等信息。安裝了該庫(kù)后，我們就可以著手準(zhǔn)備離線數(shù)據(jù)了。

例如，這里我們模擬了一些數(shù)據(jù)，包括四種類型的 XTR（XTR 0 到 XTR 3），并關(guān)注了“點(diǎn)擊”和“分享”兩種子目標(biāo)。我們更關(guān)注“點(diǎn)擊”這個(gè)目標(biāo)，認(rèn)為它比“分享”更重要，這是由實(shí)際經(jīng)驗(yàn)和業(yè)務(wù)需求所決定的。如果我們決定按照這種方式進(jìn)行調(diào)參，那么就需要收集相應(yīng)的離線數(shù)據(jù)。這種基礎(chǔ)設(shè)施在各公司應(yīng)該都已經(jīng)存在。只需對(duì)離線數(shù)據(jù)進(jìn)行采集和均勻采樣，這是非常容易實(shí)現(xiàn)的。根據(jù)經(jīng)驗(yàn)，大約需要幾百萬(wàn)條數(shù)據(jù)，才能獲取到一個(gè)相對(duì)穩(wěn)定的調(diào)參狀態(tài)。

然后，我們要進(jìn)行的第一步是確定融合公式的形式。實(shí)際上，很多公司在加法公式和乘法公式之間反復(fù)調(diào)試。為了方便大家使用，這里還支持了一種稱為"freestyle"的類型，可以在其中任意編寫(xiě)各種形式的公式，甚至支持函數(shù)類型推導(dǎo)，還可以在其中加入條件語(yǔ)句等。甚至，還支持一種非常復(fù)雜的形式，即直接傳入一個(gè) JSON 來(lái)定義你的融合公式。對(duì)于那些有幾千行的復(fù)雜公式都能夠支持。無(wú)論你想調(diào)整公式中的一部分，還是整體，我們的框架都能夠支持。確定了融合公式的形式后，我們就可以開(kāi)始構(gòu)造我們的融合公式了。

代碼實(shí)現(xiàn)上，首先選擇了四個(gè)排序因子作為考慮對(duì)象，并使用融合公式進(jìn)行組合。在這個(gè)例子中，采用了"freestyle"形式的融合公式，該公式具有一定的邏輯意義和物理解釋。例如，“weight”乘以緊隨其后的兩個(gè)排序因子（即，"columns 1"和"columns 2"），它們恰是對(duì)應(yīng)的排序因子。這個(gè)公式是根據(jù)實(shí)際情況、專業(yè)知識(shí)和經(jīng)驗(yàn)判斷定義的，代表著預(yù)期公式應(yīng)該是什么樣的形式。

在框架中，根據(jù)確定的公式形式，會(huì)評(píng)估并挑選出最佳的公式組合。例如，在這個(gè)場(chǎng)景中，公式形式為“freestyle”，目前有四個(gè)超參數(shù)需要調(diào)整，即 weights[0] 到 weights[3]，共計(jì)四個(gè)超參數(shù)。迭代完成后，框架會(huì)給出最佳的參數(shù)組合，從而使公式達(dá)到預(yù)期的效果。

此后，將離線數(shù)據(jù)傳遞給模型，指定所需的排序因子，并指定融合公式的類型和形式，這些都是事先定義好的。這是在確定融合公式形式后的必要步驟，且其代碼實(shí)現(xiàn)極其直接。

此外，還需要確定子目標(biāo)的評(píng)估方式以及融合方式。前述中提到的"點(diǎn)擊"和"分享" 是分別作為子目標(biāo)進(jìn)行考慮的，對(duì)于如何評(píng)估這些子目標(biāo)需要提前確定。例如，對(duì)于"點(diǎn)擊"這一指標(biāo)，可以采用 AUC（Area under the ROC Curve，ROC 曲線下的面積）進(jìn)行評(píng)估。值得注意的是評(píng)估方式可以多種多樣，AUC 只是其中一種相對(duì)易于接受和理解的評(píng)估方式。然后就是確定子目標(biāo)之間的融合方式，即如何設(shè)定綜合目標(biāo)的計(jì)算公式。

一個(gè)業(yè)務(wù)決策的例子是，我們可能認(rèn)為"點(diǎn)擊"指標(biāo)的 AUC 更重要，因此我們給它賦予更大的權(quán)重。在這種情況下，我們可能會(huì)將其權(quán)重設(shè)為 2，這個(gè)決定完全來(lái)自于我們的業(yè)務(wù)洞察，如老板覺(jué)得"點(diǎn)擊"指標(biāo)是其他指標(biāo)重要性的兩倍。這將作為我們的初始設(shè)定。然后我們創(chuàng)建一個(gè)多目標(biāo)優(yōu)化器對(duì)象，其中包含剛剛創(chuàng)建的融合公式和我們希望優(yōu)化的目標(biāo)方向。如這里我們?cè)O(shè)置了"maximum"，表示我們希望 AUC 盡可能大。然后，我們將融合目標(biāo)輸入，設(shè)定所需的超參數(shù)數(shù)量，這些都可以有默認(rèn)值。如果有具體需求，我們可以為每個(gè)超參數(shù)設(shè)置精確的范圍，如大于 0、小于 1；大于 -1、小于10；大于 1、小于 100；大于 -1、小于 50 等，都可以自由設(shè)定。

另外，"study name"選項(xiàng)會(huì)生成一個(gè)包含所有結(jié)果的文件夾。這有助于我們準(zhǔn)確了解每次實(shí)驗(yàn)的內(nèi)容，尤其是當(dāng)我們?cè)谝惶熘羞M(jìn)行多次嘗試的時(shí)候，很容易混淆每次實(shí)驗(yàn)的目標(biāo)和結(jié)果。因此，我們提供了一個(gè)便利的命名功能，可為你的實(shí)驗(yàn)記錄添加具體描述。

在定義了融合公式和目標(biāo)后，剩下的代碼實(shí)現(xiàn)就僅有一行，即"run"。"run"后的參數(shù)設(shè)定了循環(huán)的次數(shù)，這里設(shè)置了 300 次。實(shí)際的輪次可能根據(jù)具體的問(wèn)題和難度有所不同，但是通常幾百次的迭代就已足夠使得結(jié)果收斂。這是因?yàn)榕判蚬揭灿凶陨淼娜萘肯拗?，不能無(wú)限地優(yōu)化一個(gè)指標(biāo)。

代碼運(yùn)行結(jié)束后會(huì)輸出一個(gè)文件夾，第一個(gè)輸出的文件是我們這個(gè)實(shí)驗(yàn)的配置信息。第二個(gè)文件 paradance_best_trials.csv 中記錄了它優(yōu)化的過(guò)程，包括兩個(gè)子目標(biāo)的優(yōu)化過(guò)程，以及每一個(gè)超參對(duì)于每一個(gè)非列解等于多少，一般情況下是取最后一行，即最好的一組參數(shù)進(jìn)行使用。文件 paradance_storage.db 和 paradance.log 分別是 check_point 和完整的迭代記錄。

*可通過(guò)以下鏈接獲取示例數(shù)據(jù)和代碼：

https://pan.baidu.com/s/1AI9MkYhiJwd182gmtHL7fQ?pwd=1234

五、Q&A

Q1：離線評(píng)估如何構(gòu)建樣本數(shù)據(jù)？有些候選集在線上的排序方式可能壓根沒(méi)有下發(fā)，沒(méi)有這部分候選集的后驗(yàn)數(shù)據(jù)如何保障離線評(píng)估是否準(zhǔn)確的呢？

A1：你提出的問(wèn)題非常重要。我們目前的方式的確必須需要有落盤(pán)的數(shù)據(jù)。如果沒(méi)有落盤(pán)的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)就被視為缺失，在離線環(huán)境下確實(shí)無(wú)法解決。離線評(píng)估是分階段的，因?yàn)槲覀兊呐判蛞彩菑恼倩匾恢钡阶詈笾嘏?，中間經(jīng)歷了多個(gè)階段。實(shí)際上，離線數(shù)據(jù)采集的越靠近真正曝光的環(huán)節(jié)，這段數(shù)據(jù)空間對(duì)我們的公式的要求越接近，線上線下一致性效果越好。但如果數(shù)據(jù)完全偏離，沒(méi)有落盤(pán)，確實(shí)無(wú)法進(jìn)行離線評(píng)估。

Q2：readme 文件上缺少使用的文檔和示例，這是因?yàn)楹卧颍?/strong>

A2：readme 文件已經(jīng)非常久沒(méi)更新了，我們有自己的內(nèi)部文檔和示例庫(kù)，這些無(wú)法對(duì)外公布。如果你在使用過(guò)程中遇到具體問(wèn)題，可以直接找到我，我們有相關(guān)的用戶群，提供一些共享數(shù)據(jù)和示例，但我目前沒(méi)有太多精力去更新 readme 文檔。

Q3：如何處理多樣性的流行度高的商品問(wèn)題，也就是說(shuō)可能有些商品在多個(gè)目標(biāo)上的得分都很高？

A3：我們可以直接設(shè)計(jì)一個(gè)多樣性的評(píng)估算子，在收盤(pán)的時(shí)候進(jìn)行約束。實(shí)際上任何想法都可以轉(zhuǎn)化為算子，然后在迭代過(guò)程中進(jìn)行約束。多樣性也不例外，你可以用熵或者基尼系數(shù)作為它的約束算子。

Q4：不同的用戶可能有不同的個(gè)性化需求，但離線尋參對(duì)所有用戶都是一樣的，你們有對(duì)這點(diǎn)進(jìn)行比較嗎？

A4：我們的總體情況并不是對(duì)所有用戶一樣。我們的算子支持 group by 方法，這樣就可以以用戶為單位進(jìn)行聚類，實(shí)現(xiàn)千人千面。