一、背景

最近 “TikTok 難民”涌入小紅書(shū)，“小紅書(shū)霸榜蘋(píng)果 App Store” 等話題受到廣泛關(guān)注，字節(jié)跳動(dòng)的 Lemon8 也不相上下。當(dāng)然，作為一個(gè)技術(shù)公眾號(hào)，我們這里并不是要討論這一現(xiàn)象，而是要介紹小紅書(shū)的 NoteLLM，其主要用于小紅書(shū)中的筆記推薦和標(biāo)簽生成。

對(duì)應(yīng)的論文為：[2403.01744] NoteLLM: A Retrievable Large Language Model for Note Recommendation [1]

有關(guān) LLM 在搜廣推場(chǎng)景的應(yīng)用落地也可以參考我們之前的文章：

• ???字節(jié) HLLM：大模型與推薦系統(tǒng)結(jié)合的新范式???
• ???Meta HSTU：統(tǒng)一的生成式推薦???

二、摘要

隨著社交媒體平臺(tái)如小紅書(shū)和 Lemon8（字節(jié)） 的流行，用戶生成內(nèi)容（UGC）中的 Note 分享變得越來(lái)越普遍。這些平臺(tái)鼓勵(lì)用戶分享產(chǎn)品評(píng)價(jià)、旅行博客和生活經(jīng)歷等，Note 推薦因此成為提升用戶參與度的關(guān)鍵部分。

現(xiàn)有的 Online 方法僅將 Note 輸入基于 BERT 的模型以生成 Note Embedding 來(lái)評(píng)估相似性。然而，這些方法可能未能充分利用一些重要線索，例如話題標(biāo)簽（Hashtag）或類別（Category）。實(shí)際上，學(xué)習(xí)生成 Hashtag/Category 有可能增強(qiáng) Note Embedding，因?yàn)閮烧叨紝㈥P(guān)鍵 Note 信息壓縮至有限內(nèi)容中。此外，LLM 在理解自然語(yǔ)言方面已顯著超越 BERT，將 LLM 引入 Note 推薦具有廣闊前景。

本文中，作者提出 NoteLLM，該框架利用 LLM 解決 Item-to-Item（I2I）Note 推薦問(wèn)題。具體而言，作者采用 Note 壓縮提示將 Note 壓縮為單一特殊 Token，并通過(guò)對(duì)比學(xué)習(xí)方法進(jìn)一步學(xué)習(xí)潛在相關(guān) Note 的 Embedding。此外，可以通過(guò)指令微調(diào)，運(yùn)用 NoteLLM 自動(dòng)總結(jié) Note 并生成 Hashtag/Category。大量真實(shí)場(chǎng)景實(shí)驗(yàn)表明，與 Online 基線相比，提出的方法有效提升了小紅書(shū)推薦系統(tǒng)的性能。

PS：其實(shí)小紅書(shū)中很多 Note 包含圖片，也就需要多模態(tài)場(chǎng)景的推薦，本文中并未涉及圖片信息，相關(guān)工作我們后續(xù)介紹。

三、引言

3.1 問(wèn)題定義

文中作者主要關(guān)注兩個(gè)任務(wù)：I2I Note 推薦任務(wù)和 Hashtag/Category 生成任務(wù)。

• 對(duì)于I2I Note 推薦任務(wù)

給定一個(gè)目標(biāo) Note，從大規(guī)模 Note Pool 中推薦一個(gè)排序的 Note 列表。本文中作者主要聚焦在基于文本的 I2I 推薦，并且將 LLM 引入進(jìn)來(lái)。

Note Pool 為 N={n1, n2, …, nm}，其中 m 表示 Note 數(shù)量。每條 Note 包含：標(biāo)題（title）、標(biāo)簽（Hashtag）、類別（Category）和內(nèi)容（Content）。ni=(ti, tpi, ci, cti) 表示第 i 條 Note。該任務(wù)目標(biāo)是從 N 中選出與該 Note 相似的前 k 條 Note。

• 對(duì)于Hashtag/Category 生成任務(wù)
• 作為社交媒體上的標(biāo)簽機(jī)制，Hashtag 與 Category 簡(jiǎn)化了特定主題信息的識(shí)別過(guò)程，有助于用戶發(fā)現(xiàn)相關(guān)內(nèi)容。本任務(wù)指的是依據(jù)輸入文本生成 Hashtag 和 Category。
• 在Hashtag 生成任務(wù)中，LLM 根據(jù) ti 和 cti 生成 Hashtag tpi。
• 在Category 生成任務(wù)中，LLM 根據(jù)  ti，tpi 和 cti 生成 Category ci。

3.2 對(duì)比學(xué)習(xí)

以經(jīng)典的 SimCLR（[2002.05709] A Simple Framework for Contrastive Learning of Visual Representations [2]）中的對(duì)比學(xué)習(xí)為例，其核心思想是同一圖片進(jìn)行不同的數(shù)據(jù)增強(qiáng)后應(yīng)具備一定的不變性。如下圖所示，將不同的圖片（N 個(gè)）輸入 CNN 模型提取 Representation，每幅圖片都會(huì)經(jīng)過(guò)兩個(gè)不同的預(yù)處理，生成兩個(gè)不同的 Representation。對(duì)比損失的目標(biāo)就是：使同一幅圖生成的兩個(gè) Representation 盡可能相似，而與其他圖生成的 Representation 應(yīng)該盡可能不相似。

對(duì)于一個(gè) Batch 的 N 個(gè)樣本，總共可以生成 2N 個(gè) Representation。這里并沒(méi)有顯式抽取負(fù)樣本，相反地，給定一個(gè)正樣本對(duì)（i, j），將 Batch 中剩下的 2(N-1) 個(gè) Representation 視為負(fù)樣本。對(duì)于正對(duì) i 和 j 的對(duì)比損失函數(shù)可以表示如下，其中 sim(u, b) 表示 u 和 v 的相似性：

其中，1[k ≠ i] 是一個(gè)指示函數(shù)，若 k ≠ i 則為1，否則為 0，τ 是溫度參數(shù)。最終的損失在 Batch 的所有正樣本對(duì)（包括(i, j) 和 (j, i)）上進(jìn)行計(jì)算。分子可以理解為正樣本對(duì)的相似性，分母可以理解為負(fù)樣本對(duì)的相似性，通過(guò)這種方式，試圖學(xué)習(xí)如何使正樣本對(duì)的相似度更大，負(fù)樣本對(duì)的相似度更小。

四、方案

4.1 NoteLLM 框架

NoteLLM 框架由三個(gè)關(guān)鍵組件構(gòu)成

• Note 壓縮提示構(gòu)建（Note Compression Prompt Construction）：通過(guò)構(gòu)建統(tǒng)一的 Note 壓縮 Prompt，將 Note 內(nèi)容壓縮成一個(gè)特殊 Token，同時(shí)生成 Hashtag/Category。
• 生成-對(duì)比學(xué)習(xí)（Generative-Contrastive Learning, GCL）：GCL 利用用戶行為數(shù)據(jù)中的共現(xiàn)機(jī)制構(gòu)建相關(guān) Note 對(duì)，通過(guò)對(duì)比學(xué)習(xí)訓(xùn)練 LLM 識(shí)別相關(guān) Note，從而獲取協(xié)同信號(hào)。
• 協(xié)同監(jiān)督微調(diào)（Collaborative Supervised Fine-Tuning, CSFT）：CSFT 利用 Note 的語(yǔ)義內(nèi)容和壓縮 Token 中的協(xié)同信號(hào)生成 Hashtag/Category。通過(guò)這種方式，NoteLLM 能夠在保持生成能力的同時(shí)，利用 Note 的語(yǔ)義和協(xié)同信息生成 Hashtag 和 Category，增強(qiáng)推薦 Embedding。

4.2 Note 壓縮提示構(gòu)建

作者采用同樣的 Note Compression Prompt 來(lái)促進(jìn) I2I 推薦和生成任務(wù)。為了利用 LLM 的 I2I 推薦生成能力，目標(biāo)是將 Note 內(nèi)容壓縮為一個(gè)單一的特殊 Token，這一 Token 隨后通過(guò) GCL 獲取協(xié)同知識(shí)。接著，利用這一知識(shí)，通過(guò) CSFT 生成 Hashtag/Category。

具體而言，作者使用以下 Prompt 模板，用于通用 Note 壓縮及 Hashtag/Category 生成：

在此模板中，[BOS]、[EMB] 及 [EOS] 為特殊 Token 符號(hào)，而 <Instruction>，<Input Note>， <Output Guidance> 和 <Output> 都是占位符，需替換為具體內(nèi)容。

Hashtag 生成的具體內(nèi)容定義如下：

Category 生成的具體內(nèi)容定義如下：

鑒于用戶生成 Hashtag 數(shù)量的不可預(yù)測(cè)性，作者隨機(jī)選取一部分原始 Hashtag 作為 Hashtag 生成的輸出目標(biāo)，以最大限度地減少對(duì) LLM 可能產(chǎn)生的誤導(dǎo)。隨機(jī)選擇的 Hashtag 數(shù)量，記作  <j>，被整合進(jìn) <Instruction> 和 <Output Gudance> 兩部分中。一旦 Prompt 構(gòu)建完成，它們將經(jīng)過(guò) Tokenizer 并輸入至 LLM。隨后，LLM 提煉協(xié)作信號(hào)與關(guān)鍵語(yǔ)義信息至壓縮 Token 中，并依據(jù) Note 的核心思想生成 Hashtag/Category。

4.3 生成式對(duì)比學(xué)習(xí)（GCL）

預(yù)訓(xùn)練的 LLM 通常通過(guò)指令微調(diào)或 RlHF 來(lái)學(xué)習(xí)新知識(shí)。這些方法主要側(cè)重于利用語(yǔ)義信息來(lái)增加 LLM 的有效性和安全性。然而，推薦任務(wù)中僅依賴 LLM 的語(yǔ)義信息是不夠的。協(xié)作信號(hào)在 LLM 中是缺失的，而這些信號(hào)在識(shí)別用戶特別感興趣的 Note 方面起著至關(guān)重要的作用。因此，作者提出了 GCL 來(lái)增強(qiáng) LLM 捕獲協(xié)同信號(hào)的能力。與從特定答案或獎(jiǎng)勵(lì)模型不同，GCL 采用對(duì)比學(xué)習(xí)（Contrastive Learning），從整體視角學(xué)習(xí) Note 之間的關(guān)系臨近性。

作者采用共現(xiàn)（co-occurrence）機(jī)制基于用戶行為構(gòu)建相關(guān) Note 對(duì)。該機(jī)制基于一個(gè)假設(shè)：經(jīng)常一起閱讀的 Note 可能是相關(guān)的。因此，作者收集了一周內(nèi)的用戶行為數(shù)據(jù)以計(jì)算共現(xiàn)次數(shù)。具體來(lái)說(shuō)，作者統(tǒng)計(jì)了用戶查看 Note nA 后點(diǎn)擊 Note nB 的次數(shù)。同時(shí)，為了區(qū)分不同用戶共現(xiàn)的貢獻(xiàn)，為不同的點(diǎn)擊分配了不同的權(quán)重。具體的計(jì)算方式如下所示：

其中 SnA -> nB 表示從 Note nA 到 Note nB 的共現(xiàn)得分，U 是用戶數(shù)，Ni 表示第 i 個(gè)用戶點(diǎn)擊的 Note 集合的數(shù)量。歸一化可以防止活躍用戶可能的無(wú)差別點(diǎn)擊而導(dǎo)致的誤導(dǎo)。在計(jì)算完所有的 Note 對(duì)共現(xiàn)得分后，就可以構(gòu)成共現(xiàn)得分集合 Sni：

隨后，從集合 Sni 中過(guò)濾掉得分超過(guò)上限 ?? 和低于下限 ?? 的異常 Note。最后，從過(guò)濾后的集合中選出共現(xiàn)得分最高的 t 條 Note，作為與 Note ni 的相關(guān) Note。

構(gòu)建完相關(guān)對(duì)之后，即可以用于訓(xùn)練 NoteLLM。具體來(lái)說(shuō)，利用上述介紹的 Prompt 來(lái)壓縮 Note 并生成一個(gè)虛擬詞（[EMB]），該 [EMB] 的最后一個(gè) Hidden State 包含給定 Note 的語(yǔ)義信息和協(xié)同信號(hào)，可以表示該 Note。然后使用一個(gè)線性層將其轉(zhuǎn)換到 Note Embedding 空間，維度為 d。之后就可以使用對(duì)比損失進(jìn)行訓(xùn)練，如下圖所示：

4.4 協(xié)同監(jiān)督微調(diào)（CSFT）

作者指出，生成 Hashtag/Category 的任務(wù)與生成 Note Embedding 的任務(wù)具有相似性，兩者均旨在概括 Note 內(nèi)容：

• 從文本生成的角度看，生成 Hashtag/Category 的任務(wù)旨在提取 Note 的關(guān)鍵信息。
• 從協(xié)同過(guò)濾的角度看，生成 Note Embedding 的任務(wù)則是將 Note 壓縮為虛擬詞，用于 I2I 推薦。

為此，NoteLLM 模型聯(lián)合建模 GCL 和 CSFT 任務(wù)，以提升 Embedding 質(zhì)量。作者將這兩項(xiàng)任務(wù)整合到單一 Prompt 中，為兩者提供額外信息，并簡(jiǎn)化訓(xùn)練流程。具體而言，采用 CSFT 方法，利用 Note 的語(yǔ)義內(nèi)容和壓縮 Token 中的協(xié)同信號(hào)來(lái)生成 Hashtag/Category。為了提高訓(xùn)練效率并防止遺忘問(wèn)題，作者從每 Batch 中選取 r 條 Note 執(zhí)行 Hashtag 生成任務(wù)，其余 Note 則分配到 Category 生成任務(wù)。作者按照如下方式計(jì)算 CSFT 損失：

其中，T 表示輸出的長(zhǎng)度，oi 表示輸出序列 o 中的 第 i 個(gè) Token，? 表示輸入序列。

最后，定義 NoteLLM 的損失如下，以結(jié)合 GCL 和 CSFT，其中 α 表示超參數(shù)。

五、實(shí)驗(yàn)

5.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

如下圖 Table 1 所示為訓(xùn)練集和測(cè)試集的數(shù)據(jù)分布，其訓(xùn)練集從小紅書(shū)一周的數(shù)據(jù)處理而來(lái)，隨后選擇接下來(lái)的一個(gè)月的隨機(jī)抽取 Note 作為測(cè)試集，并排除訓(xùn)練集中已經(jīng)存在的 Note：

實(shí)驗(yàn)中，作者采用 LLaMA 2 模型。構(gòu)建相關(guān) Note 對(duì)時(shí)，共現(xiàn)分?jǐn)?shù)的上限 ?? 定為 30，下限 ?? 定為 0.01，并將 ?? 設(shè)定為 10。Note Embedding 維度 d 為 128，Batch Size B 為 64（在 8 x 80G A100 上采用 DDP 訓(xùn)練，每個(gè) GPU 的 Batch Size 為 8），每個(gè) Batch 包含 128 條 Note。由于 Context Length 的限制，將標(biāo)題 Title 限定為不超過(guò) 20 Token，內(nèi)容 Content 不超過(guò) 80 Token。溫度參數(shù) ?? 初始化為 3，公式 4 中將 ?? 設(shè)定為 0.01。對(duì)于標(biāo)簽生成任務(wù)，比例 ?? 設(shè)定為 40%。

評(píng)估中，選擇每對(duì) Note 中第一條作為目標(biāo) Note，另一條作為 Ground Truth。

對(duì)于 I2I 推薦任務(wù)，根據(jù)目標(biāo) Note 對(duì)測(cè)試池中所有 Note（不包含目標(biāo) Note）進(jìn)行排序，并使用 Recall@100、Recall@1k、Recall@10k 和 Recall@100k 來(lái)驗(yàn)證 I2I Note 推薦模型的有效性。

對(duì)于封閉域 Category 生成任務(wù)，采用 Acc 和 Ill（Illusory proportion，幻覺(jué)比例）作為評(píng)估指標(biāo)。

對(duì)于開(kāi)放式 Hashtag 生成任務(wù)，采用 BLEU4、ROUGE1、ROUGE2 和 ROUGEL 來(lái)評(píng)估模型性能。

5.2 離線評(píng)估

這里作者展示了 NoteLLM 在 I2I Note 推薦中的有效性。作者將 NoteLLM 與以下基于文本的 I2I 推薦方法進(jìn)行了比較：

• zero-shot：利用 LLM 生成 Embedding，無(wú)需任何 Prompt，然后進(jìn)行 zero-shot 檢索。
• PromptEOL zero-shot（[2307.16645] Scaling Sentence Embeddings with Large Language Models [3]）：在 Prompt 后添加顯式的 “in one world”，以約束 LLM 在下一個(gè) Token 中預(yù)測(cè)語(yǔ)義信息。類似：This sentence: “ [text] ” means in one word: “。
• SentenceBERT采用 BERT 基于對(duì)比學(xué)習(xí)來(lái)學(xué)習(xí) Note 相似性，作為 Online 基線。
• PromptEOL + CSE（[2307.16645] Scaling Sentence Embeddings with Large Language Models [3]）：PromptEOL zero-shot，并利用對(duì)比學(xué)習(xí)更新 LLM。
• RepLLaMA，一種基于 LLM 的雙編碼器密集 Retriever，無(wú)需任何提示。

如下圖 Table 2 結(jié)果所示，可以得出如下結(jié)論：

• zero-shot 仍無(wú)法超越微調(diào)方法的性能。
• 基于 LLaMA 2 和 SentenceBERT 的比較揭示了LLaMA 2 的顯著優(yōu)勢(shì)。
• 具有特定 Prompt 的 PromptEOL+CSE 的性能與無(wú) Prompt 的 RepLLaMA 相當(dāng)，表明Prompt 提升了 zero-shot 檢索，但在微調(diào)后其效果減弱。
• 最后，NoteLLM 優(yōu)于其他基于 LLM 的方法，主要?dú)w功于 CSFT 將摘要能力有效轉(zhuǎn)移到 Note Embedding 中，從而高效提煉關(guān)鍵點(diǎn)以改進(jìn) Note Embedding。

5.3 不同曝光 Note 的影響

作者還展示了 NoteLLM 在處理不同曝光度 Note 方面的效能。根據(jù)曝光度將真實(shí) Note 劃分為兩個(gè)類別：

• 低曝光度 Note，曝光量低于 1500 的 Note。這類 Note 占所有測(cè)試 Note 的 30%，但其累計(jì)曝光量?jī)H占總量的 0.5%。
• 高曝光度 Note，曝光量超過(guò) 75,000 的 Note。這類 Note 僅占所有測(cè)試 Note 的 10%，但其總曝光量卻高達(dá) 75%。

如下圖 Table 3 的實(shí)驗(yàn)結(jié)果，可以看出，NoteLLM 大部分情況下優(yōu)于其他方法，表明 CSFT 模塊的引入為所有 Note 帶來(lái)了持續(xù)的益處。值得注意的是，NoteLLM 在高曝光度 Note 的 Recall@1k 上表現(xiàn)不佳。性能下降的原因可歸咎于忽視了流行度偏差（[2208.03298] Quantifying and Mitigating Popularity Bias in Conversational Recommender Systems [4]）。這些特性增強(qiáng)了模型基于 Note 內(nèi)容進(jìn)行召回的能力，使其特別適合檢索冷啟動(dòng) Note。

5.4 消融研究

本實(shí)驗(yàn)包含 NoteLLM 與以下變體：

• 無(wú) CSFT（w/o CSFT）：僅采用 GCL 模塊的方法。
• 無(wú) GCL（?? = 40%）：僅采用 CSFT 模塊指導(dǎo) LLM 總結(jié) Hashtag 和 Category。
• 無(wú) GCL（?? = 0%）：僅包含 Category 總結(jié)任務(wù)。
• 無(wú) GCL（?? = 100%）：僅指導(dǎo) LLM 總結(jié) Hashtag。

如下圖 Table 4 所示，作者還通過(guò)消融實(shí)驗(yàn)來(lái)驗(yàn)證本文中方案的有效性。可以看出：

• 無(wú) CSFT 的消融版本表現(xiàn)不如 NoteLLM，并且完全喪失了生成 Hashtag 和 Category 的能力。
• 無(wú) GCL 模塊的消融版本在 I2I 推薦任務(wù)中優(yōu)于 PromptEOL zero-shot。這表明 Hashtag 和 Category 生成任務(wù)能夠增強(qiáng) I2I 推薦任務(wù)。
• 無(wú) GCL（?? = 40%）的消融版本在 I2I 推薦任務(wù)中表現(xiàn)優(yōu)于無(wú) GCL（?? = 0%）和無(wú) GCL（?? = 100%）的版本，表明任務(wù)多樣性對(duì) CSFT 至關(guān)重要。
• Hashtag 和 Category 生成任務(wù)之間存在明顯的蹺蹺板現(xiàn)象。

5.5 CSFT 模塊中數(shù)據(jù)多樣性的影響

如下圖 Table 5 展示了在不同數(shù)據(jù)類型比例下，模型針對(duì)各項(xiàng)任務(wù)的性能表現(xiàn)。

• 對(duì)于 I2I 推薦任務(wù)，隨著比例 ?? 的增加，模型性能提升。然而，當(dāng) ?? 持續(xù)增大，指令調(diào)優(yōu)數(shù)據(jù)愈發(fā)偏向于 Hashtag 生成任務(wù)時(shí)，性能開(kāi)始下滑。
• 對(duì)于Category 生成任務(wù)，隨著數(shù)據(jù)向 Hashtag 生成任務(wù)傾斜，其性能隨之惡化。但從 ?? 超過(guò) 20% 后，Hashtag 生成任務(wù)的性能變化不大，這可能是因?yàn)?span style="color: #ff0000;">Category 生成任務(wù)屬于封閉式任務(wù)，需嚴(yán)格匹配，而Hashtag 生成任務(wù)是開(kāi)放式生成任務(wù)，具有更高的靈活性。

5.6 CSFT 模塊的影響程度

作者還探討了 CSFT 模塊對(duì)任務(wù)性能的影響程度。如下圖 Table 6 所示，?? 值的輕微提升能同時(shí)增強(qiáng)推薦任務(wù)和生成任務(wù)的表現(xiàn)。然而，隨著 ?? 值的持續(xù)增加，推薦任務(wù)的性能開(kāi)始下降，而生成任務(wù)的性能則持續(xù)提升。這一現(xiàn)象揭示了生成任務(wù)與 I2I 推薦任務(wù)之間的權(quán)衡關(guān)系，強(qiáng)調(diào)了采取平衡策略的必要性。

5.7 案例研究

如下圖所示，作者展示了 Note 推薦任務(wù)的具體案例：

• 在 (a) 中，Query Note 建議避免購(gòu)買(mǎi)哪些夏季衣物，而所有基線模型均推薦夏季服裝。NoteLLM 能夠精準(zhǔn)推薦與簡(jiǎn)約生活相關(guān)的 Note。
• 在 (b) 中，基線模型將 Note 中的 “rabbit”誤解為活體兔子，而非 “Keep stranger away” 中的玩具兔子。?

如下圖所示，作者展示了 Note 生成類任務(wù)的具體案例，(c) 與 (d) 展示了 Hashtag 生成任務(wù)的案例，凸顯了 NoteLLM 的優(yōu)勢(shì)。RedHashtag 是一種針對(duì)小紅書(shū)的 Online Hashtag 生成方法，基于固定 Hashtag 集合進(jìn)行分類。

• 在 (c) 中，NoteLLM未受“factories” 這一語(yǔ)義信息誤導(dǎo)，正確識(shí)別出筆記內(nèi)容主要聚焦于拍照。
• 在 (d) 中，NoteLLM 能夠生成更為具體且長(zhǎng)尾的 Hashtag，而非通用 Hashtag。然而，NoteLLM 的方法仍存在幻覺(jué)問(wèn)題。

5.8 在線實(shí)驗(yàn)

作者在小紅書(shū)平臺(tái)上進(jìn)行了為期一周的 Online I2I 推薦實(shí)驗(yàn)。與之前采用 SentenceBERT 的 Online 方法相比，NoteLLM 將點(diǎn)擊率提升了 16.20%。此外，增強(qiáng)的召回性能使得評(píng)論數(shù)量增加 1.10%，每周平均發(fā)布者數(shù)量（WAP）提升 0.41%。

這些結(jié)果表明，將 LLM 引入 I2I Note 推薦任務(wù)中，能夠有效提升推薦性能及用戶體驗(yàn)。同時(shí)，作者觀察到新 Note 在一天內(nèi)的評(píng)論數(shù)量顯著增加 3.58%，這說(shuō)明 LLM 的泛化能力對(duì)冷啟動(dòng) Note 尤為有利。目前，NoteLLM 已成功部署于小紅書(shū)的 I2I Note 推薦任務(wù)中。

六、參考鏈接

1. ???https://arxiv.org/abs/2403.01744???
2. ???https://arxiv.org/abs/2002.05709???
3. ???https://arxiv.org/abs/2307.16645???
4. ???https://arxiv.org/abs/2208.03298????

本文轉(zhuǎn)載自 ??AI閑談??，作者： AI閑談