LLM是目前學(xué)術(shù)界研究的熱點(diǎn)，同時(shí)工業(yè)界也在快速探索LLM在業(yè)務(wù)中的落地。本篇文章給大家介紹來(lái)自WWW24的一篇文章，介紹了淘寶電商將LLM用在了搜索場(chǎng)景中的query改寫(xiě)上，精心構(gòu)建的領(lǐng)域特定數(shù)據(jù)集對(duì)LLM進(jìn)行finetue，定義三種不同的優(yōu)化目標(biāo)并使用Preference Rank Optimization損失學(xué)習(xí)候選之間的偏序關(guān)系，極大的解決了長(zhǎng)尾query中的“few-recall”問(wèn)題。

論文標(biāo)題：Large Language Model based Long-tail Query Rewriting in Taobao Search

下載地址：??https://arxiv.org/pdf/2311.03758??

1、背景介紹

淘寶電商搜索引擎框架如下圖所示。用戶(hù)輸入搜索詞之后，平臺(tái)先進(jìn)行語(yǔ)義理解，對(duì)用戶(hù)query進(jìn)行改寫(xiě)，之后對(duì)原始詞 + 改寫(xiě)后的詞召回商品，再經(jīng)過(guò)多層排序后對(duì)用戶(hù)展現(xiàn)頭部商品。

query改寫(xiě)的目標(biāo)是，在保持相關(guān)性的同時(shí)，對(duì)原始query進(jìn)行語(yǔ)義擴(kuò)展，可以召回更多相關(guān)商品。例如，有兩個(gè)搜索詞，"DIY blind box"和"Self_building blind box"。這里前者和后者語(yǔ)義相同，但是前者是主流搜索詞，召回結(jié)果有多個(gè)。而后者屬于長(zhǎng)尾搜索詞，難以召回多個(gè)結(jié)果。如果將后者改寫(xiě)為前者，語(yǔ)義保持相同的情況下，召回更多的商品，則在后續(xù)的排序流程中更有概率推薦轉(zhuǎn)化率高的商品，從而提高訂單量 && GMV。

已有的query改寫(xiě)工作集中在兩個(gè)方向：

判別模型：從候選詞集合中預(yù)估最優(yōu)的詞。這種方法依賴(lài)于精心構(gòu)造的詞典作為重寫(xiě)的候選集合，否則query改寫(xiě)后語(yǔ)義有可能發(fā)生偏移。

生成模型：使用transformer系的模型，根據(jù)原始query直接生成改寫(xiě)詞，有些方法會(huì)加入強(qiáng)化學(xué)習(xí)和對(duì)比學(xué)習(xí)的思路。但是這種方法受限于模型的參數(shù)量，參數(shù)提升會(huì)提升模型的表達(dá)能力。目前LLM在query改寫(xiě)上有一些工作，但由于對(duì)沒(méi)有使用query改寫(xiě)特定任務(wù)對(duì)大模型進(jìn)行fine-tune，還存在一定的局限性。

2、實(shí)現(xiàn)方法

本文提出了BEQUE框架（a comprehensive framework that Bridges the sEmantic gap for long-tail QUEries），框架包含三個(gè)階段，如下圖所示：

第一階段 Multi-instruction Supervised Fine Tuning：使用多領(lǐng)域數(shù)據(jù)集對(duì)LLM進(jìn)行finetune，主要包括Query Rewriting Dataset和輔助數(shù)據(jù)集2個(gè)部分。

Query Rewriting Dataset: 使用基線(xiàn)改寫(xiě)策略，對(duì)原始query取相關(guān)性TOPN的改寫(xiě)query。為了進(jìn)一步優(yōu)化數(shù)據(jù)集相關(guān)性，限制原始query和改寫(xiě)query的相關(guān)性必須大于某一閾值?；€(xiàn)改寫(xiě)策略對(duì)長(zhǎng)尾query效果不佳，即便原始query和改寫(xiě)query語(yǔ)義上具有相關(guān)性，但是召回的商品集合未必相關(guān)。因此使用拒絕負(fù)采樣，query和改寫(xiě)query召回商品后，要求用戶(hù)真實(shí)交互過(guò)的商品數(shù)大于一定閾值，來(lái)保證和query和改寫(xiě)query在召回商品集合上的相關(guān)性：

輔助數(shù)據(jù)集：為增強(qiáng)LLM對(duì)長(zhǎng)尾query的理解能力，使用quality classification，product title prediction，Chainof-thought，三個(gè)輔助數(shù)據(jù)集對(duì)LLM進(jìn)行finetune

第二階段 offline feedback：設(shè)計(jì)多個(gè)函數(shù)多角度評(píng)估改寫(xiě)query質(zhì)量，包括relevance、increment、hitrate等3個(gè)評(píng)估方法。

relevance：即便原始query和改寫(xiě)query 語(yǔ)義上具有相關(guān)性，但是召回的商品集合未必相關(guān)。因此定義相關(guān)性指標(biāo)來(lái)衡量改寫(xiě)前后召回商品的相關(guān)性。淘寶離線(xiàn)評(píng)估方法用來(lái)評(píng)估query和召回商品標(biāo)題的相關(guān)性，因此定義改寫(xiě)query召回商品和原始query的相關(guān)性如下：

increment：query改寫(xiě)可以增加商品召回的數(shù)量，解決“few-recall”的問(wèn)題。因此定義增量指標(biāo)來(lái)衡量query改寫(xiě)后是否增加了召回商品的數(shù)量：

hitrate: 定義命中率指標(biāo)，如果搜索場(chǎng)景之外成交過(guò)的某件商品和原始query相關(guān)性大于一定閾值，那query改寫(xiě)后應(yīng)盡量召回該商品：

第三階段 object alignment：強(qiáng)制模型學(xué)習(xí)改寫(xiě)query之間pairwise的偏序

使用PRO Loss來(lái)pair wise地學(xué)習(xí)改寫(xiě)query之間的順序：

模型的最終Loss為監(jiān)督微調(diào)的loss + PRO loss

3、實(shí)驗(yàn)結(jié)果

模型離線(xiàn)效果如下表所示。從上圖可以看到，與多種基線(xiàn)相比，BEQUE與多種基線(xiàn)相比，在多個(gè)測(cè)試集上的rele指標(biāo)略為遜色，在incr/hitrate指標(biāo)上有極大幅度的提升。

在線(xiàn)應(yīng)用方面，由于LLM難以滿(mǎn)足在線(xiàn)serving的時(shí)效性需求，無(wú)法直接在線(xiàn)使用。因此對(duì)torso query，離線(xiàn)inference改寫(xiě)后的query，將改寫(xiě)前后的query以key-value graph的形式存儲(chǔ)，確保在線(xiàn)及時(shí)響應(yīng)，覆蓋淘寶主搜27%的PV。原始query和改寫(xiě)query召回的商品取并集進(jìn)入后續(xù)的排序環(huán)節(jié)。14天在線(xiàn)AB實(shí)驗(yàn)中，在GMV && 訂單量 && UV上都取得了正向效果。

本文轉(zhuǎn)載自??圓圓的算法筆記??，作者： Lumia ????