搜索是轉(zhuǎn)轉(zhuǎn)主要的流量分發(fā)入口，搜索場景覆蓋了App首頁搜索、App頻道頁搜索以及小程序搜索等各種服務(wù)入口。意圖理解旨在準(zhǔn)確地解讀用戶輸入的搜索關(guān)鍵詞背后的真正需求，對搜索體驗的好壞至關(guān)重要。通過意圖理解，搜索引擎可以調(diào)整搜索策略，提供與用戶意圖匹配的搜索結(jié)果，提高搜索結(jié)果的相關(guān)性和用戶體驗。此外，意圖理解還可以幫助搜索引擎提供更多的個性化服務(wù)，如推薦相關(guān)內(nèi)容、智能提示等，從而進(jìn)一步提高搜索的效果和用戶滿意度。

意圖理解簡單來說就是從詞法、句法、語義三個層面對 Query 進(jìn)行結(jié)構(gòu)化解析。在電商場景的首要問題是query的類目預(yù)測，例"iphone 15 pro 128 白色"的結(jié)構(gòu)化類目為手機(類目)-蘋果(品牌)-15 pro(型號)。轉(zhuǎn)轉(zhuǎn)的類目體系龐大、類目層級間存在關(guān)聯(lián)，且query可能屬于多個類目。轉(zhuǎn)轉(zhuǎn)的類目預(yù)測可理解為三個有關(guān)聯(lián)性的任務(wù)。

本文主要介紹多任務(wù)學(xué)習(xí)在轉(zhuǎn)轉(zhuǎn)搜索意圖理解的類目預(yù)測中的實踐。首先介紹多任務(wù)學(xué)習(xí)的基本概念；其次介紹業(yè)界類目預(yù)測的方法；最后展示多任務(wù)學(xué)習(xí)在轉(zhuǎn)轉(zhuǎn)意圖理解類目預(yù)測場景下的探索。

1 多任務(wù)學(xué)習(xí)簡介

1.1 什么是多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)(MTL)機器學(xué)習(xí)中的一種學(xué)習(xí)范式，目的是利用包含在多個相關(guān)任務(wù)中有用的信息，以幫助提高所有任務(wù)的泛化性能。其核心思想是利用不同任務(wù)之間的共享表示來學(xué)習(xí)一個通用的特征提取器，從而實現(xiàn)知識的遷移和任務(wù)的協(xié)同優(yōu)化。

MTL與機器學(xué)習(xí)的其他學(xué)習(xí)范式存在相關(guān)性，例如遷移學(xué)習(xí)(transfer learning)、多標(biāo)簽學(xué)習(xí)(multi-label learning)和多輸出回歸(multi-output regression)。多任務(wù)學(xué)習(xí)與遷移學(xué)習(xí)的設(shè)置相似但有顯著差異；多任務(wù)學(xué)習(xí)不同任務(wù)沒有區(qū)別，目標(biāo)是提高所有任務(wù)的性能；而遷移學(xué)習(xí)是通過源任務(wù)來提高目標(biāo)任務(wù)的性能。多標(biāo)簽學(xué)習(xí)和多輸出回歸每個數(shù)據(jù)都與多個labels相關(guān)聯(lián)，這些labels可以是類別也可以是回歸的數(shù)字；多標(biāo)簽學(xué)習(xí)和多輸出回歸是多個任務(wù)擁有相同的數(shù)據(jù)，但多任務(wù)學(xué)習(xí)不同的任務(wù)擁有的是不同的數(shù)據(jù);如果把每個可能的標(biāo)簽作為一個任務(wù)，多標(biāo)簽學(xué)習(xí)和多輸出回歸某種意義上可以看作是多任務(wù)學(xué)習(xí)的一種特殊情況。多視圖學(xué)習(xí)是機器學(xué)習(xí)的另一種范式，每個數(shù)據(jù)有多個視圖，每個視圖包含一組特征，盡管不同視圖有不同特征，但所有視圖被用于學(xué)習(xí)同一個任務(wù)，因此多視圖學(xué)習(xí)屬于具有多組特征的單任務(wù)學(xué)習(xí)。

MTL與其他范式不同之處

多任務(wù)學(xué)習(xí)包含五種方法，特征學(xué)習(xí)方法、低秩方法、任務(wù)聚類方法、任務(wù)關(guān)聯(lián)性學(xué)習(xí)方法和分解方法。這些方法的詳細(xì)介紹可參考[1]。

1.2 NLP的多任務(wù)學(xué)習(xí)

近年來，在機器學(xué)習(xí)問題中，基于數(shù)據(jù)驅(qū)動的神經(jīng)模型取得了巨大的成功。在自然語言處理(NLP)領(lǐng)域，引入transformer和預(yù)訓(xùn)練語言模型(PLMs)(如BERT、T5和GPT-3)，在多個下游任務(wù)的性能上實現(xiàn)了巨大的突破。雖然預(yù)訓(xùn)練使得PLMs具備了通用的百科知識和語言知識，但在下游任務(wù)中使用PLMs仍然需要進(jìn)行任務(wù)特定的適應(yīng)。然而，充分訓(xùn)練這樣的模型通常需要大量的標(biāo)記訓(xùn)練樣本，這在NLP任務(wù)中往往是昂貴的。隨著神經(jīng)模型的規(guī)模不斷增大，訓(xùn)練它們需要巨大的計算能力，以及龐大的時間和存儲預(yù)算。為了進(jìn)一步提高模型性能，解決數(shù)據(jù)稀缺問題，并實現(xiàn)成本效益的任務(wù)適應(yīng)，結(jié)合PLM和MTL的方法[2]被用于處理NLP任務(wù)。

NLP的MTL-并行架構(gòu)

NLP的MTL-層級架構(gòu)

基于任務(wù)之間的關(guān)聯(lián)性如何被利用，MTL架構(gòu)可分為以下幾類：并行架構(gòu)、層級架構(gòu)、模塊化架構(gòu)和生成對抗架構(gòu)。并行架構(gòu)將模型的大部分共享給多個任務(wù)，每個任務(wù)有自己的任務(wù)特定輸出層。層級架構(gòu)模型化了任務(wù)之間的層級關(guān)系。這種架構(gòu)可以從不同任務(wù)中層級地組合特征，將一個任務(wù)的輸出作為另一個任務(wù)的輸入，或者明確地模型化任務(wù)之間的交互。模塊化架構(gòu)將整個模型分解為共享和任務(wù)特定的組件，分別學(xué)習(xí)任務(wù)不變和任務(wù)特定的特征。與上述三種架構(gòu)不同，生成對抗架構(gòu)借鑒了生成對抗網(wǎng)絡(luò)的思想，以提高現(xiàn)有模型的能力。需要注意的是，不同類別之間的邊界并不總是固定的，因此一個具體的模型可能適用于多個類別。盡管如此，這個分類體系可以闡明MTL架構(gòu)設(shè)計背后的重要思想。NLP中多任務(wù)學(xué)習(xí)的架構(gòu)和優(yōu)化技術(shù)可參考[3]。

2 業(yè)界類目預(yù)測方法

意圖理解在電商中扮演著不可或缺的角色，對于提升電商平臺的競爭力和用戶體驗至關(guān)重要。這里的意圖理解指狹義的類目預(yù)測(CP)，其目標(biāo)是識別給定文本的意圖類別。

阿里[4]提出了一個深層次分類框架，將多尺度層級信息納入神經(jīng)網(wǎng)絡(luò)中，并根據(jù)類別樹引入了一種表示共享策略。作者還定義了一種新穎的聯(lián)合損失函數(shù)，以懲罰層級預(yù)測損失。

Deep Hierarchical Classification

美團(tuán)[5]將意圖識別分為兩步，第一步是意圖召回，這塊是轉(zhuǎn)換為了分類任務(wù)，只判斷某個查詢是否包含某種意圖。線上采用詞典匹配+規(guī)則+模型的方式進(jìn)行識別，詞典主要包含業(yè)務(wù)和領(lǐng)域相關(guān)數(shù)據(jù)，詞典和Pattern規(guī)則，能比較好的解決熱門識別，針對長尾部分，主要靠Bert模型來解決泛化識別問題；第二步是意圖分布，意圖召回完了以后，作者還要知道當(dāng)前搜索的各個意圖的強弱，尤其是找到主意圖，就是圖上面部分的意圖分布，作者將其轉(zhuǎn)化成排序問題。由于線上展示的每條POI結(jié)果，后臺都有明確的業(yè)務(wù)歸屬，所以作者就可以依據(jù)這個業(yè)務(wù)歸屬信息和用戶點擊行為，獲得有標(biāo)注的訓(xùn)練語料，來訓(xùn)練排序模型。模型特征主要分為兩部分，一是統(tǒng)計類的特征，包括一些CTR、CVR及相關(guān)的用戶行為的特征。二是Embedding類特征，進(jìn)行語義的表達(dá)。

美團(tuán)意圖識別

京東到家[6]在搜索品類預(yù)測場景下主要嘗試的方法有兩種，一類是直接采用層級性多標(biāo)簽分類,第二類是采用語義模型，結(jié)合用戶點擊，訂單，成交等特征進(jìn)行融合模型擬合出對應(yīng)不同品類的得分取topN作為預(yù)測的品類傾向。

京東意圖識別

3 多任務(wù)學(xué)習(xí)在轉(zhuǎn)轉(zhuǎn)的實踐

轉(zhuǎn)轉(zhuǎn)平臺致力于促進(jìn)低碳循環(huán)經(jīng)濟(jì)的更好發(fā)展，能夠覆蓋全品類商品。在N品類第二曲線背景下，我們需要在保證手機3C領(lǐng)域效果的同時，提升N品類的搜索體驗。

3.1 多任務(wù)學(xué)習(xí)在類目預(yù)測的實踐

轉(zhuǎn)轉(zhuǎn)的類目預(yù)測包含類目、品牌和型號三個層級。我們數(shù)據(jù)存在如下特點：(1)不同類目數(shù)據(jù)不均衡。(2)層次不一致: 有些query到類目，例手機、平板和吉他；有些query到品牌，例華為手機和卡西歐手表；有些query到型號，例realmegt大師驍龍778和airpods pro 二代。(3)類別巨大：品牌有上千個，型號有上萬個?？紤]到數(shù)據(jù)特點，我們從數(shù)據(jù)采樣、技術(shù)選型和訓(xùn)練技巧三個層面通過組合拳提升類目預(yù)測效果。

我們基于優(yōu)勢品類降采樣和弱勢品類重采樣的方式彌補數(shù)據(jù)不均衡問題，例如手機類目采樣50%，4類目采樣80%，N類目重采樣200%。我們將類目預(yù)測轉(zhuǎn)換為類目、品牌和型號三個任務(wù)，緩解某任務(wù)空標(biāo)簽占比較高的情況。我們使用分類解決類別較少的任務(wù)，類別較多的任務(wù)用文本匹配做，也即類目和品牌使用分類、型號使用匹配。

技術(shù)選型

對于類目和品牌分類任務(wù)，我們使用roberta[7]產(chǎn)出query文本向量后接全連接層獲取類別得分；對于型號匹配任務(wù)，我們使用roberta孿生網(wǎng)絡(luò)分別產(chǎn)出query和型號的文本向量再計算出相似度得分。分類模型使用交叉熵?fù)p失函數(shù)，匹配模型使用對比學(xué)習(xí)SimCSE[8]損失函數(shù), MTL的loss使用三個任務(wù)loss的加權(quán)和。

我們利用多任務(wù)學(xué)習(xí)提升模型性能、增強泛化能力、提高數(shù)據(jù)效率，并促進(jìn)知識遷移和跨任務(wù)學(xué)習(xí)的優(yōu)勢，應(yīng)用到意圖理解給線上帶來下單提袋率的提升。

3.2 多任務(wù)學(xué)習(xí)在轉(zhuǎn)轉(zhuǎn)的未來規(guī)劃

通過人工評估以及線上AB實驗，充分確認(rèn)了多任務(wù)學(xué)習(xí)訓(xùn)練多個相關(guān)任務(wù)的有效性，在類目預(yù)測模塊落地后，可以用于意圖理解其他模塊，例命名實體識別。召回模塊的向量召回或es召回都用到了文本的特征，也可以將多任務(wù)學(xué)習(xí)用于召回模塊。

參考文獻(xiàn)

[1]A Survey on Multi-Task Learning.

[2]Multi-Task Deep Neural Networks for Natural Language Understanding.

[3]Multi-Task Learning in Natural Language Processing: An Overview.

[4]Deep Hierarchical Classification for Category Prediction in E-commerce System.

[5]https://zhuanlan.zhihu.com/p/370576330

[6]https://www.modb.pro/db/152185

[7]RoBERTa: A Robustly Optimized BERT Pretraining Approach.

[8]SimCSE: Simple Contrastive Learning of Sentence Embeddings.

關(guān)于作者

李瑩瑩，轉(zhuǎn)轉(zhuǎn)算法工程師，主要負(fù)責(zé)搜索意圖理解&召回、智能客服相關(guān)工作。