引言

詞嵌入表示作為機器翻譯、問答、文本分類等各種自然語言處理任務的基礎，它通常會占到模型參數(shù)總量的 20%~90%。存儲和訪問這些嵌入需要大量的空間，這不利于模型在資源有限的設備上部署和應用。針對這一問題，本文提出了 MorphTE 詞嵌入壓縮方法。MorphTE 結(jié)合了張量積操作強大的壓縮能力以及語言形態(tài)學的先驗知識，能夠?qū)崿F(xiàn)詞嵌入?yún)?shù)的高倍壓縮（超過 20 倍），同時保持模型的性能。

• 論文鏈接：https://arxiv.org/abs/2210.15379
• 開源代碼：https://github.com/bigganbing/Fairseq_MorphTE

模型

本文提出的 MorphTE 詞嵌入壓縮方法，首先將單詞劃分成具有語義含義的最小單位——語素，并為每個語素訓練低維的向量表示，然后利用張量積實現(xiàn)低維語素向量的量子糾纏態(tài)數(shù)學表示，從而得到高維的單詞表示。

01 單詞的語素構(gòu)成

語言學中，語素是具有特定語義或語法功能的最小單位。對于英語等語言來說，一個單詞可以拆分成詞根、詞綴等更小單位的語素。例如，“unkindly”可以拆分成表示否定的 “un”、具有“友好的” 等含義的 “kind”，以及表示副詞的“l(fā)y”。對于漢語來說，一個漢字同樣可以拆分成偏旁部首等更小單位，如“沐” 可拆分成表示水的 “氵” 和“木”。

語素在蘊含語義的同時，也可以在詞之間進行共享，從而聯(lián)系不同的詞。此外，有限數(shù)量的語素可以組合出更多的詞。

02 糾纏張量形式的詞嵌入壓縮表示

相關(guān)工作 Word2ket 通過張量積，表示單個詞嵌入為若干低維向量的糾纏張量形式，其公式如下：

其中、r 為秩、n 為階，表示張量積。Word2ket 只需要存儲和使用這些低維的向量來構(gòu)建高維的詞向量，從而實現(xiàn)參數(shù)有效降低。例如，r =2、n=3時，一個維度為 512 的詞向量，可以通過兩組，每組三個維度為 8 低維向量張量積得到，此時所需參數(shù)量從 512 降低至 48。

03 形態(tài)學增強的張量化詞嵌入壓縮表示

通過張量積，Word2ket 能夠?qū)崿F(xiàn)明顯的參數(shù)壓縮，然而其在高倍壓縮以及機器翻譯等較復雜任務上，通常難以達到壓縮前的效果。既然低維向量是組成糾纏張量的基本單位，同時語素是構(gòu)成單詞的基本單位。該研究考慮引入語言學知識，提出了 MorphTE，其訓練低維的語素向量，并利用單詞所包含的語素向量的張量積來構(gòu)建相應的詞嵌入表示。

具體而言，先利用語素分割工具對詞表 V 中的詞進行語素分割，所有詞的語素將構(gòu)成一個語素表 M，語素的數(shù)量會明顯低于詞的數(shù)量（）。

對于每個詞，構(gòu)建其語素索引向量，該向量指向每個詞包含的語素在語素表中的位置。所有詞的語素索引向量構(gòu)成一個的語素索引矩陣，其中 n 是 MorphTE 的階數(shù)。

對于詞表中的第 j 個詞，利用其語素索引向量從 r 組參數(shù)化的語素嵌入矩陣中索引出相應的語素向量，并通過張量積進行糾纏張量表示得到相應的詞嵌入，該過程形式化如下：

通過以上方式，MophTE 可以在詞嵌入表示中注入以語素為基礎的語言學先驗知識，同時語素向量在不同詞之間的共享可以顯式地構(gòu)建詞間聯(lián)系。此外，語素的數(shù)量和向量維度都遠低于詞表的大小和維度，MophTE 從這兩個角度都實現(xiàn)了詞嵌入?yún)?shù)的壓縮。因此，MophTE 能夠?qū)崿F(xiàn)詞嵌入表示的高質(zhì)量壓縮。

實驗

本文主要在不同語言的翻譯、問答等任務上進行了實驗，并且和相關(guān)的基于分解的詞嵌入壓縮方法進行了比較。

從表格中可以看到，MorphTE 可以適應英語、德語、意大利語等不同語言。在超過 20 倍壓縮比的條件下，MorphTE 能夠保持原始模型的效果，而其他壓縮方法幾乎都出現(xiàn)了效果的下降。此外，在超過 40 倍壓縮比的條件下，MorphTE 在不同數(shù)據(jù)集上的效果都要好于其他壓縮方法。

同樣地，在 WikiQA 的問答任務、SNLI 的自然語言推理任務上，MorphTE 分別實現(xiàn)了 81 倍和 38 倍的壓縮比，同時保持了模型的效果。

結(jié)論

MorphTE 結(jié)合了先驗的形態(tài)學語言知識以及張量積強大的壓縮能力實現(xiàn)了詞嵌入的高質(zhì)量壓縮。在不同語言和任務上的實驗表明，MorphTE 能夠?qū)崿F(xiàn)詞嵌入?yún)?shù) 20～80 倍的壓縮，且不會損害模型的效果。這驗證了引入基于語素的語言學知識能夠提升詞嵌入壓縮表示的學習。盡管 MorphTE 當前只建模了語素，它實際上可以被擴展為一個通用的詞嵌入壓縮增強框架，顯式建模原形、詞性、大小寫等更多先驗的語言學知識，進一步提升詞嵌入壓縮表示。