多模態(tài)實(shí)體鏈接的重要性與挑戰(zhàn)

多模態(tài)實(shí)體鏈接（Multimodal Entity Linking, MEL）是知識(shí)圖譜領(lǐng)域中的一項(xiàng)基礎(chǔ)任務(wù)，旨在將文檔中的提及（mentions）鏈接到知識(shí)庫中的實(shí)體。隨著社交媒體和互聯(lián)網(wǎng)的發(fā)展，文本和視覺的多模態(tài)性成為數(shù)據(jù)任務(wù)中的重要媒介。同時(shí)，線上信息的質(zhì)量參差不齊，許多提及本身含糊不清，上下文信息粗糙，僅依靠文本模態(tài)往往難以進(jìn)行有效消歧。然而，文本和視覺模態(tài)的結(jié)合往往能更精確、更輕松地進(jìn)行消歧。例如，提及“United States”可能指代不同的實(shí)體，如國(guó)家名稱、體育隊(duì)伍或船只，但當(dāng)同時(shí)考慮文本和視覺信息時(shí)，可以更容易地將“United States”準(zhǔn)確鏈接到“美國(guó)國(guó)家輪椅橄欖球隊(duì)”的實(shí)體。

盡管深度學(xué)習(xí)方法在MEL任務(wù)中取得了一定的成果，通過融合提及文本和圖像獲取提及表示、應(yīng)用交叉注意力機(jī)制和編碼圖像提取特征等方法，但這些方法仍面臨多個(gè)挑戰(zhàn)：

• 實(shí)體描述冗余。通常，實(shí)體的描述過長(zhǎng)，使得在消歧過程中難以聚焦于有效信息。
• 提及缺乏重要的語義信息。與實(shí)體不同，提及在包含的特征信息的上下文完整性上存在差異。

為了解決上述問題，我們引入了一個(gè)統(tǒng)一框架UniMEL，旨在使用大型語言模型處理MEL任務(wù)，充分融合多模態(tài)提及的圖像和上下文，并生成實(shí)體的新簡(jiǎn)潔描述。據(jù)我們所知，這是首次在MEL任務(wù)中引入基于多模態(tài)大型語言模型（MLLMs）的方法。

論文概覽：標(biāo)題、作者、會(huì)議和鏈接

標(biāo)題: UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models

作者: Qi Liu, Yongyi He, Defu Lian, Zhi Zheng, Tong Xu, Che Liu, Enhong Chen

會(huì)議: Proceedings of the 33nd ACM International Conference on Information and Knowledge Management (CIKM ’24

多模態(tài)實(shí)體鏈接的定義與應(yīng)用場(chǎng)景

多模態(tài)實(shí)體鏈接（Multimodal Entity Linking, MEL）是一種在知識(shí)庫中將文本提及（mentions）與實(shí)體相鏈接的任務(wù)，這些提及不僅包含文本信息，還包括視覺信息。這種鏈接方式在許多自然語言處理（NLP）的下游應(yīng)用中非常有用，例如問題回答和推薦系統(tǒng)。隨著社交媒體和互聯(lián)網(wǎng)的發(fā)展，文本和視覺的多模態(tài)性成為了數(shù)據(jù)任務(wù)的重要媒介。例如，提及“美國(guó)”可能指向不同的實(shí)體，如國(guó)家、體育隊(duì)伍或船只，但當(dāng)同時(shí)考慮文本和視覺信息時(shí)，可以更準(zhǔn)確地將其鏈接到“美國(guó)國(guó)家輪椅橄欖球隊(duì)”的實(shí)體。

UniMEL框架的核心組件與工作流程

1. LLMs-based Entity Augmentation

為了解決實(shí)體描述過長(zhǎng)和信息冗余的問題，UniMEL框架使用大型語言模型（LLMs）來有效地摘要實(shí)體描述。通過向LLMs提供實(shí)體名稱和其原始描述，并設(shè)計(jì)特定指令來強(qiáng)調(diào)生成摘要的簡(jiǎn)潔性和內(nèi)容要求，LLMs能夠生成新的、簡(jiǎn)潔的、信息豐富的實(shí)體描述摘要。

2. MLLMs-based Mention Augmentation

利用多模態(tài)大型語言模型（MLLMs）的強(qiáng)大視覺理解和指令遵循能力，UniMEL框架增強(qiáng)了提及的描述信息。通過將提及的圖像、名稱和文本上下文輸入MLLMs，并設(shè)計(jì)特定的任務(wù)指令來引導(dǎo)MLLMs專注于提及本身，從而生成高質(zhì)量的文本描述，增強(qiáng)提及的信息。

3. Retrieval Augmentation

在選擇最佳匹配實(shí)體之前，通常需要縮小候選集并盡可能確保其準(zhǔn)確性。通過增強(qiáng)的實(shí)體和提及信息，首先將實(shí)體名稱和新描述連接起來，并使用預(yù)訓(xùn)練的嵌入模型獲取其嵌入表示。然后，計(jì)算提及嵌入與知識(shí)庫中每個(gè)實(shí)體嵌入的余弦相似度，檢索出相似度最高的K個(gè)實(shí)體。

4. Multi-choice Selection

在域特定任務(wù)和數(shù)據(jù)上微調(diào)LLMs可以增強(qiáng)其在處理特定任務(wù)中的能力。通過高質(zhì)量的數(shù)據(jù)和小規(guī)模候選集，設(shè)計(jì)了一個(gè)用于LLM指令調(diào)整的提示模板。LLM根據(jù)給定的指令和文本輸入預(yù)測(cè)答案，從而選擇與提及最匹配的實(shí)體。

實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)集介紹

1. 數(shù)據(jù)集介紹

在本研究中，我們使用了三個(gè)公開的多模態(tài)實(shí)體鏈接數(shù)據(jù)集：Wikidiverse、WikiMEL和Richpedia。這些數(shù)據(jù)集包含了從不同來源收集的多模態(tài)樣本，其中包括文本描述和相關(guān)圖像。

• Wikidiverse數(shù)據(jù)集來源于Wikinews，涵蓋了多種主題和13種實(shí)體類型（如人物、國(guó)家、組織、事件等），基于Wikipedia的知識(shí)庫，總共包含約1600萬個(gè)實(shí)體。
• WikiMEL包含超過22K個(gè)從Wikipedia和Wikidata抽取的多模態(tài)樣本。與Wikidiverse相比，WikiMEL中的大多數(shù)實(shí)體類型是人物。
• Richpedia數(shù)據(jù)集收集了大規(guī)模多模態(tài)知識(shí)圖譜Richpedia中的Wikidata實(shí)體索引，并從Wikipedia獲取了多模態(tài)信息。

這些數(shù)據(jù)集的統(tǒng)計(jì)信息如下表所示：

2. 實(shí)驗(yàn)設(shè)置

我們的實(shí)驗(yàn)設(shè)置遵循了之前的工作，數(shù)據(jù)集被劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。我們使用Wikidata作為我們的知識(shí)庫，并移除了那些在Wikidata中找不到對(duì)應(yīng)實(shí)體的提及。在Wikidiverse中，數(shù)據(jù)集被劃分為80%訓(xùn)練集、10%驗(yàn)證集和10%測(cè)試集。在WikiMEL和Richpedia中，數(shù)據(jù)集被劃分為70%訓(xùn)練集、10%驗(yàn)證集和20%測(cè)試集。

主要實(shí)驗(yàn)結(jié)果與分析

1. 實(shí)驗(yàn)結(jié)果

我們的UniMEL框架在三個(gè)數(shù)據(jù)集上的表現(xiàn)如下：

• Wikidiverse: Top-1準(zhǔn)確率為92.9%，比之前的最佳方法提高了41.7%。
• WikiMEL: Top-1準(zhǔn)確率為94.1%，比之前的最佳方法提高了21.3%。
• Richpedia: Top-1準(zhǔn)確率為94.8%，比之前的最佳方法提高了22.3%。

這些結(jié)果表明，我們的UniMEL框架在多模態(tài)實(shí)體鏈接任務(wù)中具有顯著的優(yōu)勢(shì)，并且能夠有效地處理不同的數(shù)據(jù)集和實(shí)體類型。

2. 結(jié)果分析

我們的UniMEL框架通過整合文本和視覺信息，并對(duì)實(shí)體描述進(jìn)行精簡(jiǎn)，有效地提高了實(shí)體鏈接的準(zhǔn)確性。此外，我們還對(duì)模型進(jìn)行了微調(diào)，僅調(diào)整了約0.26%的模型參數(shù)，這進(jìn)一步提高了模型在特定領(lǐng)域任務(wù)上的表現(xiàn)。

通過對(duì)比不同的基線方法，我們發(fā)現(xiàn)即使是純文本方法（如BERT），也能在某些數(shù)據(jù)集上展現(xiàn)出不錯(cuò)的性能。然而，結(jié)合視覺信息的方法（如我們的UniMEL）在處理含糊不清和質(zhì)量較低的提及信息時(shí)，表現(xiàn)更為出色。

總體來說，這些實(shí)驗(yàn)結(jié)果驗(yàn)證了我們的UniMEL框架在多模態(tài)實(shí)體鏈接任務(wù)中的有效性和先進(jìn)性。

模型的優(yōu)勢(shì)與挑戰(zhàn)

1. 模型的優(yōu)勢(shì)

UniMEL模型在多模態(tài)實(shí)體鏈接任務(wù)中展現(xiàn)出顯著的優(yōu)勢(shì)。首先，該模型通過結(jié)合大型語言模型（LLMs）和多模態(tài)大型語言模型（MLLMs），有效地處理了文本和視覺信息的融合問題。例如，通過MLLMs對(duì)提及的圖像和文本上下文進(jìn)行增強(qiáng)，使得模型能夠更深入地理解圖像與其上下文之間的語義關(guān)系。此外，UniMEL利用LLMs的總結(jié)能力，對(duì)實(shí)體描述進(jìn)行精簡(jiǎn)，從而提高了實(shí)體檢索的準(zhǔn)確性和效率。

其次，UniMEL在候選實(shí)體集的縮減和重排方面也表現(xiàn)出色。通過嵌入模型對(duì)實(shí)體和提及的嵌入表示進(jìn)行相似度計(jì)算，模型能夠有效地縮小候選實(shí)體范圍，并通過LLMs進(jìn)行精確的多選匹配，從而提高了鏈接的準(zhǔn)確性。

最后，實(shí)驗(yàn)結(jié)果顯示，UniMEL在三個(gè)公開的多模態(tài)實(shí)體鏈接數(shù)據(jù)集上均達(dá)到了最佳性能，驗(yàn)證了其在實(shí)際應(yīng)用中的有效性和優(yōu)越性。

2. 模型的挑戰(zhàn)

盡管UniMEL在多模態(tài)實(shí)體鏈接任務(wù)中表現(xiàn)出強(qiáng)大的能力，但仍面臨一些挑戰(zhàn)。首先，文本和視覺信息的有效融合仍是一個(gè)復(fù)雜的問題，尤其是在信息互補(bǔ)性不足的情況下，如何設(shè)計(jì)更有效的融合機(jī)制是提高模型性能的關(guān)鍵。

其次，盡管LLMs在處理文本信息方面表現(xiàn)出色，但它們?cè)谔囟I(lǐng)域知識(shí)的應(yīng)用上仍有限。如何讓LLMs更好地適應(yīng)特定領(lǐng)域的知識(shí)，以提高模型在特定任務(wù)上的表現(xiàn)，是未來研究的一個(gè)重要方向。

最后，從實(shí)體描述中提取有效信息并進(jìn)行高效處理的問題也是挑戰(zhàn)之一。當(dāng)前模型雖然通過LLMs的總結(jié)能力對(duì)描述進(jìn)行了精簡(jiǎn)，但如何進(jìn)一步優(yōu)化信息提取和處理流程，以提高處理速度和準(zhǔn)確性，仍需進(jìn)一步探索。

結(jié)論與未來工作方向

UniMEL框架通過整合LLMs和MLLMs，有效地解決了多模態(tài)實(shí)體鏈接任務(wù)中的關(guān)鍵問題，如文本和視覺信息的融合、實(shí)體描述的精簡(jiǎn)和候選實(shí)體集的高效處理等。實(shí)驗(yàn)結(jié)果表明，UniMEL在多個(gè)公開數(shù)據(jù)集上均取得了優(yōu)異的性能，驗(yàn)證了其在實(shí)際應(yīng)用中的有效性和前景。

未來的工作方向可以從以下幾個(gè)方面進(jìn)行：

1. 改進(jìn)信息融合機(jī)制：探索更有效的文本和視覺信息融合技術(shù)，以處理更復(fù)雜的場(chǎng)景和信息互補(bǔ)性不足的問題。
2. 領(lǐng)域適應(yīng)性增強(qiáng)：研究如何讓LLMs更好地適應(yīng)特定領(lǐng)域的知識(shí)，特別是在領(lǐng)域特定知識(shí)較為豐富的任務(wù)中，如何有效利用這些知識(shí)來提高模型的性能。
3. 優(yōu)化實(shí)體處理流程：進(jìn)一步研究如何優(yōu)化從實(shí)體描述中提取關(guān)鍵信息的方法，包括信息的提取、處理和表示，以提高模型在實(shí)體鏈接任務(wù)中的效率和準(zhǔn)確性。
4. 擴(kuò)展模型應(yīng)用場(chǎng)景：考慮將UniMEL框架應(yīng)用于更多類型的NLP任務(wù)和其他需要處理多模態(tài)數(shù)據(jù)的領(lǐng)域，如圖像標(biāo)注、視覺問答等，以全面提升模型的實(shí)用性和影響力。

本文轉(zhuǎn)載自 ??AI論文解讀??，作者：柏企