BGE系列模型自發(fā)布以來廣受社區(qū)好評。

近日，智源研究院聯(lián)合多所高校開發(fā)了多模態(tài)向量模型BGE-VL，進一步擴充了原有生態(tài)體系。BGE-VL在圖文檢索、組合圖像檢索等主要多模態(tài)檢索任務中均取得了最佳效果。

BGE-VL借助大規(guī)模合成數(shù)據(jù)MegaPairs訓練而成。這一設計具備以下兩大核心優(yōu)勢:

• 優(yōu)異的可擴展性：MegaPairs 結合多模態(tài)表征模型、多模態(tài)大模型和大語言模型，在海量圖文語料庫中高效挖掘多模態(tài)三元組數(shù)據(jù)。其算法能夠以極低成本持續(xù)生成多樣化且高質量的多模態(tài)三元組。本次發(fā)布的版本涵蓋 2600 萬條樣本，為多模態(tài)檢索模型的訓練提供了大規(guī)模、高價值的數(shù)據(jù)支持。
• 卓越的數(shù)據(jù)質量：相較于傳統(tǒng)多模態(tài)數(shù)據(jù)，MegaPairs 僅需 1/70 的數(shù)據(jù)量即可實現(xiàn)更優(yōu)的訓練效果。利用該合成數(shù)據(jù)，智源訓練了多模態(tài)檢索模型 BGE-VL，顯著提升了多個主流多模態(tài)檢索基準的性能。

BGE-VL的技術報告已發(fā)布，相關數(shù)據(jù)、模型及代碼資源將陸續(xù)向社區(qū)全面開放。

論文地址：https://arxiv.org/abs/2412.14475
項目主頁：https://github.com/VectorSpaceLab/MegaPairs
模型地址：https://huggingface.co/BAAI/BGE-VL-MLLM-S1

研究背景

在大模型時代，信息檢索需要滿足人們日益多樣化的需求，這種需求不僅體現(xiàn)在用戶的多模態(tài)查詢輸入上，也體現(xiàn)在對多模態(tài)信息的需求上。例如，用戶可能拍攝一張汽車外觀圖，并希望獲取該款汽車的指定信息。

在這種情況下，多模態(tài)檢索器需要綜合理解用戶的圖像和文本指令，并從多種模態(tài)的信息中檢索出最相關的內容。

然而，現(xiàn)有的多模態(tài)檢索模型通?；趩我恍问降目缒B(tài)配對數(shù)據(jù)（如圖像-文本對）進行訓練，這使得它們難以處理復雜的組合模態(tài)輸入。

近年來，指令微調技術在文本檢索和大語言模型等領域已經(jīng)證明了其增強多任務能力的有效性。然而，以往的多模態(tài)檢索指令數(shù)據(jù)集大多依賴人工標注，限制了大規(guī)模多樣化數(shù)據(jù)的獲取。

為解決這一限制，智源BGE團隊創(chuàng)新性地提出了MegaPairs數(shù)據(jù)合成方法。該方法通過從現(xiàn)有大規(guī)模圖像數(shù)據(jù)集中挖掘多樣的關聯(lián)圖像對，并利用開源多模態(tài)大模型和大語言模型進行自動化指令生成，從而構建出高質量、可擴展、泛化性強的多模態(tài)檢索指令微調數(shù)據(jù)集。

團隊基于MegaPairs的高質量數(shù)據(jù)，訓練并開源多模態(tài)向量模型BGE-VL系列，實現(xiàn)了當前最佳的多模態(tài)檢索能力。

MegaPairs構造

MegaPairs提出從現(xiàn)有大規(guī)模圖文語料庫中挖掘并構造大規(guī)模、高質量多模態(tài)檢索指令數(shù)據(jù)集。

具體地，MegaPairs的構造主要分為兩個關鍵步驟：

1. 使用多種相似度模型從圖像數(shù)據(jù)集中挖掘多樣的圖像對；
2. 使用開源的多模態(tài)大模型和大語言模型合成開放域檢索指令。

以下圖為例：

• 首先，MegaPairs會從大規(guī)模圖像數(shù)據(jù)集中采樣一對圖像-文本數(shù)據(jù)作為查詢數(shù)據(jù)。
• 然后，利用多種圖像和文本相似度模型，挖掘出多組關聯(lián)圖像對（例如：同款汽車的外飾與內飾、同款汽車不同涂裝、同品牌汽車未來概念圖等）。
• 接著，針對這些挖掘出的圖像對，MegaPairs采用兩階段標注方法：首先使用多模態(tài)大語言模型（MLLM）總結兩張圖片之間的關聯(lián)關系，然后使用大語言模型（LLM）撰寫最終的開放域檢索指令。

值得注意的是，MegaPairs完全基于開源數(shù)據(jù)集和開源模型進行自動化構建和標注。通過引入多個相似度模型和兩階段標注方法，MegaPairs能夠在無需人工參與的情況下，擴展性地生成大規(guī)模、高質量且多樣化的多模態(tài)檢索指令數(shù)據(jù)集。

MegaPairs多模態(tài)三元數(shù)據(jù)構造流程

基于上述流水線，MegaPairs合成了超過2600萬條（查詢圖像, 查詢語句, 目標圖像）三元數(shù)據(jù)對。

此外，鑒于「難負例」在訓練檢索模型的重要性，MegaPairs對于每組挖掘的圖像對數(shù)據(jù)都選取了其他相似圖片作為難負例。

BGE-VL模型

基于MegaPairs合成的大規(guī)模多模態(tài)檢索指令數(shù)據(jù)集，智源BGE團隊訓練出了3款不同尺寸的多模態(tài)檢索模型。包括基于CLIP架構的BGE-VL-Base和BGE-VL-Large，以及基于多模態(tài)大模型架構的BGE-VL-MLLM。

團隊發(fā)現(xiàn)，僅僅使用MegaPairs三元組數(shù)據(jù)訓練，模型就在多個任務上實現(xiàn)了遠超以往方法的的領先性能優(yōu)勢。

綜合多模態(tài)嵌入任務性能表現(xiàn)

團隊首先在Massive Multimodal Embedding Benchmark（MMEB）上驗證了BGE-VL模型的性能。

MMEB是一個綜合性基準測試，涵蓋了4大類共計36個不同多模態(tài)嵌入評測任務：分類（Classification）、視覺問答（Visual Question Answering）、檢索（Retrieval）和視覺定位（Visual Grounding）。

MMEB評測任務示例圖

在零樣本性能表現(xiàn)方面，BGE-VL在MMEB的多個任務類型和整體評分均實現(xiàn)了最優(yōu)性能。

更令人興奮的是，MegaPairs并未包含MMEB中的絕大部分任務類型數(shù)據(jù)（例如Classification、VQA，Grounding），卻能夠實現(xiàn)良好的任務泛化能力。

根據(jù)MMEB的設置，團隊進一步在MMEB的分布內（IND）集合（包含36個評測任務中的20個任務）上對BGE-VL進行了有監(jiān)督微調。

實驗結果顯示，BGE-VL的平均性能指標相比直接在MMEB上微調的VLM2Vec (LLaVA-1.6) 模型高出9.1個百分點。同時，在分布外（OOD）數(shù)據(jù)集上的平均表現(xiàn)也比兩版VLM2Vec分別高出11.6%和7.1%。這些結果證明了MegaPairs數(shù)據(jù)的高質量和泛化能力。

組合圖像檢索性能

傳統(tǒng)圖像檢索通常采用「文搜圖」或「圖搜圖」的方式。近年來，組合圖像檢索作為一種新興的圖像搜索范式，允許用戶同時輸入圖像和搜索指令，實現(xiàn)更精準的圖像檢索效果。這一方法被谷歌稱為「下一代圖像搜索范式」。

在當前主流的組合圖像檢索評測集CIRCO上，BGE-VL在不同模型尺寸上均顯著刷新了現(xiàn)有基準。大幅超越包括谷歌的MagicLens系列和英偉達的MM-Embed等對比基線。

具體而言，BGE-VL-MLLM較之前的SOTA模型提升了8.1個百分點。此外，BGE-VL-Base模型以不到1/50的參數(shù)量超越了如MM-Embed和E5-V等大模型底座的多模態(tài)檢索器。這些實驗結果有力展示了MegaPairs數(shù)據(jù)的有效性。

團隊還對MegaPairs的可擴展性和數(shù)據(jù)質量進行了深入研究。

如圖所示，一方面，隨著MegaPairs數(shù)據(jù)規(guī)模的增加，BGE-VL模型表現(xiàn)出一致的性能增長趨勢，證明了MegaPairs數(shù)據(jù)構造方法的良好可擴展性。

另一方面，與在37M閉源數(shù)據(jù)上訓練的SOTA模型Google MagicLens相比，MegaPairs僅需1/70的數(shù)據(jù)規(guī)模（0.5M）即可實現(xiàn)顯著的性能優(yōu)勢，證明了MegaPairs數(shù)據(jù)的高效性和高質量。

MegaPairs可擴展性分析：使用不同規(guī)模的MegaPairs數(shù)據(jù)訓練BGE-VL-base模型在各評測基準上的性能變化趨勢。虛線表示基于CLIP-base并在37M MagicLens數(shù)據(jù)集上訓練的MagicLens-B模型的性能。

BGE-VL檢索可視化結果

未來，智源將繼續(xù)探索MegaPairs與更豐富的多模態(tài)檢索場景結合，進一步打造更全能通用的多模態(tài)檢索器。

更多方法和實驗細節(jié)請參照論文。