CLIP的“近視”問題，被360搞定了。

360人工智能研究院最新圖文跨模態(tài)模型FG-CLIP，宣布以“長(zhǎng)文本深度理解”和“細(xì)粒度視覺比對(duì)”雙突破，徹底解決了傳統(tǒng)CLIP模型的“視覺近視”問題，能夠精準(zhǔn)識(shí)別局部細(xì)節(jié)。

具體怎么個(gè)說(shuō)法？先來(lái)個(gè)視力大挑戰(zhàn)：找一找右邊的哪句話，正確描述了左邊圖像里的內(nèi)容？

正確答案是：“A light brown wood stool（一個(gè)淺棕色的木凳子）”，注意看，這個(gè)木凳子位于畫面的中央偏右，悄悄隱藏在狗狗的身后。

可以發(fā)現(xiàn)，4個(gè)常用模型——CLIP、EVACLIP、SIGLIP、FINE-CLIP基于左側(cè)圖片選出的最匹配的文本描述是：A blue dog with a white colored head。

顯然這個(gè)描述是錯(cuò)誤的，這就是CLIP的“視覺近視”問題：會(huì)因?yàn)閷?duì)比損失傾向于拉近全局圖像與文本的嵌入，而非局部區(qū)域的對(duì)齊，削弱了細(xì)粒度特征學(xué)習(xí)。

而FG-CLIP則精準(zhǔn)命中了答案。

實(shí)驗(yàn)結(jié)果顯示，F(xiàn)G-CLIP在細(xì)粒度理解、開放詞匯對(duì)象檢測(cè)、長(zhǎng)短文本圖文檢索以及通用多模態(tài)基準(zhǔn)測(cè)試等下游任務(wù)中均顯著優(yōu)于原始CLIP和其他最先進(jìn)方法。

在12個(gè)下游任務(wù)上，F(xiàn)G-CLIP相比現(xiàn)有模型在關(guān)鍵的長(zhǎng)文本理解+細(xì)粒度比對(duì)上實(shí)現(xiàn)了大幅突破。

360人工智能研究院還表示，將全面開源模型及其相關(guān)數(shù)據(jù)。

視覺語(yǔ)言模型面向的問題

2021年，OpenAI發(fā)布CLIP圖文跨模態(tài)模型，通過(guò)對(duì)比學(xué)習(xí)，首次實(shí)現(xiàn)了大規(guī)模圖像-文本對(duì)齊，開啟了多模態(tài)預(yù)訓(xùn)練大模型的新紀(jì)元。它通過(guò)對(duì)比圖像與文本的嵌入空間，使模型能夠完成零樣本分類、圖像檢索等任務(wù)。

但是CLIP與后面發(fā)展的模型，在實(shí)際應(yīng)用中依然面臨以下的制約：

文本長(zhǎng)度限制：CLIP的文本編碼器僅支持77個(gè)token，難以處理長(zhǎng)文本的細(xì)節(jié)描述（如“一只紅色的陶瓷茶杯，杯口有輕微磨損”）。

全局對(duì)齊的盲區(qū)：CLIP將圖像與文本整體對(duì)齊，忽略了局部區(qū)域的細(xì)粒度信息（如茶杯的把手形狀、杯身圖案）。

負(fù)樣本的不足：現(xiàn)有數(shù)據(jù)集中，負(fù)樣本（不匹配的圖像-文本對(duì)）多為粗略的類別錯(cuò)誤，缺乏對(duì)細(xì)微差異的區(qū)分能力。

對(duì)長(zhǎng)文本細(xì)節(jié)描述理解的重要性

提供豐富的背景信息與復(fù)雜查詢能力：長(zhǎng)文本能夠提供詳細(xì)的背景信息，包括動(dòng)作狀態(tài)、對(duì)象屬性及變化過(guò)程等，這對(duì)于全面理解事件至關(guān)重要。

相比短文本分析，長(zhǎng)文本允許綜合查找基于多個(gè)條件（如物體、人物特征）的信息，支持更加復(fù)雜的查詢需求。這使得模型不僅能識(shí)別發(fā)生了什么，還能理解事件的全貌及其上下文。

支持跨模態(tài)深度語(yǔ)義匹配與融合能力：跨模態(tài)模型需要在不同模態(tài)間建立有效的語(yǔ)義對(duì)應(yīng)關(guān)系。

長(zhǎng)文本中的多層次語(yǔ)義信息（如主題、段落、句子乃至詞匯層面的意義）可以幫助模型更精確地進(jìn)行語(yǔ)義匹配和特征融合。

在圖文檢索任務(wù)中，長(zhǎng)文本描述可以涵蓋從全局場(chǎng)景到局部細(xì)節(jié)的全面信息，使得模型能夠在多個(gè)層次上與圖像特征進(jìn)行比對(duì)和匹配，從而提升檢索的準(zhǔn)確性和相關(guān)性。

對(duì)局部區(qū)域細(xì)粒度信息進(jìn)行準(zhǔn)確分析的重要性

細(xì)節(jié)捕捉：局部圖像特征往往包含了區(qū)分不同對(duì)象的關(guān)鍵信息。

例如，在對(duì)不同人物進(jìn)行分析時(shí)，著裝、動(dòng)作等屬性差別對(duì)于區(qū)分個(gè)體至關(guān)重要。準(zhǔn)確分析這些局部特征可以顯著提高識(shí)別系統(tǒng)的準(zhǔn)確性。

復(fù)雜環(huán)境適應(yīng)性：在復(fù)雜的背景或低質(zhì)量圖像中，局部特征可以幫助算法聚焦于最重要的信息，忽略干擾因素。

在實(shí)際應(yīng)用中，目標(biāo)對(duì)象經(jīng)常會(huì)被其他物體部分遮擋。在這種情況下，全局特征可能不足以描述對(duì)象，而局部特征則顯得尤為重要。

通過(guò)對(duì)局部特征的精確分析，系統(tǒng)能夠有效地識(shí)別出未被遮擋的部分，并利用這些信息來(lái)推斷整個(gè)對(duì)象的狀態(tài)。

局部圖像特征屬性的準(zhǔn)確分析：在提升識(shí)別精度、增強(qiáng)環(huán)境理解、支持高級(jí)別應(yīng)用、改進(jìn)用戶體驗(yàn)以及保障安全性等方面具有核心重要性。

通過(guò)精確解析這些細(xì)節(jié)信息，可以實(shí)現(xiàn)更智能、更可靠的系統(tǒng)性能，無(wú)論是在監(jiān)控、自動(dòng)駕駛、產(chǎn)品質(zhì)量控制還是其他需要細(xì)致圖像分析的領(lǐng)域中，都能發(fā)揮關(guān)鍵作用。

對(duì)圖像/文本的細(xì)微差異實(shí)現(xiàn)準(zhǔn)確理解的重要性

增強(qiáng)模型的魯棒性和泛化能力：準(zhǔn)確區(qū)分圖像和文本中的細(xì)微差別對(duì)于增強(qiáng)模型的魯棒性和泛化能力至關(guān)重要。

細(xì)粒度的理解使模型能夠區(qū)分在視覺或語(yǔ)義上相似但存在細(xì)微差異的對(duì)象、場(chǎng)景或概念。

這種能力對(duì)于現(xiàn)實(shí)世界的應(yīng)用非常重要，因?yàn)樵诓煌墓庹?、角度或背景下，?duì)象可能會(huì)有細(xì)微的變化。確保模型能夠在各種復(fù)雜場(chǎng)景中可靠運(yùn)行。

提升下游任務(wù)的精度：精確識(shí)別細(xì)微差異對(duì)提高下游任務(wù)（如圖像描述生成、視覺問答和醫(yī)學(xué)影像診斷）的準(zhǔn)確性至關(guān)重要。

例如，在視覺問答中，識(shí)別圖像中的微小細(xì)節(jié)并理解其與問題的相關(guān)性是正確回答問題的關(guān)鍵。能否準(zhǔn)確捕捉圖像中的細(xì)微差異直接影響到系統(tǒng)的性能和用戶體驗(yàn)。

同樣，在自然語(yǔ)言處理中，識(shí)別文本中的細(xì)微差異可以顯著提高情感分析和信息檢索等任務(wù)的表現(xiàn)

模型方法

FG-CLIP在傳統(tǒng)雙編碼器架構(gòu)基礎(chǔ)上采用兩階段訓(xùn)練策略，有效提升了視覺語(yǔ)言模型的細(xì)粒度理解能力。

首階段通過(guò)全局對(duì)比學(xué)習(xí)實(shí)現(xiàn)圖文表征的初步對(duì)齊；次階段引入?yún)^(qū)域?qū)Ρ葘W(xué)習(xí)與難細(xì)粒度負(fù)樣本學(xué)習(xí)，利用區(qū)域-文本標(biāo)注數(shù)據(jù)深化模型對(duì)視覺細(xì)節(jié)的感知能力，從而在保持全局語(yǔ)義理解的同時(shí)實(shí)現(xiàn)了對(duì)局部特征的精準(zhǔn)捕捉。

全局對(duì)比學(xué)習(xí)

全局對(duì)比學(xué)習(xí)通過(guò)整合多模態(tài)大模型生成的長(zhǎng)描述，顯著增強(qiáng)了模型的細(xì)粒度理解能力。

這種方法不僅生成了內(nèi)容豐富的長(zhǎng)描述，還提供了更完整的上下文信息和更精準(zhǔn)的細(xì)節(jié)描述。

通過(guò)引入長(zhǎng)描述，模型得以在全局層面感知和匹配語(yǔ)義細(xì)節(jié)，從而大幅提升了其上下文理解能力。

同時(shí)，F(xiàn)G-CLIP保留了原有的短描述-圖像對(duì)齊機(jī)制，使長(zhǎng)短描述形成互補(bǔ)。

這種雙軌并行的策略使模型既能從長(zhǎng)描述中獲取復(fù)雜的語(yǔ)義信息，又能從短描述中把握核心概念，從而全面提升了模型對(duì)視覺信息的理解和處理能力。

局部對(duì)比學(xué)習(xí)

局部對(duì)比學(xué)習(xí)通過(guò)精準(zhǔn)對(duì)齊圖像局部區(qū)域與對(duì)應(yīng)文本描述，實(shí)現(xiàn)細(xì)粒度的視覺-語(yǔ)言關(guān)聯(lián)。

具體而言，F(xiàn)G-CLIP首先運(yùn)用RoIAlign從圖像中精確提取區(qū)域特征，繼而對(duì)每個(gè)檢測(cè)區(qū)域施加平均池化操作，獲取一組富有代表性的區(qū)域級(jí)視覺表征。

這些局部特征隨后與預(yù)先構(gòu)建的細(xì)粒度文本描述進(jìn)行對(duì)比學(xué)習(xí)，促使模型建立區(qū)域視覺內(nèi)容與文本語(yǔ)義之間的精確映射關(guān)系，從而掌握更為細(xì)致的跨模態(tài)對(duì)齊能力。

區(qū)域級(jí)難負(fù)樣本對(duì)比學(xué)習(xí)

針對(duì)細(xì)粒度負(fù)樣本稀缺這一挑戰(zhàn)，F(xiàn)G-CLIP提出了一種難細(xì)粒度負(fù)樣本學(xué)習(xí)方法。

FG-CLIP將語(yǔ)義相近但與正樣本存在細(xì)微差異的樣本定義為難負(fù)樣本，并通過(guò)對(duì)邊界框描述進(jìn)行屬性層面的微調(diào)和重寫來(lái)構(gòu)建這些樣本。

為了充分利用難細(xì)粒度負(fù)樣本提供的判別信息，F(xiàn)G-CLIP在損失函數(shù)中引入了特定的細(xì)粒度負(fù)樣本學(xué)習(xí)策略。

在訓(xùn)練過(guò)程中，模型需要同時(shí)計(jì)算區(qū)域特征與正樣本描述及其對(duì)應(yīng)負(fù)樣本描述之間的相似度，從而學(xué)習(xí)更精細(xì)的視覺-語(yǔ)言對(duì)齊關(guān)系。

數(shù)據(jù)構(gòu)建

通過(guò)LMM進(jìn)行詳細(xì)的圖像描述重寫

在初始訓(xùn)練階段，F(xiàn)G-CLIP采用了經(jīng)過(guò)增強(qiáng)優(yōu)化的LAION-2B數(shù)據(jù)集，其中的圖像標(biāo)注經(jīng)由CogVLM2-19B重新生成。

這種改進(jìn)顯著提升了數(shù)據(jù)質(zhì)量，使描述更加精確和內(nèi)容豐富。

傳統(tǒng)LAION-2B數(shù)據(jù)集往往采用籠統(tǒng)的描述方式，難以支持精細(xì)化任務(wù)的需求。

以鳥類圖像為例，原始標(biāo)注可能僅為”一只鳥”，而忽略了物種特征和環(huán)境細(xì)節(jié)。

通過(guò)引入先進(jìn)的多模態(tài)大模型，F(xiàn)G-CLIP生成的描述不僅準(zhǔn)確識(shí)別目標(biāo)對(duì)象，還涵蓋了對(duì)象特征、行為模式及場(chǎng)景關(guān)聯(lián)等多維信息。

舉例而言，簡(jiǎn)單的”一只鳥”被優(yōu)化為”一只紅翼黑鳥棲息在公園的樹枝上”，大幅提升了描述的信息密度。

借助160×910B規(guī)模的NPU計(jì)算集群，F(xiàn)G-CLIP在30天內(nèi)完成了全部數(shù)據(jù)處理工作。

實(shí)驗(yàn)結(jié)果顯示，這種優(yōu)化顯著提升了模型在多個(gè)任務(wù)上的表現(xiàn)，充分證明了高質(zhì)量文本標(biāo)注對(duì)提升模型精確度和語(yǔ)境理解能力的關(guān)鍵作用。

創(chuàng)建高質(zhì)量的視覺定位數(shù)據(jù)

對(duì)于訓(xùn)練的第二階段，F(xiàn)G-CLIP開發(fā)了一個(gè)高質(zhì)量的視覺定位數(shù)據(jù)集，包含精確的區(qū)域特定描述和具有挑戰(zhàn)性的細(xì)粒度負(fù)樣本。

FG-CLIP根據(jù)GRIT提供的圖像來(lái)制作整個(gè)數(shù)據(jù)集。

這一過(guò)程首先使用CogVLM2-19B生成詳細(xì)的圖像描述，確保描述全面且細(xì)膩，能夠捕捉每張圖像的全部背景信息。隨后，F(xiàn)G-CLIP使用SpaCy解析這些描述并提取出指代表達(dá)。

接著，將圖像和指代表達(dá)輸入預(yù)訓(xùn)練的開放詞匯檢測(cè)模型，這里采用Yolo-World，以獲得相應(yīng)的邊界框。

通過(guò)非極大值抑制消除重疊的邊界框，僅保留預(yù)測(cè)置信度得分高于0.4的邊界框。

這一過(guò)程產(chǎn)生了1200萬(wàn)張圖像和4000萬(wàn)個(gè)帶有精細(xì)區(qū)域描述的邊界框。

為生成高質(zhì)量的細(xì)粒度負(fù)樣本，F(xiàn)G-CLIP在維持對(duì)象名稱不變的前提下，對(duì)邊界框描述的屬性進(jìn)行精細(xì)調(diào)整。

具體而言，F(xiàn)G-CLIP借助Llama-3.1-70B大語(yǔ)言模型，為每個(gè)正樣本構(gòu)建10個(gè)對(duì)應(yīng)的負(fù)樣本。

為提升描述的可讀性，F(xiàn)G-CLIP移除了分號(hào)、逗號(hào)和換行符等標(biāo)點(diǎn)符號(hào)。

經(jīng)過(guò)對(duì)3,000個(gè)負(fù)樣本的質(zhì)量評(píng)估，98.9%的樣本達(dá)到預(yù)期標(biāo)準(zhǔn)，僅1.1%被判定為噪聲數(shù)據(jù)，這一比例符合無(wú)監(jiān)督方法的可接受范圍。

這種方法產(chǎn)生的細(xì)微變化更貼近現(xiàn)實(shí)場(chǎng)景，能夠更好地模擬物體在保持基本類目相似的同時(shí)，具體細(xì)節(jié)存在差異的情況。

這項(xiàng)大規(guī)模數(shù)據(jù)集由1200萬(wàn)張高質(zhì)量圖像構(gòu)成，每張圖像都配備精確的語(yǔ)義描述。

其中包含4000萬(wàn)個(gè)邊界框標(biāo)注，每個(gè)邊界框都附帶詳盡的區(qū)域描述，同時(shí)還整合了1000萬(wàn)個(gè)經(jīng)過(guò)篩選的難細(xì)粒度負(fù)樣本。

數(shù)據(jù)處理階段調(diào)用了160×910B算力的NPU集群，歷時(shí)7天高效完成。

這套豐富而系統(tǒng)的數(shù)據(jù)集顯著提升了模型識(shí)別精細(xì)特征的能力，為FG-CLIP的訓(xùn)練奠定了扎實(shí)基礎(chǔ)，使其在視覺與文本特征的細(xì)粒度理解方面表現(xiàn)卓越。

實(shí)驗(yàn)效果-量化指標(biāo)

細(xì)粒度識(shí)別

FG-CLIP基于FG-OVD數(shù)據(jù)集對(duì)開源圖像-文本對(duì)齊模型進(jìn)行了系統(tǒng)評(píng)估。

與MSCOCO和Flickr等聚焦整體匹配的傳統(tǒng)基準(zhǔn)不同，F(xiàn)G-OVD專注于考察模型識(shí)別和定位圖像局部區(qū)域的精細(xì)化能力。

在評(píng)估過(guò)程中，每個(gè)目標(biāo)區(qū)域都配備了一個(gè)精準(zhǔn)描述和十個(gè)經(jīng)過(guò)精心設(shè)計(jì)的負(fù)向樣本，這些負(fù)向樣本通過(guò)對(duì)正確描述的策略性修改而生成。

FG-OVD數(shù)據(jù)集劃分為四個(gè)難度遞進(jìn)的子集，其區(qū)分度主要體現(xiàn)在待匹配文本之間的相似程度上。

具體而言，hard、medium和easy子集分別通過(guò)替換一個(gè)、兩個(gè)和三個(gè)屬性詞來(lái)構(gòu)造負(fù)樣本，而trivial子集則采用完全無(wú)關(guān)的文本描述，形成了一個(gè)從細(xì)微差別到顯著差異的評(píng)估體系。

由表中可以看到，F(xiàn)G-CLIP相對(duì)于其他方法，在各項(xiàng)指標(biāo)上都能獲得顯著提升，這也證明了該方法在細(xì)粒度理解上的能力。

區(qū)域識(shí)別

FG-CLIP在COCO-val2017數(shù)據(jù)集上開展零樣本測(cè)試，評(píng)估模型識(shí)別局部信息的能力，測(cè)試方案參照FineCLIP和CLIPSelf。

這項(xiàng)評(píng)估著重考察模型僅依靠文本描述對(duì)邊界框內(nèi)目標(biāo)進(jìn)行分類的表現(xiàn)。

具體實(shí)現(xiàn)中，F(xiàn)G-CLIP利用數(shù)據(jù)集中的邊界框標(biāo)注，結(jié)合ROIAlign技術(shù)提取局部區(qū)域的密集特征表示。

在測(cè)試階段，將所有類別標(biāo)簽作為候選文本輸入，對(duì)每個(gè)邊界框區(qū)域進(jìn)行匹配和分類，并通過(guò)Top-1和Top-5準(zhǔn)確率進(jìn)行性能評(píng)估。FG-CLIP同樣在這個(gè)下游任務(wù)上取得了最好的結(jié)果。

開放詞匯目標(biāo)檢測(cè)

為了進(jìn)一步評(píng)估FG-CLIP的方法的細(xì)粒度定位能力，F(xiàn)G-CLIP被采用作為下游開放詞匯檢測(cè)任務(wù)的Backbone。

具體來(lái)說(shuō)，F(xiàn)G-CLIP采用了一個(gè)兩階段檢測(cè)架構(gòu)F-VIT，并在訓(xùn)練中凍結(jié)了視覺編碼器。

從表格中可以看出，F(xiàn)G-CLIP在開放詞匯目標(biāo)檢測(cè)任務(wù)上表現(xiàn)更加突出，證明了經(jīng)過(guò)高質(zhì)量數(shù)據(jù)和優(yōu)化方法訓(xùn)練的模型能夠在更深層次的任務(wù)上取得優(yōu)越的性能。

圖文檢索/分類結(jié)果

為了全面評(píng)估圖像力度的任務(wù)，F(xiàn)G-CLIP對(duì)長(zhǎng)標(biāo)題和短標(biāo)題圖像文本檢索任務(wù)以及零樣本圖像分類任務(wù)進(jìn)行了實(shí)驗(yàn)。

如表所示，F(xiàn)G-CLIP在長(zhǎng)/短標(biāo)題圖像-文本檢索任務(wù)中都取得了顯著的性能提升。

與旨在提高細(xì)粒度識(shí)別能力的 Long-CLIP 和 FineCLIP 相比，F(xiàn)G-CLIP在圖像分類這種短文本-全圖問題上的準(zhǔn)確率方面具有明顯優(yōu)勢(shì)。該模型處理不同圖像描述長(zhǎng)度的能力突出了其在多模態(tài)匹配中的通用性和魯棒性。

實(shí)驗(yàn)效果-可視化對(duì)比

圖像細(xì)節(jié)差異效果對(duì)比

FG-CLIP針對(duì)文本輸入對(duì)圖像特征進(jìn)行了可視化。

圖中，暖色調(diào)（如黃色）表示相關(guān)性較高，而冷色調(diào)（如藍(lán)色）表示相關(guān)性較低。

首先是針對(duì)相同的輸入文本和圖像，對(duì)不同模型的ViT特征進(jìn)行比較，可以發(fā)現(xiàn)FG-CLIP在這種細(xì)粒度理解問題上表現(xiàn)更好。如圖中的第二行所示，當(dāng)輸入“Black nose”時(shí)，F(xiàn)G-CLIP可以對(duì)該小目標(biāo)實(shí)現(xiàn)準(zhǔn)確的識(shí)別。

在不同輸入文本下的可視化圖

FG-CLIP同樣將不同的輸入文本和相同圖片做相關(guān)性分析。

可以發(fā)現(xiàn)，對(duì)于圖像中的不同目標(biāo)，F(xiàn)G-CLIP都能給出準(zhǔn)確的位置理解，這表明了該模型具有穩(wěn)定的視覺定位和細(xì)粒度理解能力。

總結(jié)

FG-CLIP在細(xì)粒度視覺理解領(lǐng)域取得了突破性進(jìn)展。

該模型創(chuàng)新性地整合了前沿圖文對(duì)齊技術(shù)，并基于大規(guī)模精選數(shù)據(jù)集和難細(xì)粒度負(fù)樣本學(xué)習(xí)策略，實(shí)現(xiàn)了對(duì)圖像的多層次語(yǔ)義解析。

其獨(dú)特優(yōu)勢(shì)在于能同時(shí)把握全局語(yǔ)境和局部細(xì)節(jié)，精準(zhǔn)識(shí)別和區(qū)分細(xì)微特征差異。

大量實(shí)驗(yàn)結(jié)果表明，F(xiàn)G-CLIP在各類下游任務(wù)中均展現(xiàn)出優(yōu)異表現(xiàn)。

360人工智能研究院表示：

為推動(dòng)領(lǐng)域發(fā)展，研究團(tuán)隊(duì)決定將FG-CLIP相關(guān)的數(shù)據(jù)、代碼和預(yù)訓(xùn)練模型陸續(xù)進(jìn)行開源，相關(guān)內(nèi)容將在360人工智能研究院的主頁(yè)和GitHub發(fā)布。

未來(lái)研究團(tuán)隊(duì)的研究方向?qū)⒕劢褂谌诤细冗M(jìn)的多模態(tài)架構(gòu)，以及構(gòu)建更豐富多元的訓(xùn)練數(shù)據(jù)集，以進(jìn)一步拓展細(xì)粒度視覺理解的技術(shù)邊界。

360人工智能研究院主頁(yè)：https://research.#

Github：https://github.com/360CVGroup