GPT-4的視覺(jué)能力還沒(méi)全量放開測(cè)試，開源對(duì)手就隆重登場(chǎng)了。

浙大竺院的一位校友，與微軟研究院等機(jī)構(gòu)合作推出了新版多模態(tài)模型LLaVA。

LLaVA在11個(gè)測(cè)試數(shù)據(jù)集上都成為了SOTA，在GitHub上更是斬獲6k+星標(biāo)。

開發(fā)者提供的數(shù)據(jù)顯示，LLaVA的綜合能力已經(jīng)達(dá)到了GPT-4V水平的85%，在復(fù)雜推理任務(wù)上更是超過(guò)了96%。

讀驗(yàn)證碼、判斷狗的品種，甚至根據(jù)圖像生成網(wǎng)頁(yè)代碼……都難不倒LLaVA。

△??/Matt Shumer

資源方面，LLaVA的樣本量?jī)H為120萬(wàn)，在單臺(tái)8*A100的機(jī)器上，1天就能完成訓(xùn)練。

不過(guò)體驗(yàn)過(guò)的網(wǎng)友普遍表示，LLaVA離GPT-4V還存在一些差距。

那么LLaVA究竟表現(xiàn)如何，我們也實(shí)測(cè)了一番。

和GPT-4V有差距，但也能用

為了更加直觀地對(duì)比LLaVA和GPT-4V的表現(xiàn)，我們直接使用了微軟發(fā)布的GPT-4V說(shuō)明書中的案例。

首先來(lái)看最基本的人物識(shí)別。

這里GPT-4V說(shuō)明書中使用的prompt是描述這張圖，我們也如法炮制。

結(jié)果LLaVA不僅一個(gè)名字也沒(méi)提，還把人數(shù)也數(shù)錯(cuò)了，但也判斷出了這里面有足球運(yùn)動(dòng)員、演員和歌星。

于是我們繼續(xù)追問(wèn)LLaVA這些人的名字，結(jié)果它告訴我們信息量不足以判斷。

這輪GPT-4V略勝一籌，不過(guò)或許是因?yàn)橐幌掳藗€(gè)人太多了，于是我們又給LLaVA加試了一道簡(jiǎn)單些的題。

這次經(jīng)過(guò)一輪追問(wèn)，LLaVA成功認(rèn)出了圖片中的老馬和小扎，所以這輪我們算它過(guò)關(guān)。

那如果是專業(yè)的圖像呢？比如醫(yī)學(xué)影像。

GPT-4V的答案是肺部感染或炎癥，而LLaVA說(shuō)的是吸煙或慢阻肺引發(fā)的凋亡細(xì)胞和瘢痕組織。

不過(guò)兩個(gè)模型都沒(méi)有確定自己的結(jié)論，都提示需要進(jìn)一步檢查，不過(guò)LLaVA給出的“黑色部分組織有異?！笔钦_的。

除了這些真·圖像之外，文字識(shí)別也是多模態(tài)模型測(cè)試中的一項(xiàng)常見(jiàn)任務(wù)。

這張圖中，LLaVA成功識(shí)別了里面的英文，但下面的日文片假名無(wú)論如何也認(rèn)不出來(lái)。

除了上面這些正經(jīng)的內(nèi)容，LLaVA能不能解讀表情包呢？

這次，LLaVA正確識(shí)別了圖中的青蛙玩具和文字，而對(duì)表情包的解釋，對(duì)了一半。

這個(gè)表情包諷刺的是有一群人發(fā)現(xiàn)自己錯(cuò)過(guò)了計(jì)劃時(shí)間之后反而把預(yù)定事項(xiàng)推得更遲，LLaVA只說(shuō)出了前面一半。

總結(jié)下來(lái)就是，GPT-4V的識(shí)別技能，LLaVA基本上也都會(huì)，但又都差點(diǎn)意思。

換言之就是，雖然沒(méi)那么厲害，但也是能用的水平了。

那么，LLaVA是如何打造出來(lái)的呢？

由Vicuna和CLIP結(jié)合而成

LLaVA的訓(xùn)練一共分為兩個(gè)階段。

首先是將文本與圖像對(duì)齊的預(yù)訓(xùn)練過(guò)程，這一階段一共使用了60萬(wàn)對(duì)圖像-文本信息。

第二階段則是在對(duì)齊的基礎(chǔ)上使用視覺(jué)指令進(jìn)行調(diào)優(yōu)，讓LLaVA熟悉用戶可能問(wèn)到的各種問(wèn)題。

模型結(jié)構(gòu)方面，LLaVA的語(yǔ)言模型是羊駝家族的Vicuna，視覺(jué)模型則采用了OpenAI的CLIP，并以MLP作為模態(tài)連接器。

為了讓LLaVA能夠識(shí)別更多專業(yè)領(lǐng)域的內(nèi)容，研究團(tuán)隊(duì)在開發(fā)過(guò)程中還使用了ScienceQA數(shù)據(jù)集。

開發(fā)過(guò)程完畢之后，研究團(tuán)隊(duì)使用GPT-4對(duì)LLaVA的輸出內(nèi)容進(jìn)行評(píng)價(jià)。

利用COCO數(shù)據(jù)集中的內(nèi)容，開發(fā)者設(shè)計(jì)了三種類型的問(wèn)題，然后讓LLaVA輸出答案并交給GPT-4評(píng)分。

• 問(wèn)答式對(duì)話：將COCO數(shù)據(jù)集中的問(wèn)題改編成問(wèn)句進(jìn)行提問(wèn)
• 細(xì)節(jié)描述：要求LLaVA對(duì)圖像內(nèi)容提供更詳細(xì)具體的說(shuō)明
• 復(fù)雜推理：要求LLaVA在理解的基礎(chǔ)上推理出圖像中沒(méi)有直接顯含的信息（如：人物關(guān)系）

目前，LLaVA的代碼、模型和訓(xùn)練數(shù)據(jù)都已經(jīng)開源，有7B和13B兩個(gè)參數(shù)量的模型，均為全量微調(diào)，LoRA版本也將很快發(fā)布。

作者簡(jiǎn)介

LLaVA相關(guān)論文的第一作者是威斯康星大學(xué)麥迪遜分校的華人博士生Haotian Liu。

他還是一名浙大竺院校友，期間師從計(jì)算機(jī)學(xué)院金小剛教授和吳飛教授。

他的現(xiàn)任導(dǎo)師Yong Jae Lee則是相關(guān)論文的通訊作者。

此外，來(lái)自微軟研究院和哥倫比亞大學(xué)的學(xué)者也有參與LLaVA的相關(guān)工作。

項(xiàng)目主頁(yè)（內(nèi)含DEMO及GitHub、HuggingFace鏈接）：https://llava-vl.github.io/

論文地址：
[1]https://arxiv.org/abs/2304.08485
[2]https://arxiv.org/abs/2310.03744

—