LLaMA-Adapter，現(xiàn)在已經(jīng)完全解鎖了。

作為一個(gè)通用的多模態(tài)基礎(chǔ)模型，它集成了圖像、音頻、文本、視頻和3D點(diǎn)云等各種輸入，同時(shí)還能提供圖像、文本和檢測(cè)的輸出。

相比于之前已經(jīng)推出的LLaMA-Adapter，這次的升級(jí)版研究人員將它命名為L(zhǎng)LaMA-adapter V2。

論文：https://arxiv.org/abs/2304.15010

這是升級(jí)之后的多模態(tài)和雙語(yǔ)功能示意圖：

圖片

它是唯一可以結(jié)合多種模態(tài)的模型，例如，從3D點(diǎn)云和背景音頻生成真實(shí)的圖像。

而且，它還支持雙語(yǔ)功能，能接收和生成多種語(yǔ)言的文本。

它還能和LLaMA / ImageBind，F(xiàn)alcon，LangChain等模型整合。

在8個(gè)A100 GPU上，僅用15個(gè)小時(shí)就訓(xùn)練出了LLaMA-Adapter，僅僅引入了650M的參數(shù)。

圖片

真·多模態(tài)

接下來，讓我們體驗(yàn)下LLaMA-Adapte的魔力。

無(wú)論是文本、圖像、視頻、音頻還是3D點(diǎn)云，這些真實(shí)世界的輸入都可以通過它轉(zhuǎn)換為高質(zhì)量的文本。

輸入一個(gè)三角鋼琴的3D點(diǎn)云，它就會(huì)詳細(xì)描述出這個(gè)三維物體的細(xì)節(jié)。

顯然，英文的回答會(huì)比中文的回答詳細(xì)得多。

圖片

3D點(diǎn)云輸入令人非常印象深刻，因?yàn)樗峁┝吮日掌鼫?zhǔn)確的信息，并且可以集成到攝影測(cè)量應(yīng)用中。

輸入一段街道上車輛正在行駛的語(yǔ)音，問它當(dāng)事人會(huì)是什么心情，它就猜測(cè)出，現(xiàn)在當(dāng)事人可能比較憤怒和不滿。

輸入一段LOL的游戲視頻，它就能識(shí)別出游戲的名字，還能答出里面的人物。

輸入一張照片，它能告訴你這是京都的  Fushimi Inari Shrine  。

圖片

LLaMA-Adepter不僅僅是可以創(chuàng)建文本，還能夠生成檢測(cè)結(jié)果，這就為我們理解世界和與世界互動(dòng)帶來新的維度。

把檢測(cè)GPT-4的這幅圖輸給它，它也很順利地描述出了這幅圖的怪異之處在哪里。

從3D點(diǎn)云或音頻中，LlaMA-Adapter可以喚起一個(gè)生動(dòng)而令人驚嘆的視覺世界。它不僅僅是數(shù)據(jù)處理，它是從原始輸入 創(chuàng)造藝術(shù)。

輸入一陣海浪聲，它會(huì)給你生成對(duì)應(yīng)語(yǔ)音的圖片。

根據(jù)3D點(diǎn)云，它可以生成很生動(dòng)的圖片。

LLaMA-Adapter會(huì)模擬人類互動(dòng)，聽聲音、看視頻，還能生成文本，從而與世界建立更深層次的聯(lián)系，實(shí)現(xiàn)AI通信的飛躍。

輸入一個(gè)視頻，它就會(huì)告訴你，圖中人物正在做瑜伽。

更精彩的是，只要輸入3D點(diǎn)云和背景音頻，LLaMA-Adapter就可以重建現(xiàn)實(shí)世界的鏡像。這是一種沉浸式體驗(yàn)的突破！

LLaMA-Adapter由LangChainAI提供支持，不僅可以與人類通信，還可以釋放AI交互的無(wú)限潛力。

GitHub

LLaMA-Adapter，這是一種輕量級(jí)適配方法，用于微調(diào)指令遵循和多模態(tài)LLaMA模型。

下圖是LLaMA-Adapter和Alpaca的參數(shù)對(duì)比。

圖片

通過將適配器插入LLaMA的Transformer，研究者只引入了1.2M的可學(xué)習(xí)參數(shù)，并在1小時(shí)內(nèi)將LLaMA轉(zhuǎn)換為指令跟隨模型。

為了在早期階段穩(wěn)定訓(xùn)練，研究者提出了一種具有zero gating機(jī)制的新型Zero-init注意力機(jī)制，以自適應(yīng)地合并教學(xué)信號(hào)。

經(jīng)過微調(diào)后，LLaMA-Adapter可以生成高質(zhì)量的指令跟隨句子，可與完全微調(diào)的Alpaca和Alpaca-Lora相媲美。

圖片

此方法可以簡(jiǎn)單地?cái)U(kuò)展到多模態(tài)輸入指令。用于ScienceQA的圖像條件LLaMA-Adapter的推理框架如下，其他模態(tài)（如音頻和視頻）也共享該框架。

圖片

LLaMA-Adapter V2讓多模態(tài)和語(yǔ)言能力進(jìn)一步提升

1. 通過線性層的偏差調(diào)整來增強(qiáng)語(yǔ)言模型的性能。

2. 使用不相交參數(shù)進(jìn)行聯(lián)合訓(xùn)練來平衡視覺指令調(diào)整。

3. 使用視覺知識(shí)的早期融合增強(qiáng)文本和圖像的理解能力。

4. 通過與專家集成來提高了多模態(tài)的推理能力。

線性層的偏差調(diào)整

LLaMA-Adapter在凍結(jié)的LLaMA模型上采用可學(xué)習(xí)的適應(yīng)提示和零初始化注意機(jī)制，從而可以有效地整合新知識(shí)。

但是，參數(shù)更新受限于自適應(yīng)提示和門控因子，沒有修改LLMs的內(nèi)部參數(shù)，這限制了它進(jìn)行深度微調(diào)的能力。

鑒于此，研究人員提出了一種偏差調(diào)整策略，除了適應(yīng)提示和門控因素之外，進(jìn)一步將指令提示融合到LLaMa中。

具體來說，為了自適應(yīng)地處理指令跟隨數(shù)據(jù)的任務(wù)，研究人員首先解凍LLaMA 中的所有規(guī)范化層。

對(duì)于Transformer中的每個(gè)線性層，研究人員添加一個(gè)偏差和一個(gè)比例因子作為兩個(gè)可學(xué)習(xí)的參數(shù)。

研究人員將某個(gè)線性層的輸入和預(yù)訓(xùn)練權(quán)重分別表示為 x 和 W。在LLaMA-Adapter V2中，研究人員使用偏置 b 和尺度 s 修改線性層為

與零初始化注意力類似，研究人員分別用零和一初始化偏差和比例因子，以穩(wěn)定早期階段的訓(xùn)練過程。

通過結(jié)合偏置調(diào)整策略和高質(zhì)量指令數(shù)據(jù)，LLaMA-Adapter V2獲得了卓越的指令跟隨能力。

值得注意的是，新增參數(shù)的數(shù)量?jī)H占整個(gè)LLaMA的 0.04%（～5M），表明 LLaMA-Adapter V2仍然是一種參數(shù)高效的方法。

使用不相交參數(shù)進(jìn)行聯(lián)合訓(xùn)練

研究人員目標(biāo)是同時(shí)賦予LLaMA-Adapter V2生成長(zhǎng)語(yǔ)言響應(yīng)和多模態(tài)理解的能力。

下圖所示，研究人員提出了LLaMA-Adapter V2的聯(lián)合訓(xùn)練范例，以利用圖像文本字幕數(shù)據(jù)和純語(yǔ)言指令示例。

由于500K圖像文本對(duì)和50K指令數(shù)據(jù)之間的數(shù)據(jù)量差異，直接將它們組合起來進(jìn)行優(yōu)化會(huì)嚴(yán)重?fù)p害LLaMA-Adapter的指令跟隨能力。

因此，研究人員的聯(lián)合訓(xùn)練策略優(yōu)化了LLaMA-Adapter V2中不相交的參數(shù)組，分別用于圖像文本對(duì)齊和指令跟隨。

具體來說，只有視覺投影層和帶門控的早期零初始化注意力針對(duì)圖文字幕數(shù)據(jù)進(jìn)行訓(xùn)練，而后期適應(yīng)提示與零門控、未凍結(jié)范數(shù)、新添加的偏差和比例因子（或可選的低秩適應(yīng)）被用于從指令跟隨數(shù)據(jù)學(xué)習(xí)。

不相交的參數(shù)優(yōu)化很好地解決了圖文理解和指令跟隨之間的干擾問題，這有助于 LLaMA-Adapter V2的視覺指令跟隨能力。

圖片

視覺知識(shí)的早期融合

為了避免視覺和語(yǔ)言微調(diào)之間的干擾，研究人員提出了一種簡(jiǎn)單的早期融合策略，以防止輸入視覺提示和適應(yīng)提示之間的直接交互。

在LLaMA-Adapter中，輸入的視覺提示由具有可學(xué)習(xí)視覺投影層的凍結(jié)視覺編碼器順序編碼，然后在每個(gè)插入層添加到自適應(yīng)提示。

在LLaMA-Adapter V2中，研究人員將編碼的視覺標(biāo)記和自適應(yīng)提示注入不同的Transformer層，而不將它們?nèi)诤显谝黄?，如下圖所示。

對(duì)于數(shù)據(jù)集共享的自適應(yīng)提示，研究人員跟隨LLaMA-Adapter，將它們插入到最后L層（比如，L=30）。

對(duì)于輸入的視覺提示，研究人員直接將它們與單詞標(biāo)記連接起來，這是具有零初始化注意力的Transformer層，而不是將它們添加到自適應(yīng)提示中。

與提出的聯(lián)合訓(xùn)練一起，這種簡(jiǎn)單的視覺標(biāo)記早期融合策略可以有效地解決兩類微調(diào)目標(biāo)之間的沖突。

這樣就使得參數(shù)高效的LLaMA-Adapter V2具有良好的多模態(tài)推理能力。

圖片

與專家集成

最近的視覺指令模型，如MiniGPT4和LLaMA需要大規(guī)模的圖像文本訓(xùn)練來連接視覺模型和LLM。

相比之下，研究人員的LLaMA-Adapter V2對(duì)更小規(guī)模的常見圖像字幕數(shù)據(jù)進(jìn)行了微調(diào)，使其數(shù)據(jù)效率更高。

然而，研究人員的方法的圖像理解能力相對(duì)較弱，導(dǎo)致偶爾出現(xiàn)不準(zhǔn)確或無(wú)關(guān)的響應(yīng)。

研究人員建議集成字幕、OCR和搜索引擎等專家系統(tǒng)，以補(bǔ)充LLaMA-Adapter V2額外的視覺推理能力，而不是收集更多的圖像文本數(shù)據(jù)或采用更強(qiáng)大的多模態(tài)模塊。

如下圖所示，研究人員利用字幕、檢測(cè)和OCR等專家系統(tǒng)來增強(qiáng)LLaMA-Adapter V2的視覺指令跟隨能力。

小編親測(cè)

小編立馬上手試了一波，輸入這幅圖。

Prompt是，可以向我介紹一下這個(gè)電腦游戲嗎？

圖片

它就會(huì)在輸出中告訴你，這是“塞爾達(dá)傳說：曠野之息”，并為你詳細(xì)介紹游戲內(nèi)容。

圖片

針對(duì)雙語(yǔ)表現(xiàn)比較好的模型Bilingual (CN / EN) ImageBind-LLM，我們先測(cè)了一個(gè)比較簡(jiǎn)單的問題，找了一幅梵高的自畫像來給它看。

中文的回答內(nèi)容上沒有問題，但是表達(dá)上最后一句話似乎沒有說完就斷了，類似的情況在后面的測(cè)試?yán)镞€反復(fù)出現(xiàn)了。

圖片

英文的回復(fù)內(nèi)容和表達(dá)上都沒有問題。

圖片

但是如果問題稍微難一點(diǎn)，小編實(shí)測(cè)后發(fā)現(xiàn)，它的英文能力很強(qiáng)，但中文的理解力明顯就不是很行。

測(cè)狗狗幣的時(shí)候，它就鬧笑話了。

沒有看出圖片的精髓，還“指狗為貓”。

圖片

英文生產(chǎn)的答案明顯在表達(dá)上好一些，但是還是沒有識(shí)別出狗狗幣。

應(yīng)該是它識(shí)別的時(shí)候忽略了圖中最關(guān)鍵的那一圈文字信息。

圖片

在視頻的表現(xiàn)中我們找了一段Dota2 TI8的名局片段，用中文問它，他的回答就完全是不懂裝懂。

圖片

但是同樣的游戲錄像，用英文提問，回答得就比較令人滿意。

游戲識(shí)別對(duì)了，而且介紹的內(nèi)容也都很靠譜。

圖片

我們?cè)贉y(cè)了一下聲音，找了一首霉霉的歌放進(jìn)去。

圖片

他能識(shí)別出人聲聲音的音調(diào)，但是聽不出歌曲。

英文的回復(fù)直接猜了一個(gè)歌手，但是沒猜對(duì)。

圖片

網(wǎng)友反應(yīng)

前威斯康星大學(xué)教授第一時(shí)間發(fā)推說自己上手用LLaMA-Adapter微調(diào)了一個(gè)40B Falcon的模型。

圖片

在這條微博下面他回復(fù)了大家提出的相關(guān)問題，對(duì)LLaMA-Adapter的評(píng)價(jià)非常高。

他說如果不用LLaMA-Adapter微調(diào)7B的模型，至少需要8個(gè)A100GPU，自己用了LLaMA-Adapter只用了一塊GPU，門檻大大降低！

圖片

另外一位網(wǎng)友詢問和Lora/qlora/full相比，推理質(zhì)量如何，他回答說自己正在體驗(yàn)，進(jìn)一步的信息稍后帶來。

圖片

參考資料：

https://twitter.com/lupantech/status/1668387311011401728

https://zhuanlan.zhihu.com/p/626278423