劍橋、騰訊AI Lab等提出大語言模型PandaGPT：一個模型統(tǒng)一六種模態(tài)
來自劍橋、NAIST 和騰訊 AI Lab 的研究者近期發(fā)布了一項名為 PandaGPT 的研究成果，這是一種將大型語言模型與不同模態(tài)對齊、綁定以實現(xiàn)跨模態(tài)指令跟隨能力的技術(shù)。PandaGPT 可以完成諸如生成詳細(xì)的圖像描述、根據(jù)視頻編寫故事以及回答關(guān)于音頻的問題等復(fù)雜任務(wù)。它可以同時接收多模態(tài)輸入，并自然地組合它們的語義。
- 項目主頁: https://panda-gpt.github.io/
- 代碼: https://github.com/yxuansu/PandaGPT
- 論文: http://arxiv.org/abs/2305.16355
- 線上 Demo 展示: https://huggingface.co/spaces/GMFTBY/PandaGPT
為了實現(xiàn)圖像 & 視頻、文本、音頻、熱力圖、深度圖、IMU 讀數(shù)六種模態(tài)下的指令跟隨能力，PandaGPT 將 ImageBind 的多模態(tài)編碼器與 Vicuna 大型語言模型相結(jié)合（如上圖所示）。
為了使 ImageBind 的多模態(tài)編碼器和 Vicuna 的大型語言模型的特征空間對齊，PandaGPT 使用了組合 LLaVa 和 Mini-GPT4 發(fā)布的共 160k 基于圖像的語言指令跟隨數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。每個訓(xùn)練實例包括一張圖像和相應(yīng)一組多輪對話。
為了避免破壞 ImageBind 本身的多模態(tài)對齊性質(zhì)和減少訓(xùn)練成本，PandaGPT 只更新了以下模塊：
- 在 ImageBind 的編碼結(jié)果上新增一個線性投影矩陣，將 ImageBind 生成的表示轉(zhuǎn)換后插入到 Vicuna 的輸入序列中；
- 在 Vicuna 的注意力模塊上添加了額外的 LoRA 權(quán)重。兩者參數(shù)總數(shù)約占 Vicuna 參數(shù)的 0.4%。訓(xùn)練函數(shù)為傳統(tǒng)的語言建模目標(biāo)。值得注意的是，訓(xùn)練過程中僅對模型輸出對應(yīng)部分進(jìn)行權(quán)重更新，不對用戶輸入部分進(jìn)行計算。整個訓(xùn)練過程在 8×A100 (40G) GPUs 上完成訓(xùn)練需要約 7 小時。
值得強(qiáng)調(diào)的是，目前的 PandaGPT 版本只使用了對齊的圖像 - 文本數(shù)據(jù)進(jìn)行訓(xùn)練，但是繼承了 ImageBind 編碼器的六種模態(tài)理解能力（圖像 / 視頻、文本、音頻、深度度、熱量圖和 IMU）和它們之間的對齊屬性，從而具備在所有模態(tài)之間跨模態(tài)能力。
在實驗中，作者展示了 PandaGPT 對不同模態(tài)的理解能力，包括基于圖像 / 視頻的問答，基于圖像 / 視頻的創(chuàng)意寫作，基于視覺和聽覺信息的推理等等，下面是一些例子：
圖像：
音頻：
視頻：
與其他多模態(tài)語言模型相比，PandaGPT 最突出的特點是它能夠理解并將不同模態(tài)的信息自然地組合在一起。
視頻 + 音頻：
圖像 + 音頻：
總結(jié)
作者們也總結(jié)了目前 PandaGPT 的諸多問題以及未來的發(fā)展方向。盡管 PandaGPT 在處理多種模態(tài)及其組合方面具有驚人的能力，但仍有多種方法可以極大程度的提升 PandaGPT 的性能。
- PandaGPT 可以通過使用其他模態(tài)對齊數(shù)據(jù)來進(jìn)一步提升圖像以外模態(tài)的理解能力，例如利用 ASR 和 TTS 數(shù)據(jù)來進(jìn)行音頻 - 文本模態(tài)的模態(tài)理解和指令跟隨能力。
- 文本以外的其他模態(tài)僅僅使用了一個 embedding 向量進(jìn)行表示，導(dǎo)致語言模型無法理解文本之外模型的細(xì)粒度信息。更多關(guān)于細(xì)粒度特征提取的研究，如跨模態(tài)注意力機(jī)制，可能有助于提高性能。
- PandaGPT 目前僅允許將文本之外的模態(tài)信息用作輸入。未來該模型有潛力將整個 AIGC 統(tǒng)一到同一個模型之中，即一個模型同時完成圖像 & 視頻生成、語音合成、文本生成等任務(wù)。
- 需要新的基準(zhǔn)測試來評估多模態(tài)輸入的組合能力。
- PandaGPT 還可能表現(xiàn)出現(xiàn)有語言模型的一些常見缺陷，包括幻覺、毒性和刻板印象。
最后，作者們強(qiáng)調(diào)，PandaGPT 僅僅是一個研究原型，暫時還不足以直接應(yīng)用于生產(chǎn)環(huán)境。
