Unified Reward Model for Multimodal Understanding and Generation

2025-03-07｜FDU, SII, Shanghai AI Lab, Shanghai Academy of Artificial Intelligence for Science|??75

??http://arxiv.org/abs/2503.05236v1???
???https://huggingface.co/papers/2503.05236???
???https://codegoat24.github.io/UnifiedReward/??

研究背景與意義

本文提出了一種名為UNIFIEDREWARD的統(tǒng)一獎(jiǎng)勵(lì)模型，旨在解決多模態(tài)理解和生成任務(wù)中的偏好對(duì)齊問(wèn)題?，F(xiàn)有模型通常針對(duì)特定任務(wù)設(shè)計(jì)，限制了其在不同視覺(jué)應(yīng)用中的適應(yīng)性。作者認(rèn)為，通過(guò)聯(lián)合學(xué)習(xí)多個(gè)視覺(jué)任務(wù)，可以產(chǎn)生協(xié)同效應(yīng)，增強(qiáng)圖像理解、視頻評(píng)估等任務(wù)的表現(xiàn)。

• 研究背景：近年來(lái)，人類(lèi)偏好對(duì)齊技術(shù)顯著推動(dòng)了多模態(tài)生成和理解的進(jìn)步。然而，大規(guī)模收集人類(lèi)反饋既耗時(shí)又耗費(fèi)資源。
• 研究意義：本研究通過(guò)構(gòu)建大規(guī)模的人類(lèi)偏好數(shù)據(jù)集，并開(kāi)發(fā)出首個(gè)能夠同時(shí)進(jìn)行成對(duì)排名和點(diǎn)評(píng)分的統(tǒng)一獎(jiǎng)勵(lì)模型，解決了現(xiàn)有模型的局限性，提升了跨域視覺(jué)任務(wù)的性能。

研究方法與創(chuàng)新

UNIFIEDREWARD的核心在于其獨(dú)特的訓(xùn)練流程和數(shù)據(jù)構(gòu)建方式。該模型基于一個(gè)涵蓋圖像和視頻生成/理解任務(wù)的大規(guī)模人類(lèi)偏好數(shù)據(jù)集進(jìn)行訓(xùn)練，隨后用于自動(dòng)構(gòu)建高質(zhì)量的偏好對(duì)數(shù)據(jù)。

• 技術(shù)創(chuàng)新：

a.大規(guī)模數(shù)據(jù)集：首次構(gòu)建了一個(gè)包含236K條記錄的數(shù)據(jù)集，覆蓋了圖像和視頻的理解與生成任務(wù)。

b.聯(lián)合學(xué)習(xí)框架：通過(guò)將視覺(jué)任務(wù)視為相互關(guān)聯(lián)的整體，實(shí)現(xiàn)了更高效的模型訓(xùn)練。

c.細(xì)粒度篩選機(jī)制：采用成對(duì)排名和點(diǎn)評(píng)分相結(jié)合的方法，確保了偏好數(shù)據(jù)的質(zhì)量。

• 優(yōu)勢(shì)對(duì)比：

a.相比于僅能處理單一任務(wù)的現(xiàn)有模型，UNIFIEDREWARD展示了更強(qiáng)的泛化能力和更高的效率。

b.實(shí)驗(yàn)結(jié)果顯示，在多種基準(zhǔn)測(cè)試中，該模型均取得了顯著優(yōu)于基線模型的成績(jī)。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為了驗(yàn)證UNIFIEDREWARD的有效性，研究人員進(jìn)行了廣泛的實(shí)驗(yàn)，包括圖像和視頻生成及理解任務(wù)。實(shí)驗(yàn)結(jié)果表明，聯(lián)合學(xué)習(xí)多個(gè)視覺(jué)任務(wù)不僅能緩解數(shù)據(jù)不足的問(wèn)題，還能顯著提高學(xué)習(xí)效果。

• 圖像生成：使用Pick-a-Pic數(shù)據(jù)集進(jìn)行偏好數(shù)據(jù)構(gòu)建，結(jié)果顯示，基于UNIFIEDREWARD的DPO方法在多個(gè)指標(biāo)上均優(yōu)于直接訓(xùn)練。
• 視頻生成：通過(guò)T2V-Turbo模型進(jìn)行對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)UNIFIEDREWARD在質(zhì)量、語(yǔ)義一致性等方面均有明顯提升。
• 多任務(wù)學(xué)習(xí)：實(shí)驗(yàn)還證明了聯(lián)合訓(xùn)練圖像和視頻理解任務(wù)可以帶來(lái)額外的性能增益，例如整體準(zhǔn)確率提高了5.3%，宏觀準(zhǔn)確率提高了8.3%。

結(jié)論與展望

綜上所述，UNIFIEDREWARD不僅為多模態(tài)理解和生成任務(wù)提供了一種全新的解決方案，而且通過(guò)聯(lián)合學(xué)習(xí)多個(gè)視覺(jué)任務(wù)，展現(xiàn)了強(qiáng)大的泛化能力和實(shí)際應(yīng)用潛力。未來(lái)的研究方向可能包括進(jìn)一步優(yōu)化模型架構(gòu)、探索更多類(lèi)型的視覺(jué)任務(wù)以及擴(kuò)展到其他領(lǐng)域如自然語(yǔ)言處理等。

• 總結(jié)貢獻(xiàn)：提出了首個(gè)統(tǒng)一獎(jiǎng)勵(lì)模型，解決了現(xiàn)有模型的局限性，顯著提升了跨域視覺(jué)任務(wù)的性能。
• 方法展望：建議繼續(xù)探索如何更好地整合不同類(lèi)型的任務(wù)，以實(shí)現(xiàn)更加通用和高效的獎(jiǎng)勵(lì)模型。

R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcing Learning

2025-03-07｜Alibaba Group|??9

??http://arxiv.org/abs/2503.05379v1???
???https://huggingface.co/papers/2503.05379???
???https://github.com/HumanMLLM/R1-Omni??

研究背景與意義

本研究聚焦于情感識(shí)別任務(wù)，特別是結(jié)合視覺(jué)和音頻信息的多模態(tài)大模型。當(dāng)前，強(qiáng)化學(xué)習(xí)（RL）在提升大模型性能方面展現(xiàn)出巨大潛力，尤其是通過(guò)可驗(yàn)證獎(jiǎng)勵(lì)機(jī)制（RLVR）。然而，現(xiàn)有的RLVR應(yīng)用主要集中在圖像-文本模態(tài)上，尚未探索視頻中更豐富的信息源，如動(dòng)態(tài)視覺(jué)內(nèi)容和音頻。

本文首次將RLVR應(yīng)用于視頻多模態(tài)大模型（Omni-model），旨在優(yōu)化其推理能力、情感識(shí)別準(zhǔn)確性和泛化能力。研究不僅顯著提升了模型在分布內(nèi)數(shù)據(jù)上的表現(xiàn)，還在分布外數(shù)據(jù)上展示了更強(qiáng)的魯棒性。此外，改進(jìn)后的推理能力使得不同模態(tài)（視覺(jué)和音頻）對(duì)情感識(shí)別的貢獻(xiàn)更加清晰，為多模態(tài)大模型的優(yōu)化提供了寶貴見(jiàn)解。

研究方法與創(chuàng)新

本研究采用了一種新穎的訓(xùn)練范式——強(qiáng)化學(xué)習(xí)與可驗(yàn)證獎(jiǎng)勵(lì)（RLVR），并結(jié)合了組相對(duì)策略優(yōu)化（GRPO）。RLVR簡(jiǎn)化了獎(jiǎng)勵(lì)機(jī)制，確保模型輸出與任務(wù)的正確性標(biāo)準(zhǔn)對(duì)齊，而GRPO則通過(guò)比較生成響應(yīng)的質(zhì)量來(lái)優(yōu)化策略，無(wú)需額外的批評(píng)模型。

具體而言，我們擴(kuò)展了RLVR的應(yīng)用范圍，從傳統(tǒng)的數(shù)學(xué)和編程領(lǐng)域轉(zhuǎn)向多模態(tài)情感識(shí)別。通過(guò)使用MAFW和DFEW數(shù)據(jù)集中的15,306個(gè)視頻樣本進(jìn)行訓(xùn)練，盡管這些數(shù)據(jù)集僅提供情感類(lèi)別標(biāo)注，但通過(guò)RLVR，我們成功增強(qiáng)了模型的推理、性能和泛化能力。

創(chuàng)新點(diǎn)：

1. 首次應(yīng)用：首次將RLVR應(yīng)用于視頻多模態(tài)大模型，特別是在情感識(shí)別任務(wù)中。
2. 增強(qiáng)推理能力：通過(guò)RLVR，模型能夠更清晰地理解視覺(jué)和音頻信息如何共同作用于情感識(shí)別。
3. 魯棒性提升：模型在分布外數(shù)據(jù)上的表現(xiàn)顯著優(yōu)于監(jiān)督微調(diào)（SFT）模型。
4. 結(jié)構(gòu)化輸出：引入了嚴(yán)格的格式獎(jiǎng)勵(lì)，確保模型生成的解釋符合預(yù)定義的HTML標(biāo)簽格式，便于后續(xù)分析和評(píng)估。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)分為冷啟動(dòng)階段和RLVR訓(xùn)練階段。冷啟動(dòng)階段使用EMER數(shù)據(jù)集中的580個(gè)視頻樣本進(jìn)行預(yù)訓(xùn)練，以賦予模型初步的推理能力。隨后，通過(guò)RLVR進(jìn)一步優(yōu)化模型。

實(shí)驗(yàn)結(jié)果：

1. 推理能力增強(qiáng)：R1-Omni在多個(gè)數(shù)據(jù)集上表現(xiàn)出更強(qiáng)的推理能力和更高的解釋一致性。
2. 理解能力提升：在MAFW和DFEW數(shù)據(jù)集上，R1-Omni的無(wú)權(quán)重平均召回率（UAR）和加權(quán)平均召回率（WAR）均顯著高于其他模型。
3. 泛化能力更強(qiáng)：在RAVDESS數(shù)據(jù)集（作為分布外測(cè)試集）上，R1-Omni同樣表現(xiàn)出色，UAR和WAR分別達(dá)到43.00%和44.69%，遠(yuǎn)超SFT模型的表現(xiàn)。

結(jié)論與展望

本研究表明，RLVR在多模態(tài)情感識(shí)別任務(wù)中具有顯著優(yōu)勢(shì)，不僅提升了模型的推理和理解能力，還增強(qiáng)了其在未見(jiàn)過(guò)的數(shù)據(jù)上的泛化能力。未來(lái)的研究方向包括：

1. 加強(qiáng)基礎(chǔ)模型能力：通過(guò)更大規(guī)模的預(yù)訓(xùn)練或更多樣化的數(shù)據(jù)集來(lái)進(jìn)一步提升基礎(chǔ)模型的性能。
2. 減少推理幻覺(jué)：開(kāi)發(fā)機(jī)制以檢測(cè)和減輕模型在推理過(guò)程中可能出現(xiàn)的幻覺(jué)現(xiàn)象。
3. 充分利用音頻線索：改進(jìn)模型對(duì)音頻特征（如語(yǔ)調(diào)和抑揚(yáng)頓挫）的提取和整合能力。
4. 深化情感智能：引導(dǎo)模型探索更深層次的心理活動(dòng)和情感驅(qū)動(dòng)因素，提升其捕捉復(fù)雜情感動(dòng)態(tài)的能力。

盡管R1-Omni取得了顯著進(jìn)展，但在字幕識(shí)別、推理幻覺(jué)和音頻利用等方面仍存在局限性，需要進(jìn)一步研究和改進(jìn)。

本文轉(zhuǎn)載自??AI研究前瞻??，作者：胡耀淇