新的最強(qiáng)開源多模態(tài)大模型來(lái)了！

阿里Qwen2大模型家族新添多模態(tài)模型Qwen2-VL，在圖像和長(zhǎng)視頻理解任務(wù)上雙雙取得了SOTA。

在具體的子類任務(wù)中，Qwen2-VL在大部分的指標(biāo)上都達(dá)到了最優(yōu)，甚至超過(guò) GPT-4o等閉源模型。

在多模態(tài)能力的加持下，Qwen2-VL可以實(shí)時(shí)讀取攝像頭或電腦屏幕，進(jìn)行文字形式的視頻對(duì)話。

甚至還能作為Agent與環(huán)境進(jìn)行交互，根據(jù)任務(wù)目標(biāo)自主操控手機(jī)等設(shè)備。

此次發(fā)布的Qwen2共有2B、7B、72B三個(gè)版本，其中2B和7B版本已可下載并免費(fèi)商用（Apache 2.0），72B則通過(guò)API提供。

目前開源代碼已集成到Hugging Face Transformers、vLLM等第三方框架中。

還有不少網(wǎng)友都在狂cue一些知名大模型推理平臺(tái)，如Groq、Ollama，希望能夠早日提供支持。

下面就來(lái)一睹Qwen2-VL的表現(xiàn)！

會(huì)操作機(jī)械臂的多模態(tài)大模型

利用強(qiáng)大的多模態(tài)能力，Qwen2-VL能夠操縱機(jī)械臂，進(jìn)行物體的拿取、放置等操作。

還可以化身?yè)淇伺仆婕?，根?jù)識(shí)別到的場(chǎng)上信息和提示詞描述進(jìn)行“24點(diǎn)”游戲的決策，并且取得了勝利。

還有開頭所展示的，Qwen2-VL可以根據(jù)識(shí)別到的屏幕內(nèi)容，結(jié)合用戶需求自行操作手機(jī)在網(wǎng)絡(luò)上進(jìn)行信息檢索。

當(dāng)然在這些體現(xiàn)工具調(diào)用和Agent交互能力的復(fù)雜任務(wù)背后，基礎(chǔ)能力也是不能落下。

比如圖像識(shí)別，在物體類的識(shí)別當(dāng)中，Qwen2-VL可以準(zhǔn)確地認(rèn)出花的品種。

另一類識(shí)別場(chǎng)景是文字，Qwen2-VL支持多種語(yǔ)言的文本提取。

甚至把16種語(yǔ)言混合到一張圖中，Qwen2-VL不僅能判斷各自的語(yǔ)種，也能一口氣提取出全部文本。

手寫字體和復(fù)雜的數(shù)學(xué)公式也能識(shí)別，并且上下標(biāo)這種微小細(xì)節(jié)處理得非常到位。

Qwen2-VL還支持多模態(tài)推理，代碼和數(shù)學(xué)（包括幾何）類問(wèn)題，只需要傳張圖片就能解決。

視頻方面，Qwen2-VL最長(zhǎng)可以對(duì)20分鐘以上的視頻進(jìn)行內(nèi)容分析，既支持總結(jié)也能對(duì)細(xì)節(jié)進(jìn)行提問(wèn)。

不過(guò)目前還只能分析畫面，暫不支持對(duì)聲音的處理。

同時(shí)也支持實(shí)時(shí)視頻文字對(duì)話，除了開頭展示的基于攝像頭的對(duì)話外，也可以讀取電腦屏幕，作為對(duì)話的內(nèi)容。

總之，在這些任務(wù)的背后，蘊(yùn)含著Qwen2-VL不凡的綜合實(shí)力。

多模態(tài)實(shí)力超GPT-4o

為了了解Qwen2-VL在各種任務(wù)上的綜合表現(xiàn)，千問(wèn)團(tuán)隊(duì)一共從從六個(gè)方面對(duì)其視覺(jué)能力進(jìn)行了評(píng)估。

具體包括了綜合類大學(xué)試題、數(shù)學(xué)試題、文檔表格理解、通用場(chǎng)景下的問(wèn)答、視頻理解以及Agent能力這六種類型。

整體來(lái)看，Qwen2-72B的大部分的指標(biāo)上都達(dá)到了最優(yōu)，甚至超過(guò)了GPT-4o和Claude3.5-Sonnet，特別是在文檔理解方面優(yōu)勢(shì)明顯。

另外在多語(yǔ)言測(cè)試中，MTVQA也在9種語(yǔ)言中的8種全面超越了GPT-4o、Claude3-Opus和Gemini Ultra這些先進(jìn)閉源模型，平均成績(jī)也是最高分。

7B版本同樣支持圖像、多圖、視頻的輸入，同時(shí)也達(dá)到了同等規(guī)模模型的SOTA水準(zhǔn)。

最小的2B版本則主要為移動(dòng)端設(shè)計(jì)，但麻雀雖小，卻具備完整圖像視頻多語(yǔ)言的理解能力，特別在視頻文檔和通用場(chǎng)景問(wèn)答相較同規(guī)模模型優(yōu)勢(shì)明顯。

整體上，Qwen2-VL延續(xù)了其上一代Qwen-VL中ViT加Qwen（2）的串聯(lián)結(jié)構(gòu)，在三個(gè)不同規(guī)模的模型上，Qwen2-VL都采用了600M規(guī)模大小的ViT，并且支持圖像和視頻統(tǒng)一輸入。

為了讓模型更清楚地感知視覺(jué)信息和理解視頻，Qwen2-VL新增了對(duì)原生動(dòng)態(tài)分辨率的全面支持。

與上一代模型相比，Qwen2-VL能夠處理任意分辨率的圖像輸入，不同大小圖片被轉(zhuǎn)換為動(dòng)態(tài)數(shù)量的tokens，最少只需要4個(gè)。

這種設(shè)計(jì)不僅確保了模型輸入與圖像原始信息之間的一致性，也模擬了人類視覺(jué)感知的自然方式，讓模型在圖像處理任務(wù)上更加靈活高效。

Qwen2-VL在架構(gòu)上的另一項(xiàng)創(chuàng)新，是多模態(tài)旋轉(zhuǎn)位置嵌入（M-ROPE）。

傳統(tǒng)的旋轉(zhuǎn)位置嵌入只能捕捉一維序列的位置信息，而M-ROPE通過(guò)將原始旋轉(zhuǎn)嵌入分解為代表時(shí)間、高度和寬度的三個(gè)部分。

這使得大規(guī)模語(yǔ)言模型能夠同時(shí)捕捉和整合一維文本序列、二維視覺(jué)圖像以及三維視頻的位置信息。

這一創(chuàng)新有助于提升模型的多模態(tài)處理和推理能力，能夠更好地理解和建模復(fù)雜的多模態(tài)數(shù)據(jù)。

DEMO：https://huggingface.co/spaces/Qwen/Qwen2-VL

項(xiàng)目主頁(yè)：https://qwenlm.github.io/blog/qwen2-vl/
GitHub：https://github.com/QwenLM/Qwen2-VL