GPT-4o 到底有多強(qiáng)？模型圖文多模態(tài)能力評測結(jié)果全公開
5 月 14 日， OpenAI 發(fā)布了 GPT-4o ，支持文本、圖像、語音、視頻等多種形式的輸入，大幅提升了推理響應(yīng)的速度，在非英文任務(wù)上具有較大提升，并擁有比現(xiàn)有模型更強(qiáng)的視覺理解能力。我們第一時間對 GPT-4o 模型的圖像-文本多模態(tài)能力進(jìn)行了評測。
OpenAI 官方公布的視覺理解性能
基于多模態(tài)大模型開源評測工具 VLMEvalKit，我們在 Open VLM Leaderboard 中的十二個圖文多模態(tài)評測集上測試了 GPT-4o 的視覺能力。
GPT-4o (20240513) 與此前的 GPT-4v 版本在各個多模態(tài)測試集上的性能對比
在各個通用圖文多模態(tài)評測數(shù)據(jù)集 (MMBench, MME, SEEDBench, MMStar 等) 上，GPT-4o 相比上一版本的 GPT-4v 均有不同程度的提升。其中在更具挑戰(zhàn)性的 MMStar，中文測試集 CCBench，MMBench_CN 等上面的提升尤其顯著。
在基于GPT-4主觀打分的MMVet與LLaVABench上，GPT-4o 相比上一版本的 GPT-4v 有微小下降，目前猜測是由于 GPT-4 打分的隨機(jī)性所致。
在強(qiáng)推理的多模測試集 (MMMU, MathVista 等) 上，GPT-4o 相比上一版本的 GPT-4v 有一定提升，但比較微小。
在幻覺多模測試集 HallusionBench 上，GPT-4o 相比上一版本的 GPT-4v 有顯著提升。
總 結(jié)
- GPT-4o 的客觀性能相比 GPT-4v (0409) 有了更進(jìn)一步的提升，在所有測試集上的平均分提升約 3 分；
- GPT-4o 顯示了更強(qiáng)的感知能力與更少的幻覺；
- GPT-4o 的中文能力得到了較大的提高。
需要注意的是，由于 OpenAI 設(shè)置的規(guī)則，GPT-4o 在解答部分評測集中問題的時候，會出現(xiàn)拒答的現(xiàn)象。這一點導(dǎo)致 GPT-4o 的真實性能可能較我們報告的性能更強(qiáng)。
GPT-4o 的詳細(xì)評測結(jié)果已上線至Opencompass官網(wǎng)及Open-VLM-Leaderboard，歡迎大家訪問查看更詳細(xì)的評測數(shù)據(jù)！
Opencompass官網(wǎng)：
???https://opencompass.org.cn/??
Open-VLM-Leaderboard：
??https://huggingface.co/spaces/opencompass/open_vlm_leaderboard??
