四個月的迭代，讓Gemini 1.5 Pro成為了全球最強的LLM（幾乎）。

谷歌I/O發(fā)布會上，劈柴宣布了Gemini 1.5 Pro一系列升級，包括支持更長上下文200k，超過35種語言。

與此同時，新成員Gemini 1.5 Flash推出，設計體積更小，運行更快，還支持100k上下文。

最近，Gemini 1.5 Pro最新版的技術報告新鮮出爐了。

論文地址：https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

報告顯示，升級后的模型Gemini 1.5 Pro，在所有關鍵基準測試中，都取得了顯著進展。

簡單來說，1.5 Pro的性能超越了「超大杯」1.0 Ultra，而1.5 Flash（最快的模型）性能則接近1.0 Ultra。

甚至，新的Gemini 1.5 Pro和Gemini 1.5 Flash在大多數(shù)文本和視覺測試中，其性能還優(yōu)于GPT-4 Turbo。

Jeff Dean發(fā)文稱，Gemini 1.5 Pro「數(shù)學定制版」在基準測試中，取得了破記錄91.1%成績。

而三年前的今天，SOTA僅為6.9%。

而且，數(shù)學專業(yè)版的 Gemini 1.5 Pro在數(shù)學基準上的成績，與人類專家的表現(xiàn)不相上下。

數(shù)學評測3年暴漲84.2%

對于這個「數(shù)學定制版」模型，團隊使用了多個由數(shù)學競賽衍生的基準測試評估Gemini的能力，包括MATH、AIME、Math Odyssey和團隊內部開發(fā)的測試HidemMath、IMO-Bench等。

結果發(fā)現(xiàn)，在所有測試中，Gemini 1.5 Pro「數(shù)學定制版」都明顯優(yōu)于Claude 3 Opus和GPT-4 Turbo，并且相比通用版本的1.5 Pro有顯著改進。

特別是MATH測試中取得了91.1%的突破性成績，而且不需要使用任何定理證明庫或者谷歌搜索等任何外部工具，這與人類專家的水平相當。

此外，在AIME測試集中，Gemini 1.5 Pro「數(shù)學定制版」能解決的問題數(shù)量是其他模型的4倍。

以下是兩道曾讓之前的模型束手無策的亞太數(shù)學奧林匹克競賽（APMO）題。

其中，上面的這個例子很有代表性，因為它是一道證明題，而不是計算題。

對此，Gemini給出的解法不僅直切要害，而且非?！钙痢?。

Gemini 1.5 Pro核心性能全面提升

文本評估

除了數(shù)學之外，升級后的1.5 Pro在推理、編碼、多模態(tài)多項基準測試中，取得了顯著的優(yōu)勢。

甚至就連主打輸出速度的1.5 Flash，在性能上也不輸1.0 Ultra。

尤其是，在MMLU通用語言理解基準測試中，Gemini 1.5 Pro在正常的5個樣本設置中得分為85.9%，在多數(shù)投票設置中得分為91.7%，超過了GPT-4 Turbo。

與2月出版技術報告對比來看，新升級1.5 Pro在代碼兩項基準中，有了非常明顯的提升，從71.9%上漲到84.1%（HumanEval），從77.7%上漲到82.6%（Natural2Code）。

在多語種基準測試中，新升級1.5 Pro的能力略微下降。

此外，5月報告中，將數(shù)學和推理能力分開評測，在數(shù)學基準上，新升級1.5 Pro有所下降，從91.7%下降到90.8%。

在推理測試中，MMLU上的性能從81.9%提升到85.9%。

2月版

針對函數(shù)調用，1.5 Pro在多項任務中，除了多項函數(shù)，都拿下了最高分。1.5 Flash在多項函數(shù)任務中，取得了領先優(yōu)勢。

在指令調優(yōu)上，1.5 Pro面對更長指令1326提示時，回應準確率最高。而406更短指令，1.0 Ultra的表現(xiàn)更優(yōu)秀。

涉及到更專業(yè)的知識問答時，1.5 Pro準確率幾乎與1.5 Flah持平，僅差0.6%，但都顯著優(yōu)于1.0 Pro和1.0 Ultra。

針對STEM上下文問答任務中，在Qasper數(shù)據(jù)集上，Gemini 1.0和1.5準確率提升，與此同時不準確率顯著下降。

再來看偏好結果，針對不同提示，與1.0 Pro比起來，1.5 Pro和1.5 Flash相對得分更高。

多模態(tài)評估

針對多模態(tài)性能，技術報告中涉及了眾多基準測試，包括多模態(tài)推理、圖表與文檔、自然圖像以及視頻理解四個方面，共15個圖像理解任務以及6個視頻理解任務。

總體來看，除了一項測試之外，1.5 Pro的表現(xiàn)均能超過或者與1.0 Ultra相當，且輕量的1.5 Flash在幾乎所有測試中都超過了1.0 Pro。

可以看到1.5 Pro在多模態(tài)推理的4個基準測試上都有所提高。

在公認較為困難的MMMU測試中，1.5 Pro實現(xiàn)了從47.9%到62.2%的提升，在研究生水平的Ai2D測試上甚至達到了94.4%，1.5 Flash也有91.7%的高分。

對于多模態(tài)大模型，圖表和文檔的理解比較有挑戰(zhàn)性，因為需要對圖像信息進行準確的解析和推理。

Gemini 1.5 Pro在ChartQA取得了87.2%的SOTA結果。

在TAT-DQA測試上，分數(shù)從1.0 Pro的9.9%升至37.8%，1.5 Flash相比1.0 Ultra也有將近10%的提高。

此外，團隊創(chuàng)建了BetterQA等9個互不相交的能力測試。結果顯示，相比上一代的1.0 Pro，1.5 Pro總體達到了20%以上的提升。

自然圖像理解方面的測試，重點關注模型的對物理世界的理解以及空間推理能力。

在專門的V*測試中，1.5 Pro和測試提出者所發(fā)表的模型SEAL幾乎表現(xiàn)相當。

在人類擅長而模型不擅長的Blink測試中，1.5 Pro實現(xiàn)了從45.1%（1.0 Pro）到61.4%的提升，F(xiàn)lash分數(shù)相近（56.5%），依舊高于1.0 Ultra（51.7%）。

除了「大海撈針」，團隊也為Gemini 1.5 Pro進行了其他視頻理解方面的基準測試，但提升不如前三個方面那樣顯著。

在VATEX英文和中文的兩個測試中，對比2月份發(fā)布的Gemini 1.5 Pro的技術報告，三個月訓練后的提升不超過2分。

在YouCook2測試中，1.5 Pro似乎始終不能達到1.0 Ultra的135.4分，而且相比2月技術報告中的134.2下降到了最新的106.5。

有趣的是，在OpenEQA的零樣本測試上，1.5 Flash得分63.1，甚至超過了1.5 Pro的57.9。技術報告中解釋，這是由于1.5 Pro拒絕回答某些問題造成的。

2月版

對比GPT-4、Claude 3優(yōu)勢明顯

接下來，再看看橫向對比，新升級的1.5 Pro與GPT-4、Claude模型相較下的性能如何。

模型診斷能力改進

如下展示的是，在2000個MRCR任務實例中，字符串相似度累積平均得分與上下文長度的函數(shù)關系。

在與GPT-4 Turbo和Claude 2.1進行比較時，研究人員發(fā)現(xiàn)分別在8K和20K個詞組之后，1.5 Pro和1.5 Flash的性能大大優(yōu)于這兩個模型。

隨著上下文長度的增加，1.5 Pro和1.5 Flash的性能下降幅度大大縮小，最高可達100萬個token。

在將小語種Kalamang翻譯成英語的量化結果如下所示。

新升級的1.5 Pro在喂了半本書，甚至全本書的數(shù)據(jù)之后，性能得到大幅提升，并優(yōu)于GPT-4 Turbo和Claude 3的表現(xiàn)。

而在將英語翻譯成Kalamang語言的量化結果中，1.5 Pro的勝率也是最高的。

低資源機器翻譯的長上下文擴展

再來看，在「低資源」機器翻譯中，模型的上下文學習擴展（Scaling）表現(xiàn)。

隨著樣本數(shù)量不斷增加，1.5 Pro的翻譯性能越來越好，大幅超越了GPT-4 Turbo。

長上下文文本QA

針對長文本的問答，1.5 Pro在710k上下文文中，表現(xiàn)顯著優(yōu)于GPT-4 Turbo。并且，超越了沒有上下文，以及在RAG加持下，支持4k上下文的1.5 Pro。

長上下文音頻

在音頻長上下文的測試中，每個模型的單詞錯誤率表現(xiàn)又如何？

可以看到，1.5 Pro僅有5.5%，而OpenAI的Whisper模型的錯誤率高達12.5%。

但與2月版的報告相比，1.5 Pro的音頻長下文單詞錯誤率還是有所下降。

2月版

長上下文視頻QA

針對1個小時的視頻問答任務，1.5 Pro在不同基準上準確率實現(xiàn)與3分鐘視頻任務準確率，基本持平一致。

再來看去年2月版的對比，1.5 Pro在1小時任務中的準確率有了很大提升，從最高0.643上漲到0.722。還有在3分鐘視頻QA任務中，從0.636上漲到0.727。

2月版

在1H-VideoQA測試中，團隊在時長1小時的視頻中每秒取1幀畫面，最終線性下采樣至16幀或150幀，分別輸入給GPT-4V與Gemini 1.5進行問答。

無論幀數(shù)多少，Gemini 1.5 Pro的表現(xiàn)均強于GPT-4V，其中在16幀測試的優(yōu)勢最為明顯（36.5% vs. 45.2%）。

在觀看整個視頻后進行回答時，Gemini 1.5 Pro從2月的64.3%提升至72.2%。

2月版

長上下文規(guī)劃

「推理」和「規(guī)劃」技能對解決問題都很重要，雖然LLM在推理上進展顯著，但規(guī)劃依舊很難。

這篇報告專門呈現(xiàn)了Gemini 1.5的規(guī)劃能力測試，涉及到移動積木、安排物流路線、室內導航、規(guī)劃日程和旅行路線等任務場景。

測試中，模型必須根據(jù)給定任務，一次性地快速生成解決方案，類似于人類的「頭腦風暴」過程。

總體上，Gemini 1.5 Pro在絕大多數(shù)情況下的表現(xiàn)優(yōu)于GPT 4 Turbo，不僅能在少樣本時較好進行規(guī)劃，還能更有效地利用額外的上下文信息。

更輕量的Gemini 1.5 Flash表現(xiàn)始終不敵Gemini 1.5 Pro，但在幾乎一半的情況下可以與GPT-4 Turbo的表現(xiàn)相當。

GPT-4 Turbo的在BlocksWorld中的零樣本表現(xiàn)接近于零，而Gemini 1.5 Pro和Flash分別達到了35%和26%。

Calendar Scheduling也是如此，GPT的1-shot準確率低于10%，而1.5 Pro達到33%。

隨著樣本數(shù)量逐漸增多，1.5 Pro的表現(xiàn)基本持續(xù)提升，但GPT-4 Turbo在樣本增加到一定程度時會出現(xiàn)下降趨勢，在Logistics中甚至持續(xù)下降。

比如Calendar Scheduling中，當樣本數(shù)量逐漸增加至80-shot時，GPT-4 Turbo和1.5 Flash只有38%的準確率，比Gemini 1.5 Pro低了32%。

之后增加至400-shot時，1.5 Pro達到了77%的準確率，GPT卻依舊徘徊在50%左右。

非結構化多模態(tài)數(shù)據(jù)分析任務

現(xiàn)實世界中的大多數(shù)數(shù)據(jù)，比如圖像和對話，仍然是非結構化的。

研究人員向LLM展示了一組1024張圖像，目的是將圖像中包含的信息提取到結構化數(shù)據(jù)表中。

圖17展示了從圖像中提取不同類型信息的準確性結果。

Gemini 1.5 Pro在所有屬性提取上的準確性提高了9%（絕對值）。同時，相較于GPT-4 Turbo，1.5 Pro提升了27%。

然而，在評估時，Claude 3 API無法分析超過20張圖像，因此Claude 3 Opus的結果被限制了。

此外，結果顯示，1.5 Pro在處理更多的圖像時會帶來持續(xù)更好的結果。這表明該模型可以有效利用額外和更長的上下文。

而對于GPT-4 Turbo來說，隨著提供的圖像增多，其準確性反而下降

更多細節(jié)參見最新技術報告。