Gemini2.5 Pro測試,代碼能力飆升,但多模態(tài)表格解析依舊不理想
國內(nèi)Qwen是汪峰,國外Google是汪峰,昨天Google更新,放出新模型Gemini 2.5 Pro,凌晨OpenAI更新GPT4-o,上新圖像生成功能,難受住了。
GPT4-o沒測,但是網(wǎng)上的效果也太好了吧,倒影啥的都太自然了吧。。
這篇主要測試Gemini2.5 Pro的能力,整體測試通過Google的AI Studio上測試,每天免費(fèi)50次,正常使用夠了,爽玩還是不夠的。
https://aistudio.google.com/
Gemini2.5 Pro在Benchmark上效果還是很好的,甚至在lmsys的對戰(zhàn)榜單上,現(xiàn)在是第一,當(dāng)然現(xiàn)在投票還不夠多。
先說一下整體的測試體驗(yàn):
- 文本效果很不錯(cuò),整體體驗(yàn)很絲滑,速度也很快;
- 代碼也很強(qiáng),貪吃蛇、彈球游戲、UI設(shè)計(jì)都很強(qiáng),堪比Claude;
- 但多模態(tài)理解的表格解析任務(wù)依然不理想;
- think的內(nèi)容英文為主,即使問題是中文-回答是中文,但think大部分是英文;
正式測試開始:
- 常規(guī)測試
將“I love Gemini 2.5 Pro”這句話的所有字母反過來寫
- 什么東西,我剛要開噴,發(fā)現(xiàn)它回答的確實(shí)沒有問題,僅修改字母,空格、數(shù)字和標(biāo)點(diǎn)符號不修改,我才意識(shí)到這題我出的有bug。
- 修改問法,“字母”換成“內(nèi)容”,是我想要的,也沒問題!
- 依舊弱智吧
- 生蠔煮熟了叫什么?
- 說明:沒問題,只要沒回答熟蠔,我是可以接受的!
- 用水來兌水,得到的是濃水還是稀水
- 說明:沒問題,是水,是水
- 依舊小紅,依舊老鷹
- 小紅有2個(gè)兄弟,3個(gè)姐妹,那么小紅的兄弟有幾個(gè)姐妹
未來的某天,李同學(xué)在實(shí)驗(yàn)室制作超導(dǎo)磁懸浮材料時(shí),意外發(fā)現(xiàn)實(shí)驗(yàn)室的老鼠在空中飛,分析發(fā)現(xiàn),是因?yàn)槔鲜蟛恍⌒某粤舜艖腋〔牧?。第二天,李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的蛇也在空中飛,分析發(fā)現(xiàn),是因?yàn)樯叱粤死鲜?。第三天,李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的老鷹也在空中飛,你認(rèn)為其原因是
- 說明:這題確實(shí)難,老鷹反正不會(huì)飛!
- 數(shù)學(xué)
- 2024年高考全國甲卷數(shù)學(xué)(理)試題
R1滿血測試題:在平面四邊形ABCD中,AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。將\triangle ACD沿AC翻折至\triangle ACP,其中P為動(dòng)點(diǎn)。 求二面角A - CP - B的余弦值的最小值。
- 說明:沒對。
- 大數(shù)計(jì)算:178939247893 * 299281748617等于多少?
- 說明:沒對,答案是53553251005627872913981。但側(cè)面有個(gè)code execution,開了之后會(huì)調(diào)用工具,可以計(jì)算對,所以大數(shù)計(jì)算,感覺還是要依賴工具。
倫理、數(shù)學(xué)、生物終極測試:有一天,一個(gè)女孩參加數(shù)學(xué)考試只得了 38 分。她心里對父親的懲罰充滿恐懼,于是偷偷把分?jǐn)?shù)改成了 88 分。她的父親看到試卷后,怒發(fā)沖冠,狠狠地給了她一巴掌,怒吼道:“你這 8 怎么一半是綠的一半是紅的,你以為我是傻子嗎?”女孩被打后,委屈地哭了起來,什么也沒說。過了一會(huì)兒,父親突然崩潰了。請問這位父親為什么過一會(huì)崩潰了?
- 說明:沒對,女兒紅綠色盲,并且不是親生。
- 代碼
- 貪吃蛇( 來自@洛小山,雖然本人不擅長,但是本人會(huì)抄 )
- 彈球( 來自@洛小山和@卡茲克,雖然本人不擅長,但是本人會(huì)抄 )
- 卡片:生成一個(gè)打工人時(shí)鐘的html頁面
- 多模態(tài)表格解析
- 中等表格
- 說明:上為原表,下為識(shí)別,表格結(jié)果有問題。
- 復(fù)雜表格
- 說明:上為原表,下為識(shí)別,表格結(jié)果有問題。
本文轉(zhuǎn)載自??NLP工作站??,作者:NLP工作站
