GPT-4.5智商測試94,登上LLM競技場榜首!網(wǎng)友質(zhì)疑黑幕,實(shí)測結(jié)果驚人
GPT-4.5,口碑又意外反轉(zhuǎn)了?
經(jīng)過3千多輪比較,GPT-4.5在全部類別拿下第一,位居LLM競技場首位!
「不看智商看情商」的GPT-4.5,不是推理模型,此前的基準(zhǔn)測試中基本都是全班墊底,慘不忍睹。
結(jié)果一轉(zhuǎn)眼,它就在大模型競技場上登頂了??
剛剛,LLM Arena排行榜官宣:GPT-4.5 在所有類別中都位居榜首,在風(fēng)格控制、多輪對話方面獨(dú)占鰲頭,拿到了1411的總分。
在多輪對話、困難提示、編碼、數(shù)學(xué)、創(chuàng)意寫作、指令遵循、長查詢等領(lǐng)域都是第一!
這個(gè)結(jié)果,也太讓人意外了吧……
馬斯克立馬跳出來表示:GPT-4.5只是短暫的第一,并不會維持太久。
果然,馬斯克話音剛落不久,大模型競技場的TOP 1就成了Grok-3,總分1412,跟GPT-4.5的比分緊咬,差距極小。
但無論如何,曾經(jīng)登頂TOP 1的GPT-4.5,給人們留下了一串串的疑問:它不光情商高,讓人如沐春風(fēng),而且絕頂聰明,睥睨群雄,天下第一,吊打o1、Grok-3、Clauede等前輩???
主打一個(gè)「高情商」的GPT-4.5,純靠情商就能拿下編程、數(shù)學(xué)等領(lǐng)域第一嗎?
現(xiàn)在,已經(jīng)直接有網(wǎng)友開始質(zhì)疑:大模型競技場是不是有什么問題了。
甚至還有人猜測:LLM是不是已經(jīng)學(xué)會操縱LMArena了?
GPT-4.5智商結(jié)果公布:得分94排名第五
就在同時(shí),GPT-4.5的智商測試結(jié)果也公布了。
可以看到,GPT-4.5的線下測試智商為97,線上門薩測試智商為94。
總之,無論是線上還是線下智商測試,GPT-4.5的得分都沒有OpenAI的o1 Pro、o3 mini和o1-preview高。
這個(gè)結(jié)果,總算是合理了些。
而在眾多大模型中,線下智商測試得分最高的是OpenAI o1 pro,線上門薩智商測試得分最高的是OpenAI o1。
但要和人類比的話,GPT-4o可以說已經(jīng)和人類的智商齊平。
人類的平均智商,大概在90到110。愛因斯坦的智商約為160,而陶哲軒被認(rèn)為世界上智商最高的人,得分在225到230之間。
人類的智商被LLM超越,應(yīng)該也就是近在咫尺的事了。
然而也有很多人質(zhì)疑了:給LLM測智商,到底意義幾何呢?
原因在于,智商是一個(gè)和人類心智獨(dú)特性相關(guān)的度量,不可能與LLM相關(guān)。
網(wǎng)友實(shí)測驚喜:它很理解用戶意圖!
最近,奧特曼就曬出了自己和GPT-4.5對話的記錄。
他提問道:「奇點(diǎn)臨近,未知在哪一側(cè)」,你如何看待?
GPT-4.5意味深長地答道:我們已經(jīng)超越了奇點(diǎn)的事件視界,但只是剛剛越過。
我們已踏入奇點(diǎn)的引力范圍,但要理解它的后果,依然為時(shí)尚早。
顯然,奧特曼對于GPT-4.5的表現(xiàn)非常滿意。
而就在這些天的實(shí)測中,許多網(wǎng)友也發(fā)現(xiàn),GPT-4.5擁有一種超凡的自我意識,在理解用戶意圖上令人驚喜。
比如下面這個(gè)例子中,用戶就開了一個(gè)關(guān)于國際象棋的粗俗玩笑,GPT-4.5沒有任何困難地就接住了這個(gè)梗,并且給出了適宜的回答。
這位AI大V表示,自己對此印象太深刻了!因?yàn)镚PT-4.5在完全沒有經(jīng)過任何思考token的情況下,就抓住了這個(gè)微妙之處。
他感慨道:預(yù)訓(xùn)練并沒有過時(shí),只是在某些領(lǐng)域收益遞減了,但在其他領(lǐng)域卻得到了驚人的提升!
相比之下,對于這句讓LLM很難理解的人類粗俗玩笑,Claude Sonnet很顯然并沒有理解。
同樣,Grok 3也沒有g(shù)et到這句話的意思。
對此,不服氣的馬斯克還出現(xiàn)在了評論區(qū),貼上了Grok 3的回復(fù),力證它并沒有落后。
GPT-4.5并非文武雙全
仔細(xì)看競技場排名,目前在「語言」(language)選項(xiàng)上,UB排名第一的是Grok-3-Preview-02-24,得分1412,共3364次投票。
GPT-4.5-Preview的UB排名第二,得分1411,只在「風(fēng)格控制」(StyleCtrl)上排名第一,共3224次投票。
· UB排名:模型的排名上限,由統(tǒng)計(jì)上優(yōu)于目標(biāo)模型的數(shù)量加一確定。當(dāng)模型A的95%置信區(qū)間下限分?jǐn)?shù)高于模型B的上限分?jǐn)?shù)時(shí),認(rèn)為模型A在統(tǒng)計(jì)上優(yōu)于模型B。
· 風(fēng)格控制排名:考慮了響應(yīng)長度和Markdown使用等影響因素的模型排名,從而將模型性能與潛在的混淆因素分離。
「綜合」(Overall)選項(xiàng)上,Grok-3和GPT-4.5排名并列第一,后者在部分項(xiàng)目上有微弱優(yōu)勢。
在編程(coding)和數(shù)學(xué)(math)上,GPT-4.5的確和Grok-3并列第一。
按不同語言分類,Grok-3和GPT-4.5在英文、中文、德文等語言上并列第一。
此外DeepSeek-R1在中文上也是第一。
WebDev Arena是實(shí)時(shí)進(jìn)行的AI編程競賽,各個(gè)模型在「網(wǎng)頁開發(fā)」挑戰(zhàn)中直接對決,GPT-4.5壓根沒參賽!
而且OpenAI的模型表現(xiàn)并非佳,最好的o3-mini-high與Early-grok-3并列第4,落后與Claude 3.7 Sonnet、Claude 3.5 Sonnet以及DeepSeek-R1。
GPT-4.5新王登基?測試讓人大跌眼鏡
對于GPT-4.5,某研究者也發(fā)表了一篇博客,來對它詳細(xì)進(jìn)行了剖析。
GPT-4.5在社區(qū)中引發(fā)了褒貶不一的反應(yīng)。
盡管前期進(jìn)行了大肆炒作,該模型卻未能完全達(dá)到人們的高期望。
一些測試結(jié)果讓人大跌眼鏡。
Karpathy的測試表明,在五分之四的情況下,用戶更傾向于GPT-4o的回答。
盡管GPT-4.5被宣傳為更具創(chuàng)意和情商,但在實(shí)際的用戶體驗(yàn)中,這些優(yōu)勢并沒有充分體現(xiàn)出來。
甚至有用戶反饋,在創(chuàng)意寫作方面,GPT-4.5的表現(xiàn)不如之前的模型。
此外,高昂的使用成本也成為了推廣GPT-4.5的一大障礙。
與GPT-4o相比,GPT-4.5的API價(jià)格大幅上漲:輸入token價(jià)格從每百萬2.50美元漲到了75美元,輸出token價(jià)格從每百萬10美元漲到了150美元。
用戶對GPT-4.5的高價(jià)普遍表示難以接受,一些網(wǎng)友直言「只是為了感覺更有氛圍而花75美元」。
對于小型公司和獨(dú)立開發(fā)者來說,如此高昂的成本無疑是一個(gè)巨大的負(fù)擔(dān),影響了GPT-4.5的廣泛應(yīng)用。
GPT-4.5的高價(jià)格可能反映了背后的資源約束。
Altman表示,盡管公司希望同時(shí)推出GPT-4.5 Plus和Pro版本,但GPU資源已經(jīng)用盡,計(jì)劃在下周增加數(shù)萬個(gè)GPU,然后才能推廣到Plus用戶。
盡管GPT-4.5在某些方面取得了明顯的進(jìn)步,許多人期望的全面改進(jìn)卻并未實(shí)現(xiàn)。
由于其龐大的規(guī)模和復(fù)雜的架構(gòu),GPT-4.5的響應(yīng)速度更慢,降低了用戶體驗(yàn)。
Sam Altman對GPT-4.5的高調(diào)宣傳,抬高了人們的期望,他將其描述為第一個(gè)「真正讓人感受到AGI」的時(shí)刻。
如果現(xiàn)實(shí)未能達(dá)到預(yù)期,這種宣傳也會像回旋鏢一樣對他不利。
為什么現(xiàn)在發(fā)布GPT-4.5?
與GPT-4兩年前的盛大發(fā)布相比,GPT-4.5的發(fā)布出奇地低調(diào)簡約,令許多人感到意外。
Sam Altman沒有親自出席這次發(fā)布會,這引發(fā)了外界對OpenAI對GPT-4.5的重視程度和信心的疑問。
GPT-4.5的目標(biāo)受眾主要是廣大的普通用戶,借助AI完成撰寫郵件、總結(jié)文章等任務(wù)。
GPT-4.5是OpenAI從GPT-4o向GPT-5過渡的關(guān)鍵橋梁,成為了創(chuàng)意、溝通和解決實(shí)際問題的日?;锇椤?/span>
OpenAI明確表示,GPT-4.5并非旨在取代GPT-4o,這一表態(tài)進(jìn)一步增加了市場對GPT-4.5未來的不確定性。
對許多人來說,ChatGPT就是AI的代名詞,再加上OpenAI對AGI的大力炒作,提高了人們對新模型的期待。
GPT-4.5發(fā)布的原因可能是市場競爭加劇。
短時(shí)間內(nèi),越來越多更好的模型進(jìn)入市場。DeepSeek R1可以與GPT-4o相媲美,xAI的Grok 3看起來幾乎像人類,OpenAI面臨著巨大的壓力。
GPT-5預(yù)計(jì)在幾個(gè)月內(nèi)發(fā)布,首次在模型中結(jié)合推理和非推理組件,可以自主決定對查詢的反應(yīng)強(qiáng)度,即「推理擴(kuò)展」。
GPT-4.5是戰(zhàn)略性回應(yīng),目標(biāo)是留住付費(fèi)用戶,防止其在GPT-5發(fā)布前轉(zhuǎn)向競爭對手,保持OpenAI在市場中的領(lǐng)先地位。