ChatGPT實(shí)測(cè)全線碾壓Bard!谷歌潰敗,十年心血打水漂
OpenAI的ChatGPT火了以后,著實(shí)是讓生成式AI名聲大噪。
與此同時(shí),Google也不甘下風(fēng),也有個(gè)叫Bard的AI助手。
但這個(gè)Bard怎么說(shuō)呢,不太好用。
國(guó)外小哥Michael King使用了搭載GPT-3.5和GPT-4的ChatGPT與Google的Bard,并進(jìn)行了深度測(cè)評(píng)。
結(jié)果令人感到震驚。
King總結(jié)了兩種AI的優(yōu)點(diǎn)、不足和各自顯得奇怪的地方。
要知道,Google在Bard身上可是投了大手筆——整整研發(fā)了十年。然而最終的成果和這十年的投入相比,好像顯得有點(diǎn)不值當(dāng)。
先來(lái)道數(shù)學(xué)題
首先是邏輯和數(shù)學(xué)方面。
小哥給兩種AI提了一個(gè)相同的問題:
小明6歲那年,他的妹妹是他年齡的一半,同時(shí)他媽媽的年齡是他妹妹的10倍。今年小明60歲,那么他媽媽今年多少歲?
讀者朋友可以活動(dòng)一下腦筋,自己先來(lái)看看能不能很快算出來(lái)。
從AI的生成結(jié)果來(lái)看,Bard可算得不對(duì)。
整個(gè)分析過程出現(xiàn)了很匪夷所思的錯(cuò)誤,Bard連小明和他媽媽的年齡差都沒算出來(lái),就直接在60上加了個(gè)30。
而無(wú)論是GPT-3.5還是GPT-4,算出來(lái)的答案都是正確的。用媽媽30歲的年齡減去小明6歲的年齡,首先算出年齡差再在60歲上加一個(gè)24,得出媽媽今年84歲。
GPT-3.5:
GPT-4:
第一關(guān)Bard就沒過去。目前比分1:0,ChatGPT暫時(shí)領(lǐng)先。
說(shuō)唱歌曲創(chuàng)作PK
第二關(guān)是文學(xué)領(lǐng)域的挑戰(zhàn)。
小哥讓兩種AI都來(lái)寫一首有關(guān)泰坦尼克號(hào)、相對(duì)論、卡戴珊的說(shuō)唱歌曲,并且要用Eminem的唱法。
我們先來(lái)看看Bard的作品:
上下滑動(dòng)查看全部
我們甚至不用看每句歌詞的含義,大概讀一遍就能發(fā)現(xiàn),沒什么節(jié)奏和韻律可言。
每句話都非常長(zhǎng),不像是說(shuō)唱歌曲,倒像是一篇云里霧里的小作文。
再來(lái)看看GPT-3.5的杰作:
讀一遍就能發(fā)現(xiàn),每句長(zhǎng)短恰到好處,韻也押的不錯(cuò)。
甚至還有結(jié)合了三個(gè)主題的副歌部分,堪稱專業(yè)。熟悉姆爺唱法的朋友,還真能從里面找出姆爺?shù)哪欠N節(jié)奏感和風(fēng)格。
小哥表示GPT-3.5的作品還不錯(cuò),他認(rèn)為GPT-4能做得更好。
小編對(duì)英語(yǔ)說(shuō)唱了解的不多,但估計(jì)做測(cè)評(píng)的小哥是個(gè)說(shuō)唱發(fā)燒友。他認(rèn)為GPT-4的作品非常炸裂,ChatGPT是當(dāng)之無(wú)愧的AI屆說(shuō)唱之王。
其實(shí)朋友們倒也不用多懂說(shuō)唱,這三段詞放一起,想必就算是像我一樣的音樂盲,心里都有個(gè)高下比較。
目前比分2:0。
講講笑話看看呢?
小哥接下來(lái)又讓兩種AI講個(gè)有關(guān)NASA、壽司和特朗普的笑話。
Bard:
「NASA打算往火星寄一卷壽司,他們想看看壽司到了火星上還新不新鮮。這卷壽司被放在一個(gè)特殊的容器里,這樣就可以保持一個(gè)合適的溫度。同時(shí),NASA還往里放了一個(gè)計(jì)時(shí)器,這樣就能知道什么時(shí)候能吃這個(gè)壽司了。
這卷壽司終于降落在了火星上,而且還是新鮮的。NASA的科學(xué)家們都感到很驚奇。他們決定下一步把特朗普牛排也送到火星上去。
特朗普牛排被放在一個(gè)同樣的容器里,容器里也有一個(gè)計(jì)時(shí)器。
然而特朗普牛排在到了火星以后變得不新鮮了。NASA的科學(xué)家們感到非常失望,他們打算給特朗普本人發(fā)一封信,解釋一下發(fā)生了什么。
信里寫道:親愛的特朗普,我們送了一塊你的牛排到火星上去,但是不新鮮了。我們覺得原因可能是因?yàn)槟愕谋憩F(xiàn)問題。你老是在吹噓你有多厲害,老是侮辱別人。我們覺得這是你的牛排變質(zhì)的原因。為此造成的不便,我們很抱歉。」
咱也不知道是不是有些美式幽默沒get到,但看完是真不想笑。不過測(cè)評(píng)小哥也表示,確實(shí)沒懂。那小編就放心了,確實(shí)寫的不行。
GPT-3.5:
「NASA把一個(gè)壽司大廚送到了太空,打算給特朗普做一個(gè)特殊的壽司卷。當(dāng)大廚問特朗普他喜不喜歡的時(shí)候,特朗普說(shuō):還可以,但你能再多加點(diǎn)空間嗎?」
這里的中譯版本沒那味兒了,其實(shí)是用了一個(gè)space的雙關(guān)。原文如下:
測(cè)評(píng)小哥表示,還可以,但也就是還可以了。
GPT-4:
「為什么NASA要邀請(qǐng)?zhí)乩势蘸鸵粋€(gè)壽司大廚去參與他們的太空項(xiàng)目?因?yàn)镹ASA需要有人來(lái)應(yīng)付變化,并且確保任務(wù)不夾生!」
照例把原版放在這里:
小哥表示,這個(gè)也一般,但punchline還不錯(cuò)。
這一局ChatGPT的發(fā)揮也有些失常,給它算0.5分。
程序Debug?
這一局更專業(yè)了——給程序Debug。
小哥輸入了一段Python程序,讓兩種AI分別Debug。
Bard:
這Debug的可不咋樣,小哥戲謔地表示,Bard回學(xué)校重修去吧!
GPT-3.5:
GPT-3.5指出,如果輸入集是空的,那就會(huì)出現(xiàn)ZeroDivisionError,而為了避免這種錯(cuò)誤的出現(xiàn),可以在前面加一個(gè)檢查的步驟,如果輸入集是空的,那么就直接輸出0,而不顯示錯(cuò)誤。
小哥表示,完美地Debug。
GPT-4:
GPT-4指出了和GPT-3.5所指出一樣的錯(cuò)誤,并且提供了同樣的解決辦法。
這一局ChatGPT又贏了。
Bard?差太多了!
從測(cè)評(píng)的結(jié)果看,和ChatGPT相比,谷歌Bard的表現(xiàn)可謂是讓人失望至極。和GPT-3.5的能力都差的遠(yuǎn),更不用說(shuō)GPT-4了。
谷歌的未來(lái)顯然有賴于Bard的成功,但是Bard的發(fā)展顯然沒有跟上競(jìng)爭(zhēng)對(duì)手OpenAI的步伐。
從另一方面來(lái)說(shuō),微軟收購(gòu)了OpenAI的大量股份這一舉動(dòng)非常聰明。確保了其在AI未來(lái)十年發(fā)展的領(lǐng)導(dǎo)地位。
但是,如果谷歌不努力提升Bard的性能來(lái)和GPT一決高下,谷歌可能就會(huì)是那個(gè)慘遭淘汰的了。