被谷歌寄予厚望的復(fù)仇殺器Gemini，是否能夠如愿單挑ChatGPT？

最近幾天，外媒記者和網(wǎng)友們紛紛放出實(shí)測(cè)，比較了Gemini Pro加持的新Bard與GPT-3.5和GPT-4的各項(xiàng)性能。

先說結(jié)果——ChatGPT略勝一籌，但Gemini進(jìn)步巨大。

雖然宣傳手段有一些夸大的成分，但谷歌確實(shí)靠Gemini在LLM大戰(zhàn)中挽回了一些頹勢(shì)。

而且，現(xiàn)在雙方都還捂著殺手锏沒有放出來，真正的巔峰對(duì)決，恐怕要等Gemini Ultra或者集成了OpenAI神秘Q*技術(shù)的新模型出場(chǎng)后了。

超大杯還沒來，大杯臨時(shí)頂上

需要強(qiáng)調(diào)的是，此次出戰(zhàn)的選手Gemini Pro只是「二弟」，因?yàn)樘?hào)稱「在32個(gè)廣泛使用的學(xué)術(shù)基準(zhǔn)測(cè)試中擊敗GPT-4」的老大哥Gemini Ultra還未放出。

而且，由于目前只有純文本提示用上了Gemini Pro。

所以，Bard暫時(shí)還沒有得到加持的圖像理解能力，依然很拉跨……

來源：馬里蘭大學(xué)博士生Fuxiao Liu

頂級(jí)模型的內(nèi)卷

早在4月，就有許多人做過PaLM支持的Bard和GPT-4的pk，當(dāng)時(shí)的結(jié)果是GPT-4七局五勝，略勝Bard一籌。

這次對(duì)決中，也考慮進(jìn)了Bard在四月的結(jié)果，因此可以用來衡量幾個(gè)月來谷歌的進(jìn)步速度。

這些測(cè)試雖不夠全面，但也提供了一個(gè)很好的基準(zhǔn)，可以用來判斷這些AI聊天助手在普通用戶日常任務(wù)中的表現(xiàn)。

話不多說，現(xiàn)在開始！

代碼編程

既然谷歌這次大吹特吹了全新的AlphaCode 2，那我們首先就來看看它們的編程水平如何。

題目：Write a Python script that says "Hello World," then creates a random repeating string of characters endlessly.

編寫一個(gè)Python腳本，在其中輸入「Hello World」，然后不停地隨機(jī)創(chuàng)建一個(gè)重復(fù)字符串。

PaLM Bard的答案：

首先，初代的Bard非常簡(jiǎn)陋，并不能生成代碼。

不過，谷歌后來在6月的時(shí)候，給它加上了這個(gè)功能。（但并沒有針對(duì)這個(gè)題目進(jìn)行過測(cè)試）

Gemini Pro Bard的答案：

可以看到，新版Bard生成的代碼沒什么大問題，但需要在前面添加一個(gè)import string才能運(yùn)行。

好在，這個(gè)bug很容易解決。

然而，不知道是因?yàn)楹闷婢W(wǎng)友太多導(dǎo)致負(fù)荷超載，還是系統(tǒng)本身就不穩(wěn)定。

針對(duì)這道題，Bard在大部分時(shí)候都會(huì)先「沉默」30秒，然后返回錯(cuò)誤提示：「抱歉，出了點(diǎn)岔子，Bard目前還處在試驗(yàn)階段」。

GPT-3.5的答案：

GPT-4的答案：

相比之下，不管是GPT-3.5還是GPT-4 Turbo，都提供了非常簡(jiǎn)潔，而且可以直接跑通的代碼。

獲勝方：毫無疑問，這一輪是ChatGPT陣營(yíng)大獲全勝。

數(shù)學(xué)應(yīng)用

接下來，就是次次都能難倒一片大模型的數(shù)學(xué)題了。

題目：If Microsoft Windows 11 shipped on 3.5" floppy disks, how many floppy disks would it take?

如果使用3.5英寸軟盤來安裝Windows 11，需要多少?gòu)垼?/span>

PaLM Bard的答案：

可以看到，初代Bard給出了非常離譜的答案。

先不管Win11有沒有21個(gè)GB，就算有，15.11張軟盤也裝不下吧……

Gemini Pro Bard的答案：

到了新版Gemini Bard這里，3472這個(gè)結(jié)果顯然是把1GB當(dāng)成了1000MB去算的。

然而，即便是按照1000MB去算，計(jì)算直接得到的3472.2…也應(yīng)該進(jìn)一位變成3273。

畢竟，多出的那些數(shù)據(jù)，顯然是不能被「四舍五入」掉的。

GPT-3.5的答案：

GPT-3.5這邊也是類似，首先推測(cè)Win11安裝包的大小為「幾GB」，然后四舍五入到20GB。

最后，按照「1GB=1000MB」去算的答案，并且把多出的0.88…張盤也給舍掉了。

GPT-4的答案：

相比之下，只有GPT-4正確地使用了「1GB=1024MB」，并且將結(jié)果中的3555.5…進(jìn)了一位變成35556。

從結(jié)果來看，Gemini Pro加持的Bard和GPT-3.5半斤八兩，而GPT-4不僅邏輯清晰而且還在計(jì)算中利用「Analysis」保證了答案的正確性。

考慮到Gemini Pro在評(píng)測(cè)跑分上要比GPT-3.5高了不少，這個(gè)結(jié)果多少有些令人失望。

獲勝方：谷歌和OpenAI的免費(fèi)版模型可謂是「旗鼓相當(dāng)」，而付費(fèi)版的GPT-4則憑借著壓倒性的優(yōu)勢(shì)取勝。

老爹笑話

原創(chuàng)性方面的測(cè)試題目是：Write 5 original dad jokes。

寫5個(gè)原創(chuàng)的dad jokes。

Dad Jokes（老爹笑話）是一種中年男人愛講的笑話，簡(jiǎn)單幼稚、無聊、莫名奇妙，并且包含雙關(guān)的諧音梗，屬于無厘頭的冷笑話。無聊到女兒聽到時(shí)，常常會(huì)給老爸一個(gè)白眼。

不過下面的答案因?yàn)槭菑挠⑽姆g來的緣故，中文翻譯會(huì)丟失一些諧音梗的趣味性。

PaLM Bard的答案：

1. 我曾經(jīng)是一名銀行家，但我失去了興趣。

2. 我徹夜未眠，想看看太陽(yáng)去了哪里，但后來我恍然大悟。

3. 我看到一個(gè)酒鬼在吃葡萄。 我問他是否要喝它們，他說：「不，我只是去摘葡萄?！?/span>

4. 我曾經(jīng)為雞經(jīng)營(yíng)過約會(huì)服務(wù)，但我很難讓母雞們互相見面。

5. 我看到一只蝸牛背上背著一片生菜。 我問他在做什么，他說：「我正在努力搶占先機(jī)?！?/span>

Gemini Pro Bard的答案：

1.水牛的兒子去上大學(xué)，它會(huì)說什么？「野牛！」

1. 2.我以前對(duì)肥皂上癮，但我現(xiàn)在干凈了。

3.沒有眼睛的魚（Fish）叫什么？「噓（Fsh）！」

1. 4.我正在讀一本關(guān)于反重力的書，根本不可能把它放下！

5.你聽說過患有幽閉恐懼癥的宇航員嗎？「他只是需要一點(diǎn)空間?！?/span>

GPT-3.5的答案：

1. 為什么科學(xué)家不相信原子？因?yàn)樗鼈儤?gòu)成（虛構(gòu)）了一切！

2. 我只認(rèn)識(shí)25個(gè)字母。我不認(rèn)識(shí)y（你）。

3. 假意大利面應(yīng)該怎么叫？Impasta。

4. 稻草人為何獲獎(jiǎng)？因?yàn)樗谧约旱念I(lǐng)域里很出色！

5. 企鵝如何建造它的房子？Igloos起來！

GPT-4的答案：

1. 為什么科學(xué)家不相信原子？ 因?yàn)樗鼈儤?gòu)成（虛構(gòu)）了一切！

2. 我告訴我兒子我是以Thomas Edison的名字命名的。 他說：「但是爸爸，你叫布Biran?！刮一卮鹫f：「沒錯(cuò)，我是在Thomas Edison之后起名字的！」

3. 稻草人為什么獲獎(jiǎng)？因?yàn)樗谧约旱念I(lǐng)域表現(xiàn)出色！

4. 我正在讀書 一本關(guān)于反重力的書。根本不可能把它放下！

5. 你聽說過那個(gè)害怕負(fù)數(shù)的數(shù)學(xué)家嗎？他會(huì)不惜一切代價(jià)避免負(fù)數(shù)。

這個(gè)問題的精髓，就在于回答中的原創(chuàng)性。

但不管是Bard還是ChatGPT，給出答案幾乎都可以通過谷歌搜索找到，或者就是模型在原答案的基礎(chǔ)上，進(jìn)行了一些小的改寫。

而且，Bard和GPT-4有一個(gè)答案重了（關(guān)于反重力的書），GPT-3.5和GPT-4則有兩個(gè)笑話重復(fù)了（「科學(xué)家相信原子」和「稻草人獲獎(jiǎng)」）。

最有趣的答案來自GPT-4，它講的笑話里說，一個(gè)名叫Brian的孩子是以Thomas Edison命名的。谷歌沒有搜到相同的笑話，但是搜到一個(gè)類似的Thomas Jefferson的孩子名叫Brian的笑話。

獲勝方：這一輪可以視為平局。因?yàn)锳I們寫出的笑話幾乎都不是原創(chuàng)的……

事實(shí)檢索

問題：Who invented video games?

誰發(fā)明了電子游戲？

PaLM Bard的答案：

初代Bard答案中，「Ralph Baer的Brown Box和Magnavox Odyssey」的信息似乎是直接從維基百科中找到的。

Gemini Pro Bard的答案：

相比之下，新版Gemini Bard不僅簡(jiǎn)潔而準(zhǔn)確地指出了William Higinbotham早期的「Tennis for Two」的貢獻(xiàn)。

而且，還擴(kuò)展到對(duì)電子游戲早期發(fā)展做出重大貢獻(xiàn)的人，比如Nolan Bushnell、Ted Dabney和Al Alcorn，提供的人物信息也是準(zhǔn)確且相關(guān)的。

不過后面的回答不夠完美：它沒有提Steve Jobs和Steve Wozniak在Atari的工作，反而對(duì)他們創(chuàng)造Apple II進(jìn)行了一些不合邏輯的討論。

GPT-3.5的答案：

而GPT-3.5雖然提到「多年個(gè)人和公司都為該行業(yè)做出了貢獻(xiàn)」，卻沒有說出任何重要人物的名字。

GPT-4的答案：

GPT-4則表示，電子游戲的發(fā)明「不能歸因于某個(gè)人」，然后提到了Higinbotham、Bushnell，以及Steve Russell 1962年創(chuàng)作的《太空戰(zhàn)爭(zhēng)》。

獲勝方：在免費(fèi)版模型里，Bard的答案比GPT-3.5更好。但要說最佳答案，還得看付費(fèi)版的GPT-4。

創(chuàng)意寫作

問題：Write a two-paragraph creative story about Abraham Lincoln inventing basketball.

寫一篇關(guān)于亞伯拉罕·林肯發(fā)明籃球的兩個(gè)段落的創(chuàng)意故事。

PaLM Bard的答案：

初代Bard在寫作中，包含了一些令人回味的語句，比如「林肯對(duì)自己微笑，因?yàn)樗浀眯r(shí)候玩過那樣的游戲」。

Gemini Pro Bard的答案：

相比而言，Gemini Bard的寫作更見簡(jiǎn)潔和專注主題。

然而，兩個(gè)版本的Bard，都沒有按要求分成兩個(gè)段落。

GPT-3.5的答案：

GPT-3.5的表現(xiàn)頗有亮點(diǎn)，它是唯一一個(gè)將林肯想象成年輕人而不是坐在白宮里焦躁不安的總統(tǒng)形象的模型。

GPT-4的答案：

而GPT-4是唯一一個(gè)明確提及林肯摔跤手經(jīng)歷的模型，而不是泛泛地說他有運(yùn)動(dòng)能力。

更有趣的是，GPT-4的故事中，林肯是從白宮花園里的一群孩子那里，偷來了把球扔進(jìn)籃筐這個(gè)概念。

獲勝方：所有模型的寫作都有其獨(dú)特的魅力和令人回味的句子，算是一場(chǎng)平局。

辯論對(duì)話

題目：Write a 5-line debate between a fan of PowerPC Processors and a fan of Intel Processors, circa 2000.

寫一篇2000年左右PowerPC處理器愛好者和Intel處理器愛好者之間的5行辯論。

PaLM Bard的答案：

Gemini Pro Bard的答案：

可以看出，新版Gemini Bard對(duì)初代Bard的答案進(jìn)行了改進(jìn)，尤其是在技術(shù)術(shù)語的選擇上。

這些答案中包含AltiVec指令、RISC與CISC設(shè)計(jì)、MMX技術(shù)，放在2000年的Ars論壇討論中并不違和。

GPT-3.5的答案：

GPT-4的答案：

不過，ChatGPT顯然表現(xiàn)更優(yōu)。GPT-3.5的答案冗長(zhǎng)，但GPT-4中就簡(jiǎn)化為更短小精辟的論點(diǎn)。

二者的響應(yīng)中，都避免了令普通受眾感到艱澀的術(shù)語，更關(guān)注普遍的「功能與兼容性」論點(diǎn)。不足之處可能是對(duì)于對(duì)于技術(shù)受眾來說太泛泛。

獲勝方：ChatGPT成功地復(fù)刻了辯論雙方的觀點(diǎn)，而不是依賴于令人困惑的術(shù)語，因此ChatGPT獲勝。

ChatGPT更勝一籌，但差距在縮小

可以看到，在數(shù)學(xué)、摘要、事實(shí)查找和創(chuàng)意寫作等測(cè)試中，基于Gemini的新版Bard相較于8個(gè)月之前，都表現(xiàn)出了顯著的進(jìn)步。

雖然根據(jù)以上非常主觀的評(píng)測(cè)，ChatGPT依然占據(jù)上風(fēng)。

但與今年四月的情況相比，雙方的差距已經(jīng)縮小了很多。

最后，我們很期待看到，像Gemini Ultra或者可能融合了OpenAI神秘的Q*技術(shù)的新模型，將如何在不久的將來應(yīng)對(duì)這些任務(wù)。