超越GPT-4o，Claude 3.5一夜封王！10倍編碼速度逆天，全網(wǎng)最全實(shí)測(cè)來(lái)了 精華
就在昨天，Anthropic深夜發(fā)布了下一代旗艦大模型Claude 3.5 Sonnet。
據(jù)稱，Claude 3.5 Sonnet不僅在評(píng)估中勝過(guò)GPT-4o，還保持了作為「中杯」的最優(yōu)性價(jià)比，超過(guò)了自家的Claude 3 Opus。
如今，Claude 3.5 Sonnet已經(jīng)面向全球開(kāi)啟免費(fèi)試用了。
在費(fèi)用上，Sonnet處理每百萬(wàn)輸入token僅需3美元，每百萬(wàn)輸出token僅為15美元。
對(duì)比之下，GPT-4o的每百萬(wàn)輸入token收費(fèi)5美元，每百萬(wàn)輸出token為15美元，在價(jià)格上可以說(shuō)是不相上下。正式對(duì)打時(shí)，各家可以說(shuō)是已經(jīng)都?jí)旱偷搅顺杀緝r(jià)。
前OpenAI對(duì)齊團(tuán)隊(duì)負(fù)責(zé)人Jan Leike表示，我喜歡Sonnet新模型。我經(jīng)常要求它向我解釋ML論文。雖然不一定全對(duì)，但可能比我略讀要好，而且速度也快得多。自動(dòng)對(duì)齊研究越來(lái)越近了......
有網(wǎng)友同樣表示，「我有一半的工作都可以由Claude 3.5 Sonnet來(lái)完成，我真是太興奮了」。
Anthropic的產(chǎn)品經(jīng)理Michael Gerstenhaber將新模型稱之為「世界上最智能的模型」。
他表示，「我們正處于這個(gè)行業(yè)寒武紀(jì)大爆發(fā)的開(kāi)端」。
今年晚些時(shí)候，Claude 3.5 Haiku和最強(qiáng)版Claude 3.5 Opus將會(huì)陸續(xù)推出。
模型廠商們是徹底卷起來(lái)了！
網(wǎng)友實(shí)測(cè)
Claude 3.5 Sonnet發(fā)布之后，在全網(wǎng)掀起軒然大波，網(wǎng)友們紛紛上手開(kāi)啟一波測(cè)試。
10倍編碼速度驚人
先來(lái)看看Claude 3.5 Sonnet寫代碼的速度有多可怕。
網(wǎng)友僅在一次對(duì)話中，就用threejs+cannonjs創(chuàng)建出一個(gè)3D太陽(yáng)系模型，包含了物體和碰撞效果。
另一個(gè)網(wǎng)友稱，使用Claude 3.5 Sonnet進(jìn)行編碼比GPT-4，或任何其他大型語(yǔ)言模型效率高10倍。全新的Artifacts功能，可以在聊天旁邊生成和運(yùn)行代碼，簡(jiǎn)直令人驚嘆。
沒(méi)有什么比使用Claude 3.5 Sonnet一次性編寫一個(gè)程序，來(lái)解密維吉尼亞密碼更棒的事了。
許多網(wǎng)友紛紛夸贊Claude 3.5 Sonnet速度快到起飛。
2分鐘一個(gè)小游戲
一位開(kāi)發(fā)者直接用了不到2分鐘，做出了一個(gè)戴著太陽(yáng)鏡的小狗吃骨頭的游戲。
另有人花了3分鐘的時(shí)間，做出了馬里奧克隆版，并且為角色提供了動(dòng)畫效果。
還有另一款「原創(chuàng)」游戲Color Cascade。
用2分鐘創(chuàng)建一個(gè)蛇梯棋游戲。
網(wǎng)友表示，「我可以通過(guò)新的Artifacts功能實(shí)時(shí)查看代碼并玩游戲。使用Claude的編碼體驗(yàn)比GPT-4和Gemini好10倍」。
這位網(wǎng)友用Sonnet做了一款乒乓球游戲。
不像ChatGPT，它沒(méi)有用到編碼解釋器。在這個(gè)過(guò)程中，我們可以制作文檔、筆記和其他內(nèi)容，其中一個(gè)選項(xiàng)的html/jss。
神經(jīng)網(wǎng)絡(luò)可視化
有人還去做了可視化深度學(xué)習(xí)，不過(guò)因?yàn)橄⑾拗?，不得不暫?！?/p>
下面是用動(dòng)畫效果解釋反向傳播的工作原理。
重建3D「模擬矩陣」
Claude 3.5 Sonnet是第一個(gè)能在首次嘗試中，重現(xiàn)電影《黑客》中「數(shù)據(jù)流」3D場(chǎng)景的模型。
而且，在制作恐怖游戲上，Claude 3.5 Sonnet設(shè)計(jì)的3D結(jié)構(gòu)比Opus更好。
SVG效果圖
Claude 3.5 Sonnet可以畫出獨(dú)角獸SVG圖。
它甚至可以生成芯片制造工藝流程示意圖。
「井字棋」游戲失敗
OpenAI研究科學(xué)家，德?lián)渲甘褂眯履Ｐ椭蟊硎荆?/p>
像GPT-4o（現(xiàn)在還有Claude 3.5 Sonnet）這樣的前沿模型，在某些方面可能達(dá)到了「聰明的高中生」的水平，但它們?cè)谙瘛妇制濉惯@樣的基本任務(wù)上無(wú)法完成。
人們?cè)Ｍ亩嗄B(tài)訓(xùn)練能夠有所幫助，但事實(shí)并非如此。
Artifacts改變交互
從上文也可以看出，這次更新的一大亮點(diǎn)，就是Claude 3.5引入的超強(qiáng)實(shí)時(shí)交互功能Artifacts了。
這一功能，可以說(shuō)是開(kāi)啟了交互式AI最有潛力的形式。
它標(biāo)志著Claude從對(duì)話式AI向協(xié)作工作環(huán)境的轉(zhuǎn)變。而在未來(lái)，Anthorpic的設(shè)想是，整個(gè)組織都能在共享空間中集中知識(shí)、文檔、工作，而Claude會(huì)隨時(shí)提供服務(wù)。
在沃頓商學(xué)院教授Ethan Mollick看來(lái)，Artifacts可以說(shuō)是一個(gè)簡(jiǎn)化版的代碼解釋器。
他上手創(chuàng)建的，是這樣一個(gè)螃蟹小游戲。
開(kāi)始的版本是這樣的，稍顯平淡。
教授直接問(wèn)，能不能讓游戲恐怖一點(diǎn)？然后氛圍感瞬間就上來(lái)了。
大家的直觀感受是，使用Claude和Artifacts，就像在IDE中工作一樣。
這位日本網(wǎng)友介紹說(shuō)，Artifacts簡(jiǎn)單來(lái)說(shuō)，就是一個(gè)顯示代碼預(yù)覽的功能。它很容易直觀地理解，可以用于多種目的。
-網(wǎng)站創(chuàng)建
-形狀
-圖形
-文檔
-簡(jiǎn)單游戲
它可以幫忙創(chuàng)建簡(jiǎn)單的網(wǎng)站。
只要跟它說(shuō)“制作一個(gè)計(jì)算器應(yīng)用程序”，一個(gè)使用React的計(jì)算器應(yīng)用程序預(yù)覽就完成了。
通過(guò)Artifacts，可以讓Sonnet使用HTML創(chuàng)建簡(jiǎn)單的幻燈片材料。
這位網(wǎng)友發(fā)現(xiàn)，這個(gè)過(guò)程中可以向Sonnet展示設(shè)計(jì)圖片，它們會(huì)把這些圖片用作參考。
Claude 3.5 Sonnet不僅編碼效率比GPT-4o或任何其他LLMs都高10倍，而且因?yàn)锳rtifacts功能可以在聊天的旁邊生成并運(yùn)行代碼，因而可以提供令人驚嘆的用戶體驗(yàn)。
比如讓它用React生成一個(gè)貪吃蛇的游戲。
隨后，我們還可以用自然語(yǔ)言對(duì)游戲進(jìn)行修改，比如做一個(gè)美觀的背景，或者讓蛇有一個(gè)化身。
因?yàn)榭梢砸贿厔?chuàng)建游戲，一邊立刻在右側(cè)窗口中玩這個(gè)游戲，Artifacts功能可以說(shuō)是徹底貫徹了從對(duì)話式人工智能轉(zhuǎn)向協(xié)同工作環(huán)境的想法。
總的來(lái)說(shuō)，Artifacts似乎是Claude長(zhǎng)遠(yuǎn)遠(yuǎn)景的一個(gè)信號(hào)。
長(zhǎng)期以來(lái)，Anthropic一直表示自己主要關(guān)注企業(yè)，并且計(jì)劃將Claude變成一種工具，讓企業(yè)「安全地」將他們的知識(shí)、文檔和正在進(jìn)行的工作集中在一個(gè)共享空間中。
聽(tīng)起來(lái)，這種概念更像是Notion或Slack，而不是ChatGPT。而在這種系統(tǒng)中，Anthropic的模型將處于整個(gè)系統(tǒng)的中心。
吊打GPT-4o，上一代2倍速
總的來(lái)說(shuō)，Claude 3.5 Sonnet在生成速度方面，實(shí)現(xiàn)了飛升，是上一代超大杯Claude 3 Opus的2倍。
而且，在視覺(jué)方面的表現(xiàn)，新模型全面超越了GPT-4o。OpenAI上個(gè)月剛發(fā)布的新模型，沒(méi)想到這么快被取而代之。
以下是官方博客中，做的一些基準(zhǔn)測(cè)試。
從圖中可以看出，Claude 3.5已經(jīng)在多數(shù)基準(zhǔn)中，領(lǐng)先GPT-4o、Gemini 1.5，以及Llama-400B的模型。
在代碼基準(zhǔn)中，Claude 3.5在零樣本情況下，取得了92%的成績(jī)。在數(shù)學(xué)上，零樣本+CoT加持Claude 3.5還是有些落后于GPT-4o。
在視覺(jué)基準(zhǔn)上，Claude 3.5 Sonnet在視覺(jué)問(wèn)答MMMU基準(zhǔn)上，略遜于GPT-4o。
不過(guò)，視覺(jué)數(shù)學(xué)推理、科學(xué)表格、圖表問(wèn)答、文件問(wèn)答上，都拿下了最高分。
Claude不僅能準(zhǔn)確識(shí)別、轉(zhuǎn)錄圖像中的文字內(nèi)容，還結(jié)合了強(qiáng)大的代碼生成能力，將多個(gè)模態(tài)真正集成在一起。
與眾不同的是，Claude 3.5 Sonnet并不像GPT-4o那樣集成了語(yǔ)音助手，或者能夠生成圖像，而且Anthropic暫時(shí)也沒(méi)有這一打算。
Anthropic聯(lián)創(chuàng)兼總裁Daniela Amodei在接受彭博獨(dú)家采訪中提到，「我們的目標(biāo)是使其成為所有企業(yè)業(yè)務(wù)的首選模型」。
她繼續(xù)稱，從研究的角度來(lái)看，我們能夠生成圖像輸出，但繪制一只「滑雪的貓」圖像并不是我們的企業(yè)客戶所要求的，所以我們并不優(yōu)先考慮這一點(diǎn)。
目前，制藥巨頭Pfizer已經(jīng)利用Claude模型，幫助發(fā)現(xiàn)新藥物。
未來(lái)，模型越智能，就越有能力支持這種非常高水平的智力工作。顯然，Anthropic正在努力為它想要瞄準(zhǔn)的企業(yè)公司進(jìn)一步差異化。
可以擴(kuò)展Claude交互方式的新功能Artifacts，便是一個(gè)新的嘗試。
Anthropic的改進(jìn)速度，簡(jiǎn)直令人驚嘆。
如今Anthropic的這一步，必將逼得其他競(jìng)爭(zhēng)對(duì)手跟上。
要知道，Claude不像Gemini或ChatGPT那樣受到更多關(guān)注，但它在比賽中卻非常受歡迎。
本文轉(zhuǎn)自 新智元 ，作者：新智元
