Llama 3每秒輸出800個(gè)token逼宮openAI！下周奧特曼生日或放出GPT-5？ 精華
Llama 3誕生之后便艷壓群雄，開源界已無「?！鼓軘场?/p>
甚至，讓網(wǎng)友為OpenAI捏了一把汗！
現(xiàn)在的Llama 3-70B已經(jīng)一路攀升到大模型排行榜前列，僅次于GPT-4，打敗了Claude 3 Opus。
沒想到，70B都這么能打，400B簡直不敢想象。
英偉達(dá)高級(jí)科學(xué)家Jim Fan預(yù)言，「GPT-5一定會(huì)在Llama 3 400B發(fā)布之前出世」！
還有網(wǎng)友認(rèn)為，「我們現(xiàn)在有了一個(gè)頂級(jí)的開源競爭者，OpenAI的巨大優(yōu)勢已經(jīng)不復(fù)存在」。
從Llama 1，到Llama 2、代碼版Code Llama高調(diào)開源，顛覆了整個(gè)大模型圈，掀起新模型構(gòu)建狂瀾。
如今的Llama 3，對全世界意味著什么？
數(shù)十億美元新產(chǎn)業(yè)將涌現(xiàn)
Hugging Face創(chuàng)始人Clement Delangue稱，目前基于Llama 1和2構(gòu)建的開源模型已有30000多個(gè)。
目前，Llama 3是最強(qiáng)大的開源模型，肯定會(huì)對生態(tài)系統(tǒng)產(chǎn)生重大影響。
在一個(gè)總榜上，Llama 3超越了許多的開源、閉源模型。
發(fā)布不到一周，AI社區(qū)研究者們已經(jīng)瘋狂開啟了對Llama 3的測試、微調(diào)。
Reddit網(wǎng)友使用Llama 3 70B，非常輕易地制作了一個(gè)完美的「貪吃蛇」游戲，并且在蘋果測試中表現(xiàn)優(yōu)秀。
但最令人振奮的是，這個(gè)模型可以進(jìn)行微調(diào)。
它絕對會(huì)瘋狂發(fā)展。任何中小型公司都可以利用Llama 3 400B將生產(chǎn)力提升到空前水平。
還有人通過HF Chat使用葡萄牙語測試LLaMA 3，結(jié)果發(fā)現(xiàn)其超出預(yù)期，通過了推理測試。
僅用一張英偉達(dá)2070顯卡，開發(fā)者使用Llama 3 8B升級(jí)了本地離線AI。
竟發(fā)現(xiàn)，與這個(gè)AI助手AniyaAI的對話更有人情味兒了。
目前，一個(gè)全新的微調(diào)新模型dolphin-2.9-llama3-8b誕生了，已在Huggingface上發(fā)布。
還有網(wǎng)友在M1 MacBook上使用mlx框架，測試發(fā)現(xiàn)llama 3 8b的速度約為95 token/秒。
對于Meta來說，Llama 3不僅僅是一個(gè)研究項(xiàng)目。
它更是Meta將AI接入其龐大的應(yīng)用和服務(wù)生態(tài)系統(tǒng)戰(zhàn)略的關(guān)鍵部分。
小扎在最新采訪中透露，Llama 3停止訓(xùn)練后，仍在學(xué)習(xí)。Meta之所以停止訓(xùn)練，是因?yàn)樾枰狦PU來開始測試 Llama 4。
值得一提的是，Llama 3的貢獻(xiàn)者名單中也有小扎。
AI創(chuàng)業(yè)公司Abacus AI的首席執(zhí)行官表示：
「Llama 3 400B將徹底改變世界，成為一個(gè)巨大的加速器！你可以使用GPT 4-5級(jí)別的模型做非常強(qiáng)大的事情。
想象一下，將模型微調(diào)為AI醫(yī)生、AI經(jīng)理，或AI女友。未來，基于這個(gè)基礎(chǔ)模型，將會(huì)涌現(xiàn)價(jià)值數(shù)十億美元的初創(chuàng)公司」！
每秒輸出800個(gè)token，Llama3驚呆網(wǎng)友
另一邊，Groq也第一時(shí)間提供了對Llama3 8B和70B的支持。
網(wǎng)址：??https://console.groq.com/docs/models??
Groq Cloud提供的支持，可以讓大家在沒有GPU的情況下使用這兩個(gè)大模型。
這無疑是對硬件資源不足、難以運(yùn)行模型的微小企業(yè)與個(gè)人的巨大利好！
并且，Llama3在Groq上的表現(xiàn)也尤為驚艷：模型能以每秒超過800個(gè)token的速度運(yùn)行！?
而一直以來的大模型王者GPT-4和新晉之秀Claude 3 Opus，其生成速度也僅有每秒36 token和18 token!
這幾乎是革命性的飛躍！
Clamath與Groq的 CEO認(rèn)為：接下來，Groq將擁有比所有大型科技公司的總和還要多的AI生成能力！
800 token/每秒的速度，意味著大模型將更具成本效益，并能在更廣泛的范圍內(nèi)應(yīng)用、落地。
而Llama3媲美GPT-4級(jí)別的實(shí)力，打開了未來AI的無數(shù)種可能性。
網(wǎng)友們的親身體驗(yàn)更是力證了這一點(diǎn)！
首先是簡單的從1到500的計(jì)數(shù)：
GPT-4還在卡頓時(shí)，Groq上的Llama3剛一接收指令就已經(jīng)完成了任務(wù)。
當(dāng)Llama3已經(jīng)完成任務(wù)半天了，GPT-4連100以內(nèi)都沒計(jì)數(shù)完。
然后任務(wù)難度升級(jí)，要求模型用Python編寫貪吃蛇游戲：
Groq上的Llama3不到3秒就結(jié)束了戰(zhàn)斗，而GPT-4卻用了半分多鐘才搞定。
接著另一個(gè)程序員網(wǎng)友試著讓Llama3創(chuàng)建一個(gè)用PHP編寫的待辦事項(xiàng)列表。
指令剛發(fā)出就得到了結(jié)果，網(wǎng)友大為震撼，評價(jià)這次的使用體驗(yàn)：
「就像光速一樣。」
同時(shí)，在調(diào)用多個(gè)工具完成任務(wù)方面，Llama3的表現(xiàn)依舊驚艷！
調(diào)用工具所用時(shí)間小于4秒，面對復(fù)雜的財(cái)務(wù)問題，回答也僅用了2.9秒。
就連抓取整個(gè)網(wǎng)站提供給Llama3，它也可以在短短幾秒內(nèi)就完成響應(yīng)。
甚至Llama3的8B模型2秒就能讓完整的文件從λ-Calculus 轉(zhuǎn)換為慣用的JS......
體驗(yàn)過的網(wǎng)友直接驚呼：「這是什么魔法？」
最讓人震撼的是，Groq上的模型還都是免費(fèi)開放的，團(tuán)隊(duì)甚至沒有制作付費(fèi)選項(xiàng)！
在如此優(yōu)秀的性能和強(qiáng)大免費(fèi)的攻勢下，已經(jīng)有人宣布
「我不會(huì)再用GPT-4 Turbo了?！?/p>
與Groq上的Llama3的光速響應(yīng)相比，ChatGPT的緩慢已經(jīng)引起了大多數(shù)用戶的不滿。
有人制作了使用了Groq上的Llama3后，再切換到ChatGPT上的GPT-4體驗(yàn)的表情包：
更有網(wǎng)友銳評：
「就連Claude都比ChatGPT快！它的緩慢有時(shí)讓我昏昏欲睡。」
雖然有人厭倦了ChatGPT的緩慢，但也有人認(rèn)為GPT較慢的生成反而增加了內(nèi)容的可讀性，也更適合人機(jī)交互。
「快速獲取數(shù)據(jù)的確非常棒！
但較慢的生成有利于內(nèi)容的可讀性和對任務(wù)流程的理解，這對用戶體驗(yàn)來說更友好?！?/p>
此外，也有人認(rèn)為Llama3的回答準(zhǔn)確率不怎么高，不能只看速度不看質(zhì)量。
OpenAI優(yōu)勢將不復(fù)存在？
從Gemini到Claude 3接連叫板，再到類GPT-4級(jí)別的開源400B模型預(yù)告，GPT-4真的危了！
許多網(wǎng)友紛紛在線催更GPT-5。
據(jù)傳言，OpenAI有可能在22日（當(dāng)?shù)貢r(shí)間周一）有大動(dòng)作。
因?yàn)槟翘?，正好是奧特曼的生日。
與此同時(shí)，OpenAI官方賬號(hào)還發(fā)了一個(gè)有著數(shù)字「22」標(biāo)志的王座。
不過近來，奧特曼在采訪中曾表示，OpenAI有改進(jìn)模型的使命，所以我們會(huì)把所有初創(chuàng)公司干掉。
但在還沒有發(fā)布GPT-5之前，初創(chuàng)公司需要有危機(jī)感了。
本文轉(zhuǎn)自 新智元 ，作者：新智元
