近日，大模型系統(tǒng)組織發(fā)布旗下大模型競(jìng)技場(chǎng)全面測(cè)評(píng)結(jié)果，Llama3 70B成開源模型中性能最強(qiáng)的模型，而未發(fā)布的Llama3 400B著實(shí)令人期待！PyTorch創(chuàng)始人Soumith Chintala感嘆這幾乎是不可能完成的任務(wù)！以下是譯文：

Llama3-70B 已經(jīng)穩(wěn)居第五位。接下來還有 405B...

我還記得 2023 年三月 GPT-4 發(fā)布時(shí)，看起來幾乎不可能達(dá)到相同的性能。

從那時(shí)起，我看到Ahmad Al-Dahle和Meta AI的其他成員經(jīng)歷了一段混亂的崛起，專注于工作，每周工作 100 多個(gè)小時(shí)才取得了這些成果，得到了許多團(tuán)隊(duì)的支持，他們建立了 GPU 集群、優(yōu)化了 PyTorch、進(jìn)行了數(shù)據(jù)基礎(chǔ)設(shè)施、注釋，并且在這一切中迅速行動(dòng)，盡管存在大公司的開銷。

最棒的部分？我們已經(jīng)讓這種大模型這種魔法成為您可以輕松使用的開源工具！ 我覺得這簡(jiǎn)直不可思議！為我的Meta AI同事們能夠?qū)崿F(xiàn)這一點(diǎn)感到無比自豪。向著第一名前進(jìn)吧！

以下是大模型系統(tǒng)組織發(fā)布的大模型競(jìng)技場(chǎng)測(cè)評(píng)譯文：

激動(dòng)人心的更新——Llama-3的完整結(jié)果已經(jīng)發(fā)布，現(xiàn)在在Arena排行榜上進(jìn)入了前五??

我們獲得了穩(wěn)定的置信區(qū)間，有超過12,000票的支持。現(xiàn)在毫無疑問，Llama-3的70B版本是開源模型的新王者。其強(qiáng)大的8B變體也超越了許多更大規(guī)模的模型。這是一個(gè)令人難以置信的發(fā)布！

衷心祝賀Meta AI的Llama團(tuán)隊(duì)，對(duì)開放社區(qū)做出了如此寶貴的貢獻(xiàn)！迫不及待地期待看到400B版本的發(fā)布。

此外，在英語類別中，我們觀察到了更強(qiáng)的性能，Llama 3的排名躍升至約第一名，和GPT-4-Turbo旗鼓相當(dāng)！

它在人類偏好方面對(duì)抗頂級(jí)模型的表現(xiàn)一直很強(qiáng)（請(qǐng)參閱勝率矩陣）。它已經(jīng)針對(duì)具有大量指令數(shù)據(jù)的對(duì)話場(chǎng)景進(jìn)行了后訓(xùn)練優(yōu)化。

關(guān)于主題分布和一致性研究的更多分析仍在進(jìn)行中。我們也期待著Llama-3技術(shù)報(bào)告中的詳細(xì)內(nèi)容。

誰是大模型系統(tǒng)組織？

大模型系統(tǒng)組織（LMSYS Org）是由加州大學(xué)伯克利分校的學(xué)生和教師與加州大學(xué)圣地亞哥分校以及卡內(nèi)基梅隆大學(xué)合作成立的開放式研究組織。

大模型系統(tǒng)組織的目標(biāo)是通過共同開發(fā)開放模型、數(shù)據(jù)集、系統(tǒng)和評(píng)估工具，使大型模型對(duì)所有人都可訪問。我們的工作涵蓋了機(jī)器學(xué)習(xí)和系統(tǒng)方面的研究。我們訓(xùn)練大型語言模型并使其廣泛可用，同時(shí)還開發(fā)分布式系統(tǒng)以加速它們的訓(xùn)練和推理過程。

大模型系統(tǒng)組織成員包括學(xué)生Lianmin Zheng, Ying Sheng, Wei-Lin Chiang, Shiyi Cao, Tianle Li, Christopher Chou, Dacheng Li, Zhuohan Li, Zi Lin, Zhanghao Wu, Shuo Yang, Siyuan Zhuang, Yonghao Zhuang等，教師Joseph E. Gonzalez, Ion Stoica, Eric P. Xing, Hao Zhang等。

本文轉(zhuǎn)載自公眾號(hào)AIGC最前線   

原文鏈接：??https://mp.weixin.qq.com/s/A3BdprYfLdqml7-mjg6bTg??