編輯 | 伊風(fēng)、諾亞
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
Meta麾下“羊駝”一路狂奔在開源的大道上。
在過去的一年里，Llama系列可以說開辟了開源LLM的半壁江山。
嫌棄開源模型能力只有GPT-3.5，不夠用?
如今Llama 3發(fā)布，又是一石激起千層浪。粗看其基礎(chǔ)benchmark，足以讓國內(nèi)外一眾大模型公司瑟瑟發(fā)抖。借用一句業(yè)內(nèi)人士的話，“性能上來說感覺就是GPT-3.7的水平。一己之力急速拉高了開源水位”。
首先從數(shù)據(jù)層面看，Llama 3 在15T tokens上進(jìn)行了訓(xùn)練，踐行了又一次堪稱恐怖的大力出奇跡；再者從訓(xùn)練資源方面看，2.4萬卡集群訓(xùn)練的部署也足以展示Meta的志在必得。
Llama 3讓Meta重奪開源大模型的王位，且其性能無限接近甚至超過OpenAI GPT、Gemini和Claude等閉源大模型。
難怪Meta有底氣放言，就各自的參數(shù)數(shù)量而言，經(jīng)過兩個定制的24000 GPU集群訓(xùn)練的Llama 3 8B和Llama 3 70B是目前可用的性能最佳的生成式AI模型之一。
更加勁爆的是。扎克伯格在最新訪談中透露，Llama3的三個版本中，是80億參數(shù)、700億參數(shù)的模型開源了，而超過 4000 億個模型還在加緊訓(xùn)練的路上……
圖片
有網(wǎng)友在訪談下調(diào)侃道，難怪扎克伯格看起來如此“人性化”，肯定是偷偷運(yùn)行Llama 3了！
圖片
讓小扎都更加AGI的Llama 3，究竟為何能這么牛呢，不妨來一起看看其細(xì)節(jié)！
一、性能 PK，刺刀見紅：Llama3恐怖如斯
Meta力大磚飛確實(shí)有奇效！扎克伯格說，Llama3 80億的模型幾乎與此前發(fā)布的最大版本的Llama2（參數(shù)700億）一樣強(qiáng)大。
眾所周知，諸如MMLU（旨在衡量知識）、ARC（試圖衡量技能習(xí)得）和DROP（測試模型對文本片段的理解能力）等流行AI基準(zhǔn)測試的有效性和實(shí)用性尚存爭議。但無論好壞，它們?nèi)允茿I玩家評估其模型的少數(shù)標(biāo)準(zhǔn)化手段之一。
Llama 3 8B在至少九項基準(zhǔn)測試中超越了其他開源模型，如Mistral的Mistral 7B和Google的Gemma 7B：MMLU、ARC、DROP、GPQA（一組涉及生物、物理和化學(xué)的問題）、HumanEval（一項代碼生成測試）、GSM-8K（數(shù)學(xué)應(yīng)用題）、MATH（另一項數(shù)學(xué)基準(zhǔn)）、AGIEval（問題解決測試集）以及BIGbench Hard（常識推理評估）。
誠然，Mistral 7B和Gemma 7B并非處于最前沿（Mistral 7B于去年9月發(fā)布），并且在Meta引用的幾項基準(zhǔn)中，Llama 3 8B僅比二者高出幾個百分點(diǎn)。但Meta聲稱，參數(shù)數(shù)量更大的Llama 3 70B模型，可與包括Google Gemini系列最新款Gemini 1.5 Pro在內(nèi)的旗艦級生成式AI模型相媲美。
圖片
Instruct-tuned模型與Gemma、Mistral、Gemini Pro 1.5、Claude 3 Sonnet在MMLU、GSM-8k等benchmark上的對比如下：
圖片
Llama 3 70B在MMLU、HumanEval和GSM-8K三項測試中勝過Gemini 1.5 Pro。盡管它無法與Anthropic表現(xiàn)最為強(qiáng)勁的模型Claude 3 Opus匹敵，但在五個基準(zhǔn)（MMLU、GPQA、HumanEval、GSM-8K及MATH）上，Llama 3 70B的成績優(yōu)于Claude 3系列中第二弱的模型Claude 3 Sonnet。
為了測試Llama 3在標(biāo)準(zhǔn)基準(zhǔn)測試上的性能，Meta甚至特意開發(fā)了一個新的高質(zhì)量人類評估集。這個評估集包含1800個提示，涵蓋尋求建議、頭腦風(fēng)暴、角色扮演等12個關(guān)鍵用例。為了測試的公平，評估集不允許自己的建模團(tuán)隊訪問。結(jié)果是，70B的Llama 3Instruct-tuned模型在人類評測中勝過Claude Sonnet和GPT 3.5：
圖片
然而，鑒于測試集由Meta自身設(shè)計，顯然這些結(jié)果需要持保留態(tài)度看待。
從定性角度來說，Meta宣稱新Llama模型的用戶可以期待更高的“可控性”，即模型更愿意回答問題，并且在瑣事問題、涉及歷史和STEM（如工程與科學(xué)）領(lǐng)域的提問以及通用編碼建議方面表現(xiàn)出更高的準(zhǔn)確性。
二、Llama 3 技術(shù)細(xì)節(jié)，訓(xùn)練集是上代7倍大
在模型架構(gòu)方面，與Llama 2 基本一致，最關(guān)鍵的不同在于以下幾點(diǎn)：
1.Llama 3使用了一個128K Token 的詞匯表，而 Llama-2 的詞匯量為 32K。
2.訓(xùn)練數(shù)據(jù)使用了 15 萬億個 Token，而不是 Llama-2 的 2 萬億。
3.8 億參數(shù)的模型也使用了分組查詢注意力（GQA）（與 Llama 2 7b 則沒有）。
4.代碼數(shù)據(jù)是原來的 4 倍。
為了訓(xùn)練Llama 3，Meta在超過15Token的令牌上進(jìn)行了預(yù)訓(xùn)練。所使用的訓(xùn)練數(shù)據(jù)集是Llama 2所使用的七倍。
在Llama 3的開發(fā)過程中，Meta對scaling law有了一些新體會。這次訓(xùn)練以Chinchilla做指導(dǎo)，但是他們發(fā)現(xiàn)雖然對于一個8B模型來說，對應(yīng)的最優(yōu)訓(xùn)練量約200B個令牌，即使在訓(xùn)練了700億個Token后，模型性能仍在繼續(xù)提高。
這些龐大的數(shù)據(jù)源自何處？Meta并未透露具體來源，僅表示數(shù)據(jù)來自“公開可用資源”，其中包含的代碼量是Llama 2訓(xùn)練集的四倍，并且有5%的非英語數(shù)據(jù)（覆蓋約30種語言），旨在提升除英語外其他語言的表現(xiàn)（不過仍然有大佬吐槽Llama 3的中文表現(xiàn)一般）。Meta還表示使用了合成數(shù)據(jù)（即AI生成的數(shù)據(jù)）來創(chuàng)建長篇文檔供Llama 3模型訓(xùn)練，這一做法因可能帶來性能弊端而頗具爭議。
許多生成式AI供應(yīng)商視訓(xùn)練數(shù)據(jù)為競爭優(yōu)勢，因此對其保密。但訓(xùn)練數(shù)據(jù)詳情也是潛在的知識產(chǎn)權(quán)相關(guān)訴訟源頭，這也成為不愿透露過多信息的另一個原因。近期報道顯示，在與AI競爭對手保持同步的過程中，Meta曾不顧自家律師警告，使用受版權(quán)保護(hù)的電子書進(jìn)行AI訓(xùn)練。
那么，對于生成式AI模型常見的毒性與偏見問題，Llama 3同樣采取了措施。
Meta表示已開發(fā)新的數(shù)據(jù)過濾管道以提升模型訓(xùn)練數(shù)據(jù)質(zhì)量，并更新了其生成式AI安全套件Llama Guard和CybersecEval，旨在防止Llama 3模型及其他模型被濫用以及產(chǎn)生有毒的文本生成。該公司還發(fā)布了一款名為Code Shield的新工具，用于檢測生成式AI模型產(chǎn)生的可能引入安全漏洞的代碼。然而，過濾并非萬無一失。我們需要等待觀察Llama 3模型在實(shí)際應(yīng)用中的表現(xiàn)，包括學(xué)術(shù)界對其在替代基準(zhǔn)上的測試。
三、抽干閉源模型的護(hù)城河：4000億參數(shù)的“巨無霸”已經(jīng)在路上
Meta指出，Llama 3模型已經(jīng)可以下載。
Llama 3為Facebook、Instagram、WhatsApp、Messenger和網(wǎng)頁版Meta AI助手提供支持。不久，其將在包括AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM和Snowflake在內(nèi)的廣泛云平臺上以托管形式提供。
未來，針對AMD、AWS、Dell、Intel、Nvidia和Qualcomm硬件優(yōu)化的模型版本也將發(fā)布。
盡管Llama 3模型可能廣泛可用，但我們會將其描述為“開放”而非“開源”。這是因為，其Llama系列模型并非如其聲稱的那樣無附加條件。
它們既可用于研究也可用于商業(yè)應(yīng)用。然而，Meta禁止開發(fā)者使用Llama模型訓(xùn)練其他生成式模型，同時月活躍用戶超過7億的應(yīng)用開發(fā)者必須向Meta申請?zhí)厥庠S可，Meta將根據(jù)其判斷決定是否授予許可。
更強(qiáng)大的Llama模型已在籌備中。
Meta稱正在訓(xùn)練規(guī)模達(dá)4000億參數(shù)的Llama 3模型，這類模型能夠進(jìn)行多語言對話，處理更多類型的數(shù)據(jù)，理解圖像和其他模態(tài)信息，與文本一樣，這將使Llama 3系列與Hugging Face的Idefics2等開放發(fā)布版本保持一致。
“我們的近期目標(biāo)是讓Llama 3實(shí)現(xiàn)多語言和多模態(tài)，具備更長的上下文理解能力，并在諸如推理和編程等大型語言模型核心功能上繼續(xù)提升整體性能，”Meta在其博客文章中寫道?！拔磥磉€有許多值得期待的進(jìn)步?！?
隨著400B的“巨無霸”逐漸展露真容，大模型競技場的氛圍愈加焦灼。環(huán)視四周，我們可以發(fā)現(xiàn)，今天發(fā)布的Llama-3 70B，和Gemini 1.5 Pro，Cohere CMD R+，Claude Sonnet以及老版GPT-4差不多站在了同樣的分界線里。
谷歌曾直言，我們沒有護(hù)城河。OpenAI同樣如此。面對 Llama-3 70B的當(dāng)頭一擊，谷歌最先進(jìn)的模型Gemini1.5 Pro也要避其鋒芒。閉源模型的護(hù)城河每每挖深一點(diǎn)，似乎就會在猝不及防間被扎克伯格抽干一次。大模型的開源與閉源之爭短時間內(nèi)并不會有解，但Meta在開源立場上的堅持，卻讓這場曠日持久的Battle有了更多的可能性。
就像Yann LeCun在近期的演講中所提到的，我們不能讓少數(shù)幾個AI助手掌控全世界每個公民的全部數(shù)字生活。這位AI界的泰斗從始至終堅持開源主張，“我們需要的不是一個AI助手，而是像Llama 2、Mistral和Gemma這樣的基礎(chǔ)模型，任何人都可以對其進(jìn)行微調(diào)”，這樣我們才可以避免回音室，避免讓少數(shù)幾家AI平臺來控制人們的所見所思，真正獲得多樣化的信息來源。
四、 Llama 3開源，AI賽道玩家誰喜誰憂？
朱嘯虎在他的“中國現(xiàn)實(shí)主義AIGC故事”中談?wù)撨^一個非常現(xiàn)實(shí)的問題：即如果一家公司投入巨資去研發(fā)類似于GPT-4的大模型，而一旦其他組織開源了類似的技術(shù)，那么之前的投入可能會白費(fèi)。
現(xiàn)在開源的王Llama 3橫空出世，已經(jīng)無限逼近這個預(yù)言。對于場上閉源大模型的玩家來說，必須得做到比最強(qiáng)開源大模型領(lǐng)先，才能證明自己的價值。
而Llama 3這樣急速拉高開源模型水位線的做法，無疑是打在其他大模型企業(yè)腹地上一記又快又狠的重拳。
但對于AI應(yīng)用層的企業(yè)來說，“奶媽”Llama 3的表現(xiàn)著實(shí)讓人驚喜。獵豹CEO傅盛在凌晨兩點(diǎn)的視頻中提到，絕大多數(shù)的模型都是基于Llama重新訓(xùn)練或者進(jìn)行微調(diào)的，而最讓人驚喜的點(diǎn)就在于Llama 3沒有將目標(biāo)一味聚焦在“大”上，而是讓8B的小模型也跑出了強(qiáng)性能。
傅盛發(fā)布視頻截圖
小扎在訪談中提到無法讓人使用的AI與新技術(shù)的濫用一樣糟糕，因此“擁有一個優(yōu)秀且成為標(biāo)準(zhǔn)的開源人工智能，可能是緩解這種情況的最佳方法?！倍鳯lama 3的優(yōu)秀和強(qiáng)大，本身就是對“開源社區(qū)會越來越落后”論調(diào)的最強(qiáng)反擊。
AI技術(shù)想要服務(wù)于人類福祉，就需要更多人能伸手摘到這顆樹上的果實(shí)。Llama 3已經(jīng)來了，企業(yè)和研究機(jī)構(gòu)在強(qiáng)大底座上的二次開發(fā)和技術(shù)創(chuàng)新也就不遠(yuǎn)了。
參考鏈接：
1.https://www.youtube.com/watch?v=bc6uFV9CJGg
2.https://ai.meta.com/blog/meta-llama-3/?utm_source=twitter&utm_medium=organic_social&utm_cnotallow=video&utm_campaign=llama3
