小扎自曝砸重金訓(xùn)Llama 4，24萬塊GPU齊發(fā)力！預(yù)計(jì)2025年發(fā)布
Llama 3.1剛發(fā)布不久，Llama 4已完全投入訓(xùn)練中。
這幾天，小扎在二季度財(cái)報(bào)會(huì)上稱，Meta將用Llama 3的十倍計(jì)算量，訓(xùn)練下一代多模態(tài)Llama 4，預(yù)計(jì)在2025年發(fā)布。
圖片
這筆賬單，老黃又成為最大贏家
十倍計(jì)算量，是什么概念？
要知道，Llama 3是在兩個(gè)擁有24,000塊GPU集群完成訓(xùn)練。也就是說，Llama 4訓(xùn)練要用24萬塊GPU。
圖片
那么，Meta存貨還夠不夠？
還記得小扎曾在年初宣布，計(jì)劃到年底要部署35萬塊英偉達(dá)H100。
他還透露了更多的細(xì)節(jié)，Meta內(nèi)部將為訓(xùn)練LLM打造兩個(gè)單集群，一個(gè)配備22,000塊H100，另一個(gè)集群配備24,000塊。
圖片
有網(wǎng)友曾回顧了Llama模型迭代過程中，GPU的用量如何增長(zhǎng)的：
Llama 1：2048塊GPU
Llama 2：4096塊GPU
Llama 3.1：16384塊GPU
圖片
或斥資400億美金，小扎不愿為時(shí)已晚
可見，訓(xùn)練大模型是一項(xiàng)代價(jià)高昂的業(yè)務(wù)。
財(cái)報(bào)顯示，Meta第二季度在服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施上，資本支出增長(zhǎng)了近33%。
從去年同期64億美元，增至85億美元。
現(xiàn)在，預(yù)計(jì)年度支出將達(dá)到370億-400億美元，高于之前預(yù)估的350億-400億美元。
圖片
Information一份報(bào)告稱，OpenAI在訓(xùn)練模型上花費(fèi)了30億美元，另外還花費(fèi)了40億美元以折扣價(jià)從微軟那里租用服務(wù)器。
可見，訓(xùn)練大模型算力花費(fèi)，是多么地諷刺。
不過意義在于，Llama 3.1的開源將成為AI行業(yè)的一個(gè)重要轉(zhuǎn)折點(diǎn)，開源人工智能開始像Linux一樣成為行業(yè)標(biāo)準(zhǔn)。
Meta正在規(guī)劃未來幾年的計(jì)算集群和數(shù)據(jù)中心，以支持未來幾代AI模型。
小扎承認(rèn)，很難去預(yù)測(cè)未來AI技術(shù)的發(fā)展路徑，但基建不是速成的。
盡管存在不確定性，我愿意冒險(xiǎn)提前建立，也不愿意因準(zhǔn)備不足而落后于競(jìng)爭(zhēng)對(duì)手。
小扎這種先見之明，曾帶領(lǐng)公司在元宇宙浪潮中，堅(jiān)挺而出。
在2022年公司股價(jià)遭遇重創(chuàng)之際，小扎還是鋌而走險(xiǎn)，購買了大批H100。
當(dāng)年第三季度財(cái)報(bào)顯示，Meta資本支出高達(dá)320億-330億美元。
其中一部分大多流向數(shù)據(jù)中心、服務(wù)器和網(wǎng)絡(luò)基礎(chǔ)設(shè)施構(gòu)建，以及在元宇宙上的巨額投入。
在采訪中，小扎解釋道，「當(dāng)時(shí)Meta正大力發(fā)展短視頻工具Reels，因此需要更多的GPU來訓(xùn)模型」。
因?yàn)槟Ｐ屯评韺?duì)Meta來說，是至關(guān)重要的一件大事，需要為Facebook、Ins等自家應(yīng)用的用戶提供服務(wù)。
用小扎的原話來說就是：
我們所需的推理計(jì)算與訓(xùn)練的比率，可能遠(yuǎn)高于其他從事這一領(lǐng)域的公司，這是因?yàn)槲覀兯?wù)的社區(qū)用戶量非常龐大。
人手一個(gè)AI智能體
前段時(shí)間Meta AI科學(xué)家Thomas Scialom在一次博客采訪中，同樣提到了，6月份已經(jīng)開始訓(xùn)練的Llama 4。
他表示，新模型可能重點(diǎn)在智能體技術(shù)上，并且已經(jīng)在Toolformer等agent工具上進(jìn)行了一些研究。
圖片
小扎相信，AI智能體很快將成為在線企業(yè)的「標(biāo)配」。
「隨著時(shí)間的推移，我認(rèn)為，就像每個(gè)企業(yè)都有網(wǎng)站、社交媒體賬號(hào)和電子郵件地址一樣，未來每個(gè)企業(yè)也都會(huì)有一個(gè)AI智能體，讓客戶可以與之互動(dòng)」。
Meta的目標(biāo)是，讓使每個(gè)小企業(yè)，最終甚至每個(gè)大企業(yè)，都能輕松地將自身的內(nèi)容和產(chǎn)品整合到AI智能體中。
當(dāng)這項(xiàng)技術(shù)大規(guī)模投入到現(xiàn)實(shí)應(yīng)用中，這將大大加速我們的商業(yè)信息收入。
圖片
盡管投資者對(duì)Meta在AI和元宇宙上的高額支出提出批評(píng)，但小扎仍舊堅(jiān)持自己的戰(zhàn)略。
雖然在Meta最近幾個(gè)季度，虛擬現(xiàn)實(shí)似乎已經(jīng)退居次要地位，但扎克伯格確實(shí)提到，Quest 3的銷量超出了公司的預(yù)期。
二季度數(shù)顯示，這一領(lǐng)域的收入增長(zhǎng)22%至391億美元，利潤(rùn)增加73%至135億美元。
對(duì)于第三季度，Meta預(yù)計(jì)收入在385-410億美元之間。
消息人士表示，該公司將在9月份的Connect大會(huì)上宣布推出一款更便宜的耳機(jī)。
此外，AI助手Meta AI越來越受歡迎，小扎表示，它有望在年底前成為使用最廣泛的AI助手。
圖片
參考資料：
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
