Llama-4使用10萬塊GPU訓(xùn)練、更好開源，扎克伯格親口確認！ 精華
全球最大社交平臺Meta（Facebook、Instagram、WhatsApp等母公司）聯(lián)合創(chuàng)始人兼CEO扎克伯格接受了，前Vox著名記者Cleo Abram的專訪。
主要談到了Meta最新發(fā)布的變革性產(chǎn)品全息AR眼鏡，開源大模型、生成式AI的發(fā)展以及全球開發(fā)者非常關(guān)心的Llama-4。
扎克伯格親口確認了Llama-4使用了超過10萬個GPU進行訓(xùn)練。目前Meta公開的算力是60萬塊GPU，也就是說Llama-4已經(jīng)成為Meta的主力拳頭產(chǎn)品，使用更多的GPU訓(xùn)練有助于突破AI極限。
下面的內(nèi)容主要分為三大塊：第一部分是「AIGC開放社區(qū)」剪輯扎克伯格談Llama-4的部分；
第二部分則是完整的47分鐘專訪，我們只進行了簡單的大意概括，聽力好的小伙伴可以忽略直接看原視頻；
第三部分則是Meta最新開源的輕量級多模態(tài)大模型Llama-3.2，這是專門為手機、平板等移動端設(shè)計的模型，性能非常強。
扎克伯格談Llama-4
扎克伯格認為AI大模型的極限非常高，遠沒有達到盡頭。例如，Llama 3使用了2萬塊GPU進行訓(xùn)練；Llama 4使用了超10萬塊GPU，Llama 5則會使用更多。這就是說在如此多的GPU訓(xùn)練下，模型的性能和商業(yè)潛力會進一步被人類挖掘。
它可能會在某個時候達到了一個極限，就像以前的系統(tǒng)一樣存在一個漸近線，不會繼續(xù)增長。但也有可能這個極限不會很快到來，我們可以繼續(xù)構(gòu)建更多的算力集群，生成更多的合成數(shù)據(jù)來訓(xùn)練模型，并且在相當(dāng)長的一段時間內(nèi)它們對人們變得越來越有用。
所以，這對于大模型賽道的玩家來說非常非常重大且高風(fēng)險。因為我們需要對未來需要構(gòu)建多少基礎(chǔ)算力設(shè)施進行押注，這對于Meta這樣的超大規(guī)模企業(yè)會涉及數(shù)千億美元投資。
同時隨著這種大規(guī)模GPU訓(xùn)練的出現(xiàn)，模型的性能可能會發(fā)生實時性的變化，可能架構(gòu)會再一次發(fā)生根本性變化（例如，出現(xiàn)比Transformer、Mamba架構(gòu)更好），這個時間點可能很快會到來。
扎克伯格相信在大模型、生成式AI領(lǐng)域，未來20年的競爭格局可能會實時變化（例如，現(xiàn)如今的領(lǐng)頭羊是OpenAI，那時可能就是別人了）。
47分鐘完整專訪
在整個完整的采訪中，扎克伯格還談到了Meta最新發(fā)布的顛覆性產(chǎn)品全息AR眼鏡。這是Meta花費了 10 年研發(fā)，將所有計算設(shè)備小型化裝進眼鏡中，使其能在廣闊視野中呈現(xiàn)全全息圖。
這個眼鏡可以讓人們在未來進行類似真實在場的交流，比如我和你可能一個在物理位置，一個以全息圖形式交流，還能互動、工作、玩游戲等，會重塑工作、科學(xué)、教育、娛樂等多個領(lǐng)域。這只是第一個原型版本還會繼續(xù)改進，讓它更便宜、質(zhì)量更高、更小、更時尚，希望能做成像電腦一樣大眾能普遍接觸到的產(chǎn)品。
還有類似抬頭顯示器的產(chǎn)品，視野較小，在與人工智能對話等方面有價值；而全全息增強現(xiàn)實眼鏡會是最高端、較昂貴但有潛力普及的產(chǎn)品?；旌犀F(xiàn)實頭戴式設(shè)備也會繼續(xù)存在，因為它能容納更多計算能力。Meta的使命是讓技術(shù)普及，像推出價格較低但高質(zhì)量的 Quest 3S 等混合現(xiàn)實頭戴式設(shè)備。
扎克伯格在發(fā)布會介紹最新全息眼鏡
在 AI 方面，扎克伯格覺得有兩個重要價值：在增強現(xiàn)實和混合現(xiàn)實這邊，主要是帶來在場感，就是和另一個人真正在場的那種深刻感覺，這是目前其他技術(shù)給不了的，人們體驗虛擬或混合現(xiàn)實時的本能反應(yīng)其實就是對這種在場感的反應(yīng)。
Meta專注設(shè)計社交應(yīng)用 20 年，就是想建立能提供這種社交在場感的技術(shù)平臺。但實現(xiàn)全面的在場感還面臨一些挑戰(zhàn)，例如，觸覺方面，從手開始實現(xiàn)較為重要，現(xiàn)在用控制器有初步版本未來會更好，像打乒乓球演示中能感受球擊中球拍，但像柔道那種需要真實力反饋的運動在虛擬現(xiàn)實中實現(xiàn)較難。
還有很多因素會影響在場感，比如視野、延遲、物理表現(xiàn)等，任何一個環(huán)節(jié)出錯都可能破壞在場感，像人們對物理真實的接受度也有差異，例如，在化身方面，不同風(fēng)格的化身與不同類型世界的融合有有趣的效果，這需要在技術(shù)上全面且出色地實現(xiàn)，是長期項目，也能幫助我們了解人類大腦對真實的認知。
另一個大方向是個性化 AI，Llama 和 Meta AI 等都在朝這個方向發(fā)展。模型會越來越智能，但關(guān)鍵是為用戶個性化，這就需要它有背景，理解用戶生活中發(fā)生的事，而眼鏡是理想外形因素，因為它能看到用戶所見、聽到用戶所聽，獲取信息和背景。
在 AI 的使用場景方面，存在一個類似光譜的情況。一方面，像實時自動翻譯（如星際迷航中的通用翻譯器）等技術(shù)能消除人與人之間的交流障礙，雖然有人擔(dān)心這會讓人減少學(xué)習(xí)語言，但實際人們?nèi)詴W(xué)習(xí)拉丁語和希臘語等。
另一方面，在教育等領(lǐng)域，努力和掙扎本身有其意義，例如，孩子和成人在情感表達上的掙扎，AI 可作為幫助他們表達情感的方式，但這也引發(fā)了關(guān)于在哪些方面應(yīng)保留努力和掙扎以促進個人發(fā)展的思考，比如在編程和語言學(xué)習(xí)上，雖然未來有強大的AI工具，但教孩子編程有助于培養(yǎng)嚴謹思維，語言學(xué)習(xí)雖功能性可能降低但對思維和文化理解有幫助，人們需要根據(jù)未來變化選擇要重點學(xué)習(xí)的內(nèi)容。
AI 會加速社交媒體的變化，使其從以朋友互動為主轉(zhuǎn)向更多與創(chuàng)作者或非熟人內(nèi)容互動。AI 會為人們提供更多創(chuàng)作工具，朋友能制作更有趣的內(nèi)容，創(chuàng)作者能利用更先進工具制作更吸引人的內(nèi)容，還會有純 AI 生成的個性化內(nèi)容，以及 AI 創(chuàng)作者和創(chuàng)作者制作的 AI 版本自己與粉絲互動等新形式，這將是一個深度探索的領(lǐng)域，AI 會像互聯(lián)網(wǎng)一樣改變幾乎每個領(lǐng)域和應(yīng)用程序的每個功能，帶來大量創(chuàng)新和令人興奮的變化，但也引發(fā)了對變化速度和影響的擔(dān)憂。
關(guān)于大模型開源，扎克伯格認為開源意味著人們可以構(gòu)建很多不同的東西。一些公司希望打造一個通用的 AI 系統(tǒng)供人們使用，但我覺得未來會有很多不同的 AI 系統(tǒng)，就像有很多不同的應(yīng)用程序一樣，每個企業(yè)、創(chuàng)作者等都會有自己的 AI。
開源能讓每個人都可以修改模型并在其基礎(chǔ)上構(gòu)建東西，與閉源模型的集中式方法不同。在安全方面，有人認為封閉模型更安全，但歷史上開源軟件往往更安全，因為更多人可以審查，問題能更快被發(fā)現(xiàn)和解決，就像 Llama 模型不斷升級一樣，開源能讓模型更智能、更安全，為更多人所用，開源可能會帶來更繁榮和安全的未來。
開源多模態(tài)大模型Llama-3.2
Meta又開源了首個多模態(tài)大模型Llama-3.2，這是Llama-3系列的一次重大升級，一共有4個版本。
1B和3B參數(shù)專為邊緣和移動設(shè)備設(shè)計，而較大的11B和90B參數(shù)模型為 Llama 生態(tài)系統(tǒng)帶來了新的視覺能力。
1B 和 3B支持 12K 令牌的上下文長度，擅長總結(jié)、指令遵循和文本重寫等任務(wù)，并且能在移動設(shè)備上本地運行。更重要的是，這些輕量級模型發(fā)布時便對高通和聯(lián)發(fā)科的硬件進行了適配，并針對 Arm 處理器進行了優(yōu)化，廣泛的兼容性將加速其在各種移動和物聯(lián)網(wǎng)設(shè)備中的應(yīng)用。
11B和90B視覺模型是 Llama首次發(fā)布的多模態(tài)大模型，能理解和推理圖像，實現(xiàn)文檔分析、圖像字幕和視覺問答等任務(wù)。Meta 報告其性能在圖像識別和視覺理解基準測試中與領(lǐng)先的閉源模型具有競爭力。新的視覺模型可作為現(xiàn)有純文本模型的直接替代品，方便開發(fā)者為現(xiàn)有基于 Llama 的應(yīng)用添加圖像理解功能。
除了新開源的模型，Meta 還推出了 Llama Stack Distribution 以簡化開發(fā)者和企業(yè)圍繞 Llama 構(gòu)建應(yīng)用的流程。其核心是 Llama CLI，這是一個命令行界面，簡化了構(gòu)建、配置和運行 Llama Stack 分布的過程。
Meta 提供了多種編程語言的客戶端代碼，包括 Python、Node.js、Kotlin和 Swift，以實現(xiàn)與不同應(yīng)用和平臺的集成。
Llama Stack 具有部署靈活性，為 Distribution Server 和 Agents API Provider 提供預(yù)制 Docker 容器以減少配置錯誤，并針對不同運營規(guī)模提供從單機單節(jié)點分布到與 AWS、Databricks、Fireworks 和 Together AI 合作的可擴展云部署等解決方案。在 iOS上通過 PyTorch ExecuTorch 提供設(shè)備端分布，方便開發(fā)直接在移動設(shè)備上運行的AI 應(yīng)用。
由于安全、合規(guī)或性能考慮需要內(nèi)部AI能力的公司可以利用Dell Technologies支持的本地分發(fā)。可通過將多個API提供商打包到一個單一端點，并與合作伙伴合作以適應(yīng)Llama Stack API，Meta為這些多樣化環(huán)境中的開發(fā)者創(chuàng)造了一致且簡化的體驗。
這種方法顯著降低了構(gòu)建Llama模型的復(fù)雜性，加速了AI在廣泛的應(yīng)用程序和用例中的創(chuàng)新。
開源地址：https://www.llama.com/?utm_source=twitter&utm_medium=organic_social&utm_cnotallow=video&utm_campaign=llama32
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者： AIGC開放社區(qū)
