自Llama2、Code Llama發(fā)布后，許久未現(xiàn)身的小扎今天正式官宣：

全力搞「開源AGI」！

短短1分45秒視頻中，小扎對Meta的戰(zhàn)略升級進行了分享，從AGI構(gòu)建，到團隊合作，再到基礎(chǔ)設(shè)施的等一系列舉措。

接下來，劃重點?。?！

從現(xiàn)在起，人工智能實驗室FAIR團隊將納入「GenAI」，緊密合作重點構(gòu)建AGI，并全面開源。

目前，Meta內(nèi)部正在訓(xùn)練下一代模型Llama 3。截止年底，將會有近35萬塊H100搭建的基礎(chǔ)設(shè)施。

網(wǎng)友無法想象，Llama 3那得有多大！

Omdia研究數(shù)據(jù)顯示，Meta在2023年H100的出貨量為15萬塊，與微軟持平，且是其他公司出貨量的3倍。

小扎稱，「如果算上英偉達A100和其他AI芯片，到2024年底，Meta將擁有近60萬個GPU等效算力」。

此外，小扎的「元宇宙」信仰還沒有放棄。他提到，AI最終會與智能設(shè)備結(jié)合，比如Ray-ban智能眼鏡。

30倍GPT-4算力，接近GPT-5水平

在小扎自曝Meta算力之后，Pytorch創(chuàng)始人Soumith Chintala表示，終于可以公開談?wù)揋PU數(shù)據(jù)了。到今年年底，Meta將擁有60塊H100等效GPU。

他還在此賣關(guān)子，讓大家自由猜測，Meta已經(jīng)部署和正在使用的GPU。

CAIS的負責(zé)人驚嘆道， 35萬塊H100，這比GPT-4的計算能力高出約30倍，幾乎達到了GPT-5的水平。

還有人給Meta算了一筆賬，「每臺H100的成本約為3萬美元，這意味著小扎的公司僅購買算力就需要支付約105億美元，更不用說電費了」。

而這僅僅是為了訓(xùn)練Llama 3？

另外，有網(wǎng)友預(yù)計150-200億美元的算力訓(xùn)練為推薦系統(tǒng)服務(wù)的Llama 3。

圖靈獎巨頭Yann LeCun更是有感而發(fā)，今天連發(fā)了多條推文。

FAIR的使命是開發(fā)人類水平的AI助手：是一個能夠理解世界、感知、記憶、推理、計劃和行動系統(tǒng)。

在不遠的將來，我們與數(shù)字世界的所有互動，都將由AI助手通過智能眼鏡和其他設(shè)備來實現(xiàn)。我們需要這些系統(tǒng)具備人類水平的智能，這樣它們才能理解世界、人和工具，從而在日常生活中幫助我們。

為了加快進度，F(xiàn)AIR現(xiàn)已成為人工智能產(chǎn)品部門GenAI的姊妹機構(gòu)。與此同時，Meta正在建設(shè)大規(guī)模的計算基礎(chǔ)設(shè)施，以支持人工智能的研究、開發(fā)和生產(chǎn)。

當(dāng)然，我們也致力于開放研究和開源人工智能平臺（是的，Llama 3就要來了！）。FAIR是世界上將AI研究推進到新水平的最佳研究機構(gòu)，而Meta則是將AI應(yīng)推向數(shù)十億人群的最佳公司。

沒有開源AI，就沒有AI創(chuàng)業(yè)生態(tài)系統(tǒng)。

Meta一直嘗試去做正確的事情。

Meta一直在AI領(lǐng)域進行開放研究。

Meta一直在推廣開源AI平臺。

經(jīng)過過去一年的多次討論（有時是有爭議的），一個共識正在形成，即開源人工智能平臺是不可避免的、必要的，而且是一件好事。

小扎：全員打造「開源AGI」

最近，Sam Altman在參加的世界經(jīng)濟論壇中透露，人類水平的AGI即將到來，而且GPT-5正在訓(xùn)練中。

2023年，人工智能領(lǐng)域成為OpenAI微軟的主戰(zhàn)場，GPT-4、Copilot等一系列模型/產(chǎn)品發(fā)布，讓許多大廠望之莫及。

谷歌、Meta、蘋果等科技巨頭在AI推陳出新上，已經(jīng)站在了第二梯隊。

凌晨，小扎一則視頻正式官宣，意味著Meta全員已經(jīng)重振旗鼓，向全力打造開源AGI邁進。

在Ins視頻配文中，小扎寫道，

我們的長期愿景是構(gòu)建AGI，負責(zé)任地將其開源，并使其廣泛可用，讓每個人都能從中受益。為了支持這一目標(biāo)，我們正在將兩大AI研究團隊——FAIR和GenAI緊密結(jié)合在一起。

Meta目前正在訓(xùn)練下一代模型Llama 3，并建設(shè)大規(guī)模的計算基礎(chǔ)設(shè)施，以支撐未來路線圖，其中包括到今年年底建成35萬塊H100，如果算上其他GPU，Meta總算力相當(dāng)于近60萬個H100。此外，我們在構(gòu)建以AI為中心的新型計算設(shè)備（如Ray Ban Meta智能眼鏡）方面取得的進展也讓人非常興奮。

Llama 3匹敵GPT-4，免費開源

關(guān)于Meta下一代模型的消息，此前也有傳言稱，Llama 3的實力堪比GPT-4，而且還是免費開源。

OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動中聽說：

Meta有足夠的算力來訓(xùn)練Llama 3和Llama 4。Llama 3計劃達到GPT-4的性能水平，但仍將免費提供

這次也算是，Meta正式官宣Llama 3訓(xùn)練中，而且LeCun也表示最新模型很快就會上線。

從2023年2月，Llama 1首次面世，到7約Llama 2的升級，Meta花了大約5個月的時間。

當(dāng)時，Llama 2在某些應(yīng)用上與GPT-3.5能力相媲美，而且還通過微調(diào)，額外功能讓開源社區(qū)進行優(yōu)化。

Llama模型開源后所帶來的是，模型生態(tài)大爆發(fā)。

據(jù)Meta統(tǒng)計數(shù)據(jù)顯示，在世界最大開源社區(qū)平臺Hugging Face上，Llama模型的下載量超過3000萬次。其中，僅在過去30天（9月份）內(nèi)就超過了1000萬次。

另外，發(fā)布在Hugging Face的Llama版微調(diào)模型，已經(jīng)多達7000+個。

而現(xiàn)在，得知Llama 3在訓(xùn)練中，AI圈的人興奮不已。

AI團隊重組：成立10年FAIR團隊+GenAI

除了將重點放在開發(fā)AGI之外，Meta官宣最引人注目的消息就是：小扎決定將其人工智能研究團隊FAIR納入產(chǎn)品部門。

根據(jù)Verge的獨家采訪，成立10年FAIR團隊，將并入GenAI團隊。雖然小扎在視頻并未說明，只是透露了兩個團隊將緊密合作。

Meta此舉與谷歌合并兩大AI團隊，別無二致。

OpenAI微軟在AI圈名氣大漲讓谷歌瞬間火燒眉毛，去年4月官宣合并DeepMind和谷歌大腦團隊，統(tǒng)稱為Google DeepMind。

2013年12月，在LeCun主導(dǎo)下，F(xiàn)cabook成立了FAIR人工智能實驗室。

從成立之初，F(xiàn)AIR的定位便是一個負責(zé)研究技術(shù)的部門，其研究重點也大多聚焦在解決推理、預(yù)測、規(guī)劃、無監(jiān)督學(xué)習(xí)等底層技術(shù)問題上。

過去幾年來，在這個實驗室中人才輩出，何愷明、SVM的締造者Vladimir Vapnik、提出隨機梯度下降法的Léon Bottou等AI領(lǐng)域的學(xué)者和專家。

與此同時，研究成果也是「世界級」AI，包括輕量化和模塊化的深度學(xué)習(xí)框架Caffe2、PyTorch架構(gòu)等等。

而現(xiàn)在，Meta內(nèi)部需要戰(zhàn)略調(diào)整，全力奔赴AGI。

說來，GenAI這一團隊的成立并未官宣。第一次露面還是在Llama 2發(fā)布時，在論文中所有作者下面一行中出現(xiàn)。

GenAI首次以團隊名稱出現(xiàn)

未來，F(xiàn)AIR的副總裁Joelle Pineau和首席AI科學(xué)家Yann LeCun將向Meta的首席產(chǎn)品官Chris Cox匯報工作。

而在此之前，他們是向負責(zé)Reality Labs的首席技術(shù)官Andrew ‘Boz’ Bosworth匯報。

對此，Cox表示，這一調(diào)整強調(diào)了AI研究對Meta及其產(chǎn)品長遠成功的核心作用。

「通過FAIR和GenAI更加緊密的合作，我們可以擁有一個更加統(tǒng)一的AI研究項目和發(fā)展藍圖。其中，Llama將成為我們邁向AGI的主力，同時我們也將簡化新技術(shù)或創(chuàng)新AI研究的開發(fā)流程，確保在一個日益受到關(guān)注的領(lǐng)域中，能夠在法律、政策和品牌形象方面保持一致?！?/span>

專訪小扎

問：你將FAIR從Boz所負責(zé)的部門轉(zhuǎn)移到了Chris所負責(zé)的部門。這對Reality Labs有何影響？我覺得有些人可能會認(rèn)為RL將會失去它。

小扎：這絕對不是我的看法。讓我詳細說明這個決定是如何形成的：這其實是Boz的建議。

在討論如何統(tǒng)一研究規(guī)劃和流程時，Chris、Boz和我進行了交談。Boz表示他在AI方面投入了大量時間。但他認(rèn)為，與其讓這些問題不斷上報給Chris和Boz，不如讓他們直接參與協(xié)調(diào)工作。因此，他建議將FAIR移至Chris那里。

在以前的模式下，F(xiàn)AIR相對獨立地運作，盡管它屬于Boz負責(zé)的部門，但我不確定他們是否真的認(rèn)為自己是Reality Labs的一部分。我們總是將AI工作和Reality Labs的工作視為兩個不同的領(lǐng)域。Reality Labs可以作為一個獨立的組織獨立運作，而AI則滲透到公司的各個方面。

這并不意味著所有的工作以前都集中在一個地方，或者現(xiàn)在都會集中在一個地方。這次調(diào)整更具體地說，是將我們的兩個主要研究實驗室并置，以便我們能在這些長期研究領(lǐng)域取得更多進展。在Reality Labs以前的模式中，我不認(rèn)為FAIR的負責(zé)人們會參加Boz的員工會議，它們更像是被作為獨立項目來管理。

我認(rèn)為這次組織內(nèi)部的調(diào)整并不會帶來太大的不同感。而且，鑒于AI對公司的重要性，Boz無論如何都會在這方面投入大量時間，Reality Labs也將繼續(xù)涵蓋很多AI相關(guān)的項目。

問：你是否注意到，隨著生成式AI的興起，你的個人關(guān)注點也隨之轉(zhuǎn)移了？相對于Reality Labs，你是不是發(fā)現(xiàn)自己在AI方面投入了更多時間，還是說這種投入每周都在變化？

小扎：這不僅僅是兩者之間的選擇問題。在2023年，最耗費我時間的是關(guān)注如何提高效率，我們改變了公司的運作方式，使其更加高效精煉。這并不意味著我們會回到過去的狀態(tài)。但我覺得我們已經(jīng)建立了一套新的操作規(guī)范，現(xiàn)在可以比較順利地繼續(xù)進行。這需要一定的工作量，但可能只有去年我在這方面投入的時間的十分之一。

對于今年而言，這部分工作減少了，這使得我有更多的時間來專注于產(chǎn)品開發(fā)。至于其他需要關(guān)注的事項，今年將是一個全球范圍內(nèi)重要的選舉年。顯然，包括美國在內(nèi)的選舉，但我認(rèn)為，從歷史角度來看，今年可能是全球選舉最密集的一年。我認(rèn)為確保我們在所有的誠信維護工作上做得出色也同樣重要。因此，這方面今年會比以前更受關(guān)注。

身處一種模式中頗為有趣，不是在削減事務(wù)，而是我們又可以專注于創(chuàng)造新的東西。這是一種令人愉悅的狀態(tài)。