根據(jù)外媒《華爾街日?qǐng)?bào)》消息，Meta正在加緊開(kāi)發(fā)新的大語(yǔ)言模型，能力將完全對(duì)標(biāo)GPT-4，預(yù)計(jì)將于明年推出。

消息還特別強(qiáng)調(diào)了，Meta新的大語(yǔ)言模型將比Llama 2大數(shù)倍，而且大概率還是會(huì)開(kāi)源，支持免費(fèi)商用。

自從年初Meta將LlaMA「不小心」泄露出來(lái)之后，到7月份Llama 2的開(kāi)源發(fā)布，Meta漸漸找到了自己在這次AI浪潮中的獨(dú)特位置——AI開(kāi)源社區(qū)的旗幟。

人員震蕩不斷，模型能力有硬傷，靠開(kāi)源坐回主桌

年初，在OpenAI用GPT-4引爆了科技行業(yè)之后，谷歌，微軟也相繼推出了自己的AI產(chǎn)品。

在5月份的時(shí)候，美國(guó)監(jiān)管層就邀請(qǐng)了當(dāng)時(shí)他們認(rèn)為AI行業(yè)相關(guān)的頭部企業(yè)CEO，開(kāi)了一個(gè)圓桌會(huì)議，討論AI技術(shù)的發(fā)展。

OpenAI，谷歌，微軟，都被邀請(qǐng)了，甚至還包括了初創(chuàng)公司Anthropic，但是卻沒(méi)有Meta的身影。當(dāng)時(shí)官方對(duì)Meta缺席的回應(yīng)是：「我們只邀請(qǐng)?jiān)贏I行業(yè)中最頂尖的公司。」

好事沒(méi)有輪上Meta，但是麻煩卻源源不斷地找上門(mén)來(lái)。

先是6月初國(guó)會(huì)一封質(zhì)詢信直接寄到的小扎手上，措辭嚴(yán)厲的要求他說(shuō)明3月份LlaMA泄漏事故的前因后果。

而在后來(lái)的幾個(gè)月時(shí)間里，即便在Llama 2發(fā)布之后，Meta之前花重金打造的AI團(tuán)隊(duì)卻依然在逐漸分崩離析。

在Llama 2的致謝中，提到的4位最先發(fā)起這項(xiàng)研究的團(tuán)隊(duì)，其中三位已經(jīng)離職，目前僅有Edouard Grave還在Meta。

業(yè)界大牛何愷明，也將離開(kāi)Meta，回歸學(xué)術(shù)界。

根據(jù)最近The Information的爆料文章，Meta的AI團(tuán)隊(duì)，因?yàn)閷?duì)于內(nèi)部算力的爭(zhēng)奪，摩擦不斷，人員陸續(xù)離開(kāi)。

在這樣的大背景下，小扎自己應(yīng)該也很清楚，Meta自己的大語(yǔ)言模型，也確實(shí)沒(méi)有辦法和業(yè)內(nèi)最前沿的GPT-4沾邊。

不論是在各個(gè)方向的基準(zhǔn)測(cè)試還是從用戶反饋來(lái)看，Llama 2和GPT-4的差距依然還比較大。

在各項(xiàng)基準(zhǔn)測(cè)試中，開(kāi)源的Llama 2和GPT-4還有不小差距

網(wǎng)友的實(shí)際體驗(yàn)也在不斷強(qiáng)調(diào)GPT-4比Llama 2依然領(lǐng)先不少

于是，小扎決定讓Meta直接在模型開(kāi)源之路上繼續(xù)一路狂奔。

也許小扎背后的邏輯是這樣的：Meta模型能力一般，打不過(guò)閉源大佬，藏著掖著也沒(méi)啥意義。那就索性開(kāi)源讓AI社區(qū)以自家模型為基礎(chǔ)來(lái)不斷迭代，擴(kuò)大自己產(chǎn)品在業(yè)界的影響力。

而且小扎也不止一次的在公開(kāi)場(chǎng)合表示，開(kāi)源社區(qū)針對(duì)自己模型的迭代會(huì)讓自己的技術(shù)團(tuán)隊(duì)獲得啟發(fā)，從而在未來(lái)開(kāi)發(fā)出更有競(jìng)爭(zhēng)力的產(chǎn)品。

小扎在Fridman的播客中強(qiáng)調(diào)，開(kāi)源能讓Meta從社區(qū)中吸取靈感，而且未來(lái)Meta可能會(huì)推出閉源模型。 

參見(jiàn)：https://lexfridman.com/mark-zuckerberg-2/

而事實(shí)也證明，Meta的這個(gè)選擇確實(shí)是正確的。

雖然在算力資源和技術(shù)實(shí)力上比不上谷歌，OpenAI，但是Meta的Llama 2等開(kāi)源模型對(duì)于開(kāi)源社區(qū)的吸引力依然是首屈一指的。隨著Llama 2慢慢成為AI開(kāi)源社區(qū)的「技術(shù)底座」，Meta也在行業(yè)中找到了自己的生態(tài)位。

最明顯的一個(gè)標(biāo)志是，馬上9月份將要召開(kāi)的國(guó)會(huì)AI閉門(mén)會(huì)議之中，小扎終于成為了監(jiān)管層的座上賓，和谷歌、OpenAI等行業(yè)最前沿的公司CEO一同作為代表，對(duì)于AI行業(yè)監(jiān)管發(fā)出自己的聲音。

而如果明年Meta推出的新模型，能夠繼續(xù)保持進(jìn)步，獲得和GPT-4持平的能力，一方面能讓開(kāi)源社區(qū)繼續(xù)拉近與閉源巨頭的差距，坐實(shí)了「開(kāi)源社區(qū)與行業(yè)最先進(jìn)水平差距在一年左右」的說(shuō)法。

另一方面，小扎在采訪中也曾透露，如果未來(lái)大模型能力進(jìn)一步提升，Meta可能會(huì)推出自己的閉源模型。如果新的模型能進(jìn)一步迫近行業(yè)SOTA，也許就離Meta推出自己的閉源模型不遠(yuǎn)了。

雖然Meta看起來(lái)在這波AI浪潮中已經(jīng)暫時(shí)落后了，但是小扎的野心也不甘心只做一個(gè)追隨者。

在「AI三巨頭」Yann Lecun的指引下，Meta也正在為顛覆整個(gè)行業(yè)做著準(zhǔn)備。

Meta的未來(lái)

所以，這個(gè)傳說(shuō)中能比肩GPT-4的神秘大模型之后，Meta AI未來(lái)會(huì)是什么樣子？

因?yàn)槟壳斑€沒(méi)有具體信息，我們也只能做一番猜測(cè)，比如從Meta AI首席科學(xué)家LeCun的態(tài)度入手。

當(dāng)紅炸子雞GPT，一直是LeCun批評(píng)和鄙視的人工智能發(fā)展路線。

今年2月4日，LeCun就直白地表示，「在通往人類(lèi)級(jí)別AI的道路上，大型語(yǔ)言模型完全是一條歪路」。

他認(rèn)為這種根據(jù)概率生成自回歸的大模型最多活不過(guò)5年，因?yàn)檫@些人工智能只是在大量的文本上訓(xùn)練的，它們無(wú)法理解現(xiàn)實(shí)世界。

所以這些模型既不會(huì)計(jì)劃也不能推理，它們擁有的只是上下文學(xué)習(xí)能力。

嚴(yán)肅的說(shuō)，這些在LLM上訓(xùn)練的人工智能幾乎毫無(wú)「智能」可言。

而LeCun期待的，則是能夠通向AGI的 「世界模型」。

世界模型能夠?qū)W習(xí)世界如何運(yùn)作，更快速地進(jìn)行學(xué)習(xí)，為完成復(fù)雜任務(wù)做出計(jì)劃，并隨時(shí)應(yīng)對(duì)不熟悉的新情況。

這與需要大量預(yù)訓(xùn)練的LLM不同，世界模型能夠像人類(lèi)一樣，從觀察中找到規(guī)律，適應(yīng)新環(huán)境、掌握新技能。

相較于OpenAI在LLM領(lǐng)域不斷精進(jìn)深耕的策略，Meta力求多樣化的模型開(kāi)發(fā)。

今年6月14日，Meta發(fā)布了一個(gè)「類(lèi)人」的人工智能模型 I-JEPA，也是史上第一個(gè)基于LeCun世界模型愿景關(guān)鍵部分的AI模型。

論文地址：https://arxiv.org/abs/2301.08243

I-JEPA能夠理解圖像中的抽象表征，并通過(guò)監(jiān)自督學(xué)習(xí)獲取常識(shí)。

并且I-JEPA不需要額外的人工制作的知識(shí)作為輔助。

之后，Meta推出了Voicebox，這是一個(gè)全新的突破性語(yǔ)音生成系統(tǒng)，基于 Meta AI 提出的一種新方法——流匹配。

它可以合成六種語(yǔ)言的語(yǔ)音，執(zhí)行去噪、編輯內(nèi)容、轉(zhuǎn)換音頻風(fēng)格等操作。

Meta還發(fā)布了通用的具身AI agents。

通過(guò)語(yǔ)言引導(dǎo)技能協(xié)調(diào)（LSC），機(jī)器人能夠在部分預(yù)先映射的環(huán)境中，進(jìn)行自由的移動(dòng)、拾取。

在多模態(tài)模型的開(kāi)發(fā)中，Meta也與眾不同。

ImageBind，第一個(gè)能夠從六種不同模態(tài)綁定信息的人工智能模型。

它賦予機(jī)器全面的理解能力，將照片中的物體與它們的聲音、三維形狀、溫度以及運(yùn)動(dòng)方式聯(lián)系起來(lái)。

而來(lái)自Meta AI和CMU_Robotics共同開(kāi)發(fā)的RoboAgent，讓機(jī)器人可以獲得各種各樣的非平凡技能，并將它們推廣到數(shù)百個(gè)生活場(chǎng)景中。

同時(shí)，所有這些場(chǎng)景的數(shù)據(jù)都比該領(lǐng)域先前的工作少一個(gè)數(shù)量級(jí)。

對(duì)于這次爆料的模型，有網(wǎng)友表示，希望他們繼續(xù)開(kāi)放源代碼。

不過(guò)也有網(wǎng)友表示，Meta要到2024年初才會(huì)開(kāi)始訓(xùn)練。

但令人欣慰的是，Meta依舊釋放了自己將繼續(xù)堅(jiān)持原有戰(zhàn)略的信號(hào)。