過(guò)去6個(gè)月，ChatGPT的爆火，徹底讓Meta坐不住了。

從2月開始開源大模型系列LLaMA的發(fā)布，到Llama 2升級(jí)、再到編碼模型Code Llama，Meta可謂是賭上所有去ALL IN AI。

在開源社區(qū)，Llama系列模型的免費(fèi)研究和商用，直接點(diǎn)燃了平替模型裂變的火種。

可是，Meta在風(fēng)光的同時(shí)，AI團(tuán)隊(duì)正面臨著離職潮。

The Information獨(dú)家報(bào)道，因內(nèi)部算力之爭(zhēng)，LLaMA和OPT項(xiàng)目的團(tuán)隊(duì)成員，大半已經(jīng)辭職。

圖片

甚至，Meta直接棄掉他們正研發(fā)能與PaLM匹敵的模型，將Meta AI的兩個(gè)實(shí)驗(yàn)室團(tuán)隊(duì)重組，以專注研發(fā)Llama 2。

Meta大部分研究人員的離職，恰恰暴露了，算力短缺是布局生成式AI的核心難題。

LLaMA論文14位作者，一半離職

在外界看來(lái)，科技巨頭擁有比大多數(shù)公司更多的計(jì)算資源。一些公司包括Meta在內(nèi)，在招聘AI研究人員時(shí)，一致強(qiáng)調(diào)自己是「GPU RICH」。

但事實(shí)上，自己心知肚明，Meta的計(jì)算資源供應(yīng)方面也存在限制。

由此，算力紛爭(zhēng)便在內(nèi)部團(tuán)隊(duì)開啟，讓許多人棄Meta而去。

具體來(lái)講，今年2月發(fā)布的初代LLaMA模型中的14位作者，已經(jīng)超過(guò)一半的人全部離職。

有的轉(zhuǎn)向AI初創(chuàng)公司，有的加入了科技巨頭。

圖片

論文地址：https://arxiv.org/pdf/2302.13971.pdf

離開Meta的研究科學(xué)家和工程師包括原LLaMA論文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。

他們現(xiàn)在在法國(guó)初創(chuàng)公司Mistral AI工作，該公司由Lacroix和Lample于6月共同創(chuàng)辦。

圖片

還有其中的一位作者——Meta AI的研究總監(jiān)Armand Joulin已經(jīng)在5月離開了Meta，目前已加入蘋果。

圖片

Meta人工智能研究實(shí)驗(yàn)室「基礎(chǔ)AI研究」的負(fù)責(zé)人Joelle Pineau在接受采訪時(shí)表示：

留住和吸引優(yōu)秀人才可能是我花費(fèi)時(shí)間最多的地方，因?yàn)闆]有優(yōu)秀的研究人員，我什么都做不了。

Meta正在面臨的離職潮，恰恰凸顯了大型科技公司在應(yīng)對(duì)對(duì)人工智能人才需求激增的挑戰(zhàn)。

大模型浪潮當(dāng)前，各大科技公司唯恐落后，急于將AI接入自家產(chǎn)品和服務(wù)。

Riviera Partners的高管Kyle Langworthy稱，「求賢若渴」的公司們，都排著隊(duì)想挖角Meta的人工智能研究人員。

2月份的時(shí)候，繼LLaMA的發(fā)布點(diǎn)燃社區(qū)熱情后，小扎曾連夜對(duì)外官宣了公司的大動(dòng)作：成立頂級(jí)產(chǎn)品團(tuán)隊(duì)，專注AIGC。

簡(jiǎn)言之，小扎將Meta未來(lái)的核心重點(diǎn)放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI等競(jìng)爭(zhēng)對(duì)手。

而曾經(jīng)在2021年All In的「元宇宙」，也被放在了次要的位置。

圖片

緊接著，Meta時(shí)不時(shí)地發(fā)布并開源了在人工智能領(lǐng)域的最新研究，包括通用視覺模型SAM「分割一切」、多模態(tài)AI模型ImageBind、Llama2、Code Llama等等。

這些研究一經(jīng)發(fā)布，都在開源社區(qū)引起了很大的反響，得到一致好評(píng)。

而現(xiàn)在，隨著有經(jīng)驗(yàn)的研究人員流失，Meta在追趕競(jìng)爭(zhēng)對(duì)手的路上多了一重阻礙。

那么，具體是怎么回事，讓這些高級(jí)研究人員憤而離去？

LLaMA和OPT的算力之爭(zhēng)

2013年，Yann LeCun入職Meta后，擔(dān)任AI研究主管時(shí)成立了人工智能研究實(shí)驗(yàn)室Meta AI（原FAIR）。

除了在加利福尼亞州門洛帕克和紐約設(shè)立主要實(shí)驗(yàn)室（LeCun的所在地），Meta AI還在蒙特利爾（Pineau的所在地）、巴黎、倫敦和西雅圖設(shè)有分部。

Meta AI實(shí)驗(yàn)室的成立，主要致力于AI的研究，將人工智能應(yīng)用在翻譯、MRI掃描等各種場(chǎng)景。

但是，ChatGPT橫空出世之后，公司的高管們對(duì)AI更深層次融入產(chǎn)品的要求，變得更加急切。

其實(shí)，在ChatGPT發(fā)布之前，Meta也一直在開發(fā)自己的LLM。

2022年5月，Meta AI的一個(gè)北美團(tuán)隊(duì)對(duì)外公布，并開源了大模型OPT-175B。

Meta聲稱，這個(gè)模型的能耗要比GPT-3低，盡管這兩個(gè)模型在訓(xùn)練期間學(xué)習(xí)的內(nèi)容，在數(shù)量上是一樣的。

幾個(gè)月后，該團(tuán)隊(duì)開始著手開發(fā)第二個(gè)更大的模型，旨在與谷歌的PaLM競(jìng)爭(zhēng)。

與此同時(shí)，另一個(gè)位于巴黎的Meta AI團(tuán)隊(duì)，已經(jīng)開始著手開發(fā)一個(gè)單獨(dú)的大型語(yǔ)言模型，也就是LLaMA。

知情人士表示，這個(gè)模型比OPT要小。研究團(tuán)隊(duì)認(rèn)為較小的模型在推理時(shí)會(huì)高效。

隨之問(wèn)題就來(lái)了，分別來(lái)自北美和巴黎兩個(gè)實(shí)驗(yàn)室的團(tuán)隊(duì)，開啟了獲取算力資源之爭(zhēng)，進(jìn)而加劇了內(nèi)部團(tuán)隊(duì)的紛爭(zhēng)。

尤其是，LLaMA團(tuán)隊(duì)感覺自己被忽視了，自己的模型小，但獲得的計(jì)算資源比北美的OPT團(tuán)隊(duì)少的多。

「基礎(chǔ)AI研究」的負(fù)責(zé)人Joelle Pineau表示，

關(guān)于在Meta如何分配計(jì)算資源的決策，是由來(lái)自業(yè)務(wù)不同部門的領(lǐng)導(dǎo)人組成的小組，大致每月做出一次。

最終分配多少，分配給誰(shuí)，取決于組織優(yōu)先事項(xiàng)，以及項(xiàng)目距離發(fā)布還有多遠(yuǎn)來(lái)決定。

如果Meta AI的員工就分配發(fā)生爭(zhēng)議，就會(huì)提交到上級(jí)，也就是Pineau這一層去處理。

在采訪中，Pineau承認(rèn)在LLaMA和OPT團(tuán)隊(duì)之間在算力分配上有些緊張，并補(bǔ)充道，「我們?cè)噲D找到一條路，聽取每個(gè)人的發(fā)聲，即使無(wú)法去滿足每個(gè)人的需求?！?/p>

對(duì)某些研究人員來(lái)說(shuō)，這感覺像是一場(chǎng)競(jìng)賽。

Meta AI的一些高管也在質(zhì)疑，為什么兩個(gè)團(tuán)隊(duì)都做著相似的項(xiàng)目，但又互相競(jìng)爭(zhēng)有限的資源。

2月巨變

兩個(gè)團(tuán)隊(duì)之間的緊張關(guān)系，到今年2月達(dá)到了高潮。

恰在這個(gè)月，為了追趕競(jìng)爭(zhēng)對(duì)手，Meta AI首次將LLaMA作為開源模型發(fā)布，授權(quán)用于研究目的。

其實(shí)，在發(fā)布的前一周，Meta AI的聯(lián)合主管兼巴黎分部負(fù)責(zé)人Antoine Bordes就離開了Meta，而對(duì)外的離職原因是?作時(shí)間與加州?樣讓自己筋疲?盡。

現(xiàn)在，Bordes已經(jīng)加入了人工智能公司Helsing。

圖片

知情人士表示，他的離職進(jìn)一步，讓LLaMA團(tuán)隊(duì)與北美的高管隔離開來(lái)。另外，Pineau也承認(rèn)了Bordes的離職為團(tuán)隊(duì)「帶來(lái)了一些不確定性」。

這不僅僅是LLaMA團(tuán)隊(duì)研究士氣受挫的問(wèn)題，與此同時(shí)，OPT團(tuán)隊(duì)在過(guò)去幾個(gè)月里，一直也在面臨人員流失的問(wèn)題。

據(jù)稱，OPT團(tuán)隊(duì)正在研發(fā)的更大型的模型，直接被Meta放棄。也不難理解，OPT的人員流失，和這個(gè)決定有著直接的關(guān)系。

根據(jù)研究作者Linkedin個(gè)人資料，19位OPT論文的作者中，也有一半人已離職Meta。

圖片

論文地址：https://arxiv.org/pdf/2205.01068.pdf

「基礎(chǔ)AI研究」的負(fù)責(zé)人Pineau無(wú)奈地表示，「當(dāng)所有團(tuán)隊(duì)都想在這個(gè)時(shí)候升級(jí)模型，那時(shí)你要么選擇其中一個(gè)，要么就讓他們合作?！?/p>

團(tuán)隊(duì)重組，定位不清

在這一切發(fā)生的同時(shí)，Meta AI也被公司的頻繁地變動(dòng)搞得焦頭爛額。

自從去年11月開始，小扎進(jìn)行了數(shù)次全公司范圍的裁員。其中，Meta AI也沒能幸免。

今年2月，Meta AI領(lǐng)導(dǎo)人決定將相互競(jìng)爭(zhēng)LLaMA和OPT團(tuán)隊(duì)的一些成員聚集起來(lái)，正式成立「生成式AI」團(tuán)隊(duì)，（由前蘋果高管Ahmad Al-Dahle負(fù)責(zé)），同時(shí)也從Meta AI抽調(diào)了大量人員。

其實(shí)，我們?cè)贚lama 2論文中，可以看到不少LLaMA和OPT作者的身影。

比如OPT的團(tuán)隊(duì)中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入「生成式AI」團(tuán)隊(duì)。

初代LLaMA團(tuán)隊(duì)中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入「生成式AI」團(tuán)隊(duì)。

有趣的是，在Llama 2的致謝中，提到的4位最先發(fā)起這項(xiàng)研究的團(tuán)隊(duì)，其中三位已經(jīng)離職，目前僅有Edouard Grave還在。

圖片

盡管備受贊譽(yù)的開源模型LLaMA取得了不小的成功，但隨著Meta對(duì)人工智能研究態(tài)度的不斷變化，研究人員之間的緊張關(guān)系仍在醞釀。

傳統(tǒng)上來(lái)講，Meta AI擁有一種由研究人員主導(dǎo)的自下而上的文化，從而使團(tuán)隊(duì)能夠?qū)Ｗ⒂贏I領(lǐng)域，并取得突破性的進(jìn)展。

但隨著小扎越來(lái)越傾向于將AI融入Meta的應(yīng)用程序之中，Meta AI的關(guān)注點(diǎn)也隨之縮小——解散了那些不以產(chǎn)品為導(dǎo)向的研究，比如蛋白質(zhì)折疊。

圖片

與此同時(shí)，新的項(xiàng)目也在生成式AI團(tuán)隊(duì)和Meta AI之間「反復(fù)橫跳」。

比如，Meta在7月發(fā)布的Llama 2，以及在8月發(fā)布的專攻代碼生成的Code Llama，就是分別由兩個(gè)團(tuán)隊(duì)負(fù)責(zé)的。

圖片

圖片

對(duì)此，Pineau表示，「這個(gè)領(lǐng)域發(fā)展得實(shí)在是太快了，我們現(xiàn)在還在探索，哪個(gè)項(xiàng)目應(yīng)該由Meta AI來(lái)負(fù)責(zé)？哪個(gè)項(xiàng)目又該由生成式AI團(tuán)隊(duì)來(lái)負(fù)責(zé)？」

臺(tái)前，開源模型光鮮靚麗，而幕后，AI研究人員離職潮涌、算力紛爭(zhēng)、團(tuán)隊(duì)重組，為Meta傾力AI趕超對(duì)手帶來(lái)了許多不確定性因素。

參考資料：

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=epv9gi