蘋果急了？

據(jù)The Information報道，為了加速開發(fā)LLM，蘋果現(xiàn)在不僅大幅增加了研究經(jīng)費——每天燒掉數(shù)百萬美元，還從谷歌挖來了許多工程師。

對此，蘋果員工一致認(rèn)為，他們的Apple GPT大模型能力已經(jīng)超過了GPT-3.5。

而Siri也要飛升了——只要告訴它，「用最近拍的5張照片創(chuàng)建一個GIF，發(fā)給我朋友」，它就會自動執(zhí)行這一連串操作，行云流水，而我們連手指都不需要點一下。

至于大模型團(tuán)隊的主力，已經(jīng)被外媒扒出來了——關(guān)鍵角色幾乎都來自于谷歌。

注意這張圖，下面要考

生成式AI的大廠之戰(zhàn)，蘋果必不會缺席！

AI負(fù)責(zé)人不甘：慢了一步

蘋果，本來也有機(jī)會成為OpenAI。

四年前，蘋果的AI主管John Giannandrea就曾組建了一個團(tuán)隊開發(fā)對話式AI，也就是大語言模型。

這一舉措當(dāng)然很有先見之明，但還是晚了一步——去年秋天，OpenAI搶先發(fā)布的ChatGPT，已經(jīng)率先吸引了全世界的注意力。

幾位蘋果內(nèi)部工作人員表示，蘋果其實并非對大語言模型的繁榮毫無準(zhǔn)備，但Giannandrea此前卻一再懷疑：AI模型驅(qū)動的聊天機(jī)器人究竟能有什么用。

現(xiàn)在，蘋果顯然后悔了——就是花再大代價，也要把大模型做出來！

16人主力，多個團(tuán)隊共同沖刺LLM

這個代價是多大？

Sam Altman曾表示，OpenAI歷時數(shù)月訓(xùn)練出的地表最強GPT-4，燒了1億多美元。

相比之下，蘋果這個名為Foundational Models的團(tuán)隊雖然只有約16人，但訓(xùn)練模型的預(yù)算已經(jīng)增長到了每天數(shù)百萬美元。

團(tuán)隊由蘋果挖來的幾名前谷歌工程師組成（還在谷歌時，他們就是Giannandrea的手下），由Ruoming Pang領(lǐng)導(dǎo)，他在谷歌工作了15年后，于2021年選擇加入了蘋果。

Ruoming Pang

據(jù)知情人士透露，該團(tuán)隊扮演的角色，類似于谷歌和Meta的AI實驗室——研究人員負(fù)責(zé)開發(fā)AI模型，其他部門負(fù)責(zé)把模型應(yīng)用到產(chǎn)品之中。

除此之外，根據(jù)近期的一篇研究論文以及LinkedIn上的員工資料，蘋果至少還有兩個團(tuán)隊，也在開發(fā)語言或圖像模型。

其中一個視覺團(tuán)隊，致力于開發(fā)能夠生成「圖像、視頻或3D場景」的應(yīng)用。

另一個團(tuán)隊則在進(jìn)行多模態(tài)AI的長期研究——讓模型同時識別和生成圖像、視頻以及文本。

現(xiàn)在，蘋果已經(jīng)開發(fā)了多個模型，正在緊鑼密鼓地進(jìn)行內(nèi)部測試。

Siri即將大升級

在蘋果團(tuán)隊看來，目前最先進(jìn)的模型Ajax GPT（或稱Apple GPT），已經(jīng)超越了GPT-3.5。

此前我們曾報道過，蘋果正在暗中開發(fā)「Apple GPT」，欲與OpenAI、谷歌打擂。

有了如此強大的語言模型加持，蘋果旗下的一系列產(chǎn)品當(dāng)然都會來一波大升級。

比如下個命令，Siri就會自動創(chuàng)建出個動圖，然后發(fā)送給手機(jī)里的某個人。

并且，蘋果還會上線一個名為Shortcuts的app，可以讓用戶手動編程，串起不同app的功能。

預(yù)計在明年的新版iOS操作系統(tǒng)中，我們應(yīng)該就能見到這些功能了！

不過，具體要如何在產(chǎn)品中應(yīng)用LLM，蘋果還沒有一個定論。

眾所周知，蘋果一直都在標(biāo)榜自己對用戶隱私的保護(hù)，因此在各類功能的實現(xiàn)上，也更傾向于在設(shè)備上離線運行，而不是在云服務(wù)器上。

據(jù)知情人士透露，「Apple GPT」的參數(shù)量已經(jīng)超過了2000億個。想要運行如此龐大的模型，不僅需要強大的算力，還需要足夠的儲存空間。

顯然，這些要求對于一臺小小的iPhone來說，實在有些勉強了。

對此，谷歌的PaLM 2倒是開了一個很好先例——模型被調(diào)教成了四種不同的規(guī)模，其中的一種就可以在設(shè)備上離線使用。

圖片

蘋果，在變成「另一個谷歌」？

說回團(tuán)隊的事，Giannandrea最初加入蘋果，就是為了把更多的AI融進(jìn)蘋果的軟件，比如Siri。

在被ChatGPT的輝煌打臉后，他終于打消了對AI聊天機(jī)器人的顧慮。

值得慶幸的是，Giannandrea至少有一項決定是明智的——他要讓蘋果變得更「谷歌」。

因此，蘋果的員工被給予了高度的自由和很大的靈活性，來進(jìn)行各種研究、發(fā)表論文。因此，F(xiàn)oundational Models團(tuán)隊才得以存在。

要知道在此前，蘋果對此有諸多限制，因而流失了不少人才。

蘋果變得更「谷歌」的另一個原因是，2018年Giannandrea加入蘋果后，挖來了不少谷歌的骨干工程師和研究者。

另外，他還在蘋果內(nèi)部大力推介谷歌的云服務(wù)（包括谷歌開發(fā)的TPU芯片）來訓(xùn)練Siri和其他產(chǎn)品的模型。

大牛，是從谷歌挖的

蘋果的這支隊伍里，可謂人才濟(jì)濟(jì)。

Foundational Models的前身，是一個由荷蘭計算機(jī)科學(xué)家Arthur Van Hoff領(lǐng)導(dǎo)的團(tuán)隊。

Van Hoff是Sun Microsystems團(tuán)隊的早期成員，就是這個大名鼎鼎的團(tuán)隊，在上世紀(jì)90年代創(chuàng)建了Java。

2019年，Van Hoff加入蘋果，當(dāng)時他負(fù)責(zé)開發(fā)新版Siri（內(nèi)部代號為Blackbird），但蘋果放棄了這個版本。后來，他帶領(lǐng)團(tuán)隊開始主攻LLM。

起初，這個團(tuán)隊只有少數(shù)幾名員工。最出名的是兩位來自牛津大學(xué)的英國研究員，Tom Gunter和Thomas Nickson，他們負(fù)責(zé)NLP。

Tom Gunter

Thomas Nickson

2021年，Ruoming Pang加入了蘋果，來幫忙訓(xùn)練LLM。

與其他研究員不同，他被特批留在紐約，蘋果希望在那里建立一個機(jī)器學(xué)習(xí)團(tuán)隊的前哨站。

Ruoming Pang憑借自己在神經(jīng)網(wǎng)絡(luò)方面的研究，贏得了業(yè)內(nèi)廣泛的關(guān)注。比如神經(jīng)網(wǎng)絡(luò)如何與移動電話處理器一起工作，如何使用并行式計算來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

幾個月后，蘋果挖來前谷歌AI高管Daphne Luong，來監(jiān)督Van Hoff的團(tuán)隊和Samy Bengio的團(tuán)隊。后者也是蘋果在2021年從谷歌挖來的。

Samy Bengio

后來，團(tuán)隊內(nèi)部似乎發(fā)生了一些變動，Pang接管了Foundational Models團(tuán)隊。而Van Hoff在今年開始無限期休假。

不過，根據(jù)最新的LinkedIn資料，Van Hoff已于今年8月離職。

Arthur van Hoff

而另外一位曾經(jīng)的蘋果多模態(tài)研究團(tuán)隊負(fù)責(zé)人Jon Shlens，則是在「蘋果-谷歌」之間反復(fù)橫跳。

2012年，Shlens加入谷歌出任高級研究科學(xué)家，一做就是11年6個月。

2021年底，他跳槽到了蘋果，負(fù)責(zé)長期開展以多模態(tài)學(xué)習(xí)為重點的機(jī)器學(xué)習(xí)研究。

不到2年時間，Shlens又回到了谷歌。

根據(jù)The Information的分析，他在Google DeepMind負(fù)責(zé)的新團(tuán)隊，和谷歌即將推出的具有多模態(tài)功能的Gemini模型，也有著千絲萬縷的聯(lián)系。

Jon Shlens

服務(wù)器，也首選谷歌

蘋果之所以會招來Pang，也是公司內(nèi)部越來越清晰地意識到：LLM在機(jī)器學(xué)習(xí)中，很重要。

知情者爆料，在OpenAI于2020年6月發(fā)布GPT-3后，蘋果機(jī)器學(xué)習(xí)組的員工們就鬧起來了，要求公司調(diào)撥更多資金，來讓他們訓(xùn)練模型。

據(jù)悉，為了節(jié)省成本，蘋果高管歷來都是鼓勵工程師們使用更便宜的谷歌云計算服務(wù)，而不是亞馬遜的。

因為谷歌是Safari瀏覽器的默認(rèn)搜索引擎合作商，所以谷歌云服務(wù)的價格也會對蘋果更低。

當(dāng)然，合作歸合作，蘋果從沒停止過從谷歌和Meta的AI隊伍中挖人。

據(jù)統(tǒng)計，自AXLearn于7月上傳以來，已有至少十二名加入蘋果機(jī)器學(xué)習(xí)團(tuán)隊的成員在GitHub上為項目做出了貢獻(xiàn)。其中7人以前曾在谷歌或Meta工作。

蘋果，也會「開源」了？

有趣的是，在Ruoming Pang的影響下，F(xiàn)oundational Models團(tuán)隊竟然在今年7月的時候，悄悄把訓(xùn)練Ajax GPT用的機(jī)器學(xué)習(xí)框架AXLearn給傳到了GitHub上。

基于谷歌開源框架JAX以及加速線性代數(shù)XLA的AXLearn，可以用于快速訓(xùn)練機(jī)器學(xué)習(xí)模型，并且針對谷歌的TPU進(jìn)行了優(yōu)化。

項目地址：https://github.com/apple/axlearn

具體來說，AXLearn采用面向?qū)ο蟮姆椒▉斫鉀Q構(gòu)建、迭代和維護(hù)模型時出現(xiàn)的軟件工程挑戰(zhàn)。用戶能夠從可重復(fù)使用的構(gòu)建模塊中組合模型，并與其他庫（如Flax和Hugging Face transformers等）集成。

AXLearn除了支持在數(shù)千個加速器訓(xùn)練上對具有數(shù)百億參數(shù)的模型進(jìn)行訓(xùn)練外，還支持包括自然語言處理、計算機(jī)視覺和語音識別等廣泛的應(yīng)用常見，并包含了訓(xùn)練SOTA模型所需的基線配置。

如果說，我們把蘋果的Ajax GPT比作是一座「房子」，那么AXLearn就是「藍(lán)圖」，而JAX則是用于繪制這些藍(lán)圖的「筆和紙」。不過，蘋果并沒有公開訓(xùn)練模型所用的數(shù)據(jù)，也就是「建筑材料」。

不過，我們并不清楚蘋果公開發(fā)布AXLearn的原因，但通常來說是希望其他工程師也可以對其進(jìn)行改進(jìn)。