作者丨Vandana Nair

編譯丨諾亞

蘋(píng)果在AI上的推進(jìn)向來(lái)謹(jǐn)慎得近乎保守。不過(guò)近來(lái)一些消息表明，蘋(píng)果也在悄悄干大事。

兩個(gè)月前，當(dāng)蘋(píng)果公司研發(fā)生成式人工智能工具和聊天機(jī)器人的消息傳出時(shí)，積極的市場(chǎng)情緒將蘋(píng)果公司的股價(jià)推至198.23美元的創(chuàng)紀(jì)錄高點(diǎn)，漲幅為2.3%。然而，除了蘋(píng)果公司在其LLM中使用Ajax以及員工內(nèi)部將其命名為AppleGPT之外，沒(méi)有公布關(guān)于該模型的其他細(xì)節(jié)。

根據(jù)The Information最近的報(bào)告，蘋(píng)果正在訓(xùn)練Ajax GPT，訓(xùn)練參數(shù)超過(guò)2000億，傳聞中比GPT-3.5更強(qiáng)大。更令人驚奇的是，蘋(píng)果做了一件以前從未做過(guò)的事情——在GitHub上開(kāi)源它的代碼!

1、史無(wú)前例的舉動(dòng)

今年7月，蘋(píng)果在GitHub上謹(jǐn)慎地上傳了AXLearn的代碼，讓公眾可以使用它來(lái)訓(xùn)練他們自己的大語(yǔ)言模型，而無(wú)需從頭開(kāi)始。

AXLearn是蘋(píng)果公司在過(guò)去一年中為訓(xùn)練Ajax GPT而開(kāi)發(fā)的內(nèi)部軟件，是一個(gè)機(jī)器學(xué)習(xí)框架。它可以作為快速訓(xùn)練機(jī)器學(xué)習(xí)模型的預(yù)構(gòu)建工具。Ajax是由Google研究人員創(chuàng)建的開(kāi)源框架JAX衍生而來(lái)的，AXLearn的一些組件是專(zhuān)門(mén)為優(yōu)化Google TPU而設(shè)計(jì)的。

雖然蘋(píng)果可能在創(chuàng)新解決方案方面遙遙領(lǐng)先，但它也有把公司的優(yōu)先事項(xiàng)放在其他任何事情之前的糟糕一面。蘋(píng)果一直以培養(yǎng)封閉源代碼環(huán)境而臭名昭著。他們的技術(shù)和代碼都沒(méi)有向公眾開(kāi)放。

當(dāng)大型科技公司發(fā)布優(yōu)秀的開(kāi)源模型，如Meta的lama-2、Anthropic的Claude-2、Falcon、Vicuna等時(shí)，蘋(píng)果總是堅(jiān)持他們傳統(tǒng)的保密路線(xiàn)，OpenAI也在遵循這一路線(xiàn)。蘋(píng)果的封閉源代碼做法受到科技界的批評(píng)，稱(chēng)該公司受益于大型科技公司發(fā)布的研究成果，但從不給予任何回報(bào)。

蘋(píng)果決定將其培訓(xùn)軟件AXLearn開(kāi)源，這是跨出其保密策略的重要一步。此舉可以促進(jìn)人工智能研究界的合作和創(chuàng)新，并反映出人工智能發(fā)展的更廣泛的開(kāi)放趨勢(shì)。

雖然蘋(píng)果決定在GitHub上發(fā)布代碼的確切動(dòng)機(jī)尚未披露，但很明顯，該公司每天在人工智能開(kāi)發(fā)上投入數(shù)百萬(wàn)美元的巨額投資，反映了它在人工智能競(jìng)賽中積極參與競(jìng)爭(zhēng)的決心。

有趣的是，上個(gè)月該公司在中國(guó)香港申請(qǐng)了“AXLearn”商標(biāo)。

2、向谷歌文化看齊

蘋(píng)果的人工智能負(fù)責(zé)人John Giannandrea和對(duì)話(huà)式AI Foundational Model團(tuán)隊(duì)的負(fù)責(zé)人龐若鳴都曾在谷歌任職，他們都帶來(lái)了豐富的經(jīng)驗(yàn)。

Giannandrea帶來(lái)了他的愿景，即讓蘋(píng)果變得像谷歌一樣，讓員工有更多的自由進(jìn)行各種研究、發(fā)表論文和探索創(chuàng)新想法。蘋(píng)果之前在這些領(lǐng)域的限制阻礙了人才的增長(zhǎng)和招聘。

據(jù)報(bào)道，蘋(píng)果還從谷歌和Meta的人工智能平臺(tái)團(tuán)隊(duì)中挖了不少人才過(guò)來(lái)。在過(guò)去的兩年里，在GitHub上AXLearn的18位貢獻(xiàn)者中，至少有7位曾在谷歌或Meta工作過(guò)。蘋(píng)果可能已經(jīng)調(diào)整了通過(guò)研究社區(qū)培養(yǎng)人才的方法，這使得開(kāi)源成為正確的前進(jìn)道路。

3、破譯線(xiàn)索

綜合現(xiàn)有信息來(lái)看，蘋(píng)果似乎已經(jīng)組建了兩個(gè)新的團(tuán)隊(duì)，來(lái)研究語(yǔ)言和圖像模型。蘋(píng)果最近的人工智能研究報(bào)告暗示，將開(kāi)發(fā)能夠生成圖像、視頻和3D場(chǎng)景的軟件，同時(shí)這也意味著其正在研究可以處理文本、圖像和視頻的多模態(tài)人工智能。

然而，將LLM整合到蘋(píng)果產(chǎn)品中仍然存在不確定性。蘋(píng)果一直傾向于將其新軟件安裝在其設(shè)備上，但將一個(gè)需要更多存儲(chǔ)空間和計(jì)算能力的2000億參數(shù)LLM集成到iPhone上是不合理的。該公司可能會(huì)開(kāi)發(fā)用于手機(jī)集成的較小型號(hào)，或者該型號(hào)將用于其他用途，其細(xì)節(jié)仍難以捉摸。

原文鏈接：

https://analyticsindiamag.com/apple-springs-a-surprise-embraces-open-source-training-method/