微軟AI老將官宣加盟OpenAI！

Information爆料稱，微軟AI副總Sebastien Bubeck即將離職，加入OpenAI繼續(xù)投身開(kāi)發(fā)AGI。

另一邊，前腳離職OpenAI的CTO Mira Murati似乎也要自立門(mén)戶尋求融資。

而且，她還要從前東家挖人，一直與OpenAI員工討論可能創(chuàng)業(yè)的下一個(gè)項(xiàng)目。

此前，離職后的Karpathy創(chuàng)辦了一家名為Eureka Labs的AI教育公司；Ilya創(chuàng)辦了SSI安全超級(jí)智能公司...

有網(wǎng)友表示，OpenAI正打開(kāi)AI初創(chuàng)企業(yè)的生態(tài)系統(tǒng)。

微軟Phi之父叛逃OpenAI

有Sebastien Bubeck這樣的大佬加入，也是OpenAI幸事。

Bubeck在微軟任職已有十年，此前在普林斯頓大學(xué)擔(dān)任了3年的助理教授。

過(guò)去兩年里，他在微軟最為人熟知的貢獻(xiàn)在于——領(lǐng)導(dǎo)團(tuán)隊(duì)開(kāi)發(fā)了Phi系列小模型。

23年6月，Phi-1小模型首次亮相，便以優(yōu)異的成績(jī)擊敗了GPT-3.5。正如論文標(biāo)題所言，「教科書(shū)級(jí)」數(shù)據(jù)才鑄就了高性能的小模型。

至此，「教科書(shū)級(jí)數(shù)據(jù)質(zhì)量」成為了他們的一種堅(jiān)定信仰。

論文地址：https://arxiv.org/pdf/2306.11644

3個(gè)月后，研究人員迭代出Phi-1.5，13億參數(shù)就能跑通代碼、聊天問(wèn)答等場(chǎng)景。

12月Phi-2橫空出世，更是取得了「以小博大」的成功。僅以27億參數(shù)，就擊敗了比自己大25倍的模型。

再到今年4月，原團(tuán)隊(duì)發(fā)布了Phi-3系列模型，包含了mini（38億參數(shù)）、small（70億參數(shù)）和medium（140億參數(shù)）三個(gè)版本。

論文稱，Phi-3可以在iPhone上運(yùn)行，每秒即可生成12個(gè)token。

論文地址：https://arxiv.org/pdf/2404.14219

到了8月，最新一版的Phi-3.5出世，上下文達(dá)到了128k，并且首次引入了MoE架構(gòu)、視覺(jué)模型。

這些模型在測(cè)試基準(zhǔn)上，擊敗了谷歌Gemini 1.5 Flah、Llama 3.1-8B。甚至，在某些基準(zhǔn)上，還超越了GPT-4o。

在Scaling Law信仰下，一直奔向萬(wàn)億參數(shù)LLM科技巨頭，轉(zhuǎn)向SLM領(lǐng)域在業(yè)界引發(fā)一場(chǎng)熱議。

Bubeck曾在去年一篇研究論文中指出，Phi模型使用OpenAI模型生成數(shù)據(jù)進(jìn)行了訓(xùn)練，相較于GPT系列模型，它的參數(shù)規(guī)模更小，運(yùn)行成本更低，還能夠?qū)崿F(xiàn)幾乎一致的性能。

OpenAI每次發(fā)布模型后，微軟緊跟著將其植入到自家產(chǎn)品，必應(yīng)搜索、聊天機(jī)器人、辦公全家桶、Copilot AI中。

但隨著時(shí)間推移，微軟已經(jīng)在某些功能中，逐步采用Phi模型。

微軟CEO納德拉在過(guò)去一年里多次贊揚(yáng) Phi，將其定位為微軟掌握的幾個(gè)開(kāi)源AI模型之一，表明公司并不完全依賴OpenAI的模型。

Bubeck表示，自己目前更加專注于理解「智能如何在LLM中出現(xiàn)的」，以及如何利用這種理解來(lái)提升LLM性能，最終建立AGI。

他更愿將這樣的方法稱之為「AGI物理學(xué)」，通過(guò)在不同尺度（參數(shù)、神經(jīng)元、層、數(shù)據(jù)課程...）中發(fā)現(xiàn)。

AI系統(tǒng)的各個(gè)部分如何組合，才能創(chuàng)造出LLM驚人的行為？

他曾在1年前的演講中，給出了更具體的解釋。

地址：https://www.youtube.com/watch?v=XLNmgviQHPA

目前，Bubeck在OpenAI的具體職責(zé)，尚不清楚。

網(wǎng)友有一種強(qiáng)烈預(yù)感，OpenAI下一代小模型即將要來(lái)。

微軟發(fā)言人在聲明中表示，Bubeck已經(jīng)決定離開(kāi)，未來(lái)將進(jìn)一步推進(jìn)AGI的研發(fā)工作。我們期待他在OpenAI工作繼續(xù)保持合作。

雖然領(lǐng)頭人已經(jīng)離開(kāi)，Phi論文大多數(shù)合著者依然留在微軟，并計(jì)劃繼續(xù)開(kāi)發(fā)模型。

OpenAI的新威脅：前CTO Murati

在招聘和留住人才方面，OpenAI可謂是腹背受敵。

是的，它如今正要應(yīng)對(duì)來(lái)自一位剛剛離職員工的挑戰(zhàn)——前首席技術(shù)官M(fèi)ira Murati。

正如前文所說(shuō)，Murati下一個(gè)可能計(jì)劃去創(chuàng)業(yè)，但還有一種可能性，是加盟前OpenAI副總Barret Zoph即將創(chuàng)辦的新公司。

又或是加入其他科技公司，目前仍是未知數(shù)。

據(jù)稱，OpenAI的一些研究員，可能會(huì)對(duì)Murati創(chuàng)業(yè)提議感興趣。

據(jù)三位了解內(nèi)情人士透露，自Liam Fedus晉升為訓(xùn)練后優(yōu)化負(fù)責(zé)人后，OpenAI研究組織正處于動(dòng)蕩之中。

而且，團(tuán)隊(duì)的一些研究人員要求換隊(duì)。

Fedus實(shí)際上接棒了Barret Zoph的職位，他們?cè)诠雀鐰I團(tuán)隊(duì)任職。后者在上個(gè)月25日，與Murati、研究主管Bob McGrew同時(shí)突然宣布離職。

最近，還有一位ChatGPT開(kāi)發(fā)者之一Luke Metz宣布離職，這一事件早于OpenAI員工股份回購(gòu)計(jì)劃。

OpenAI正努力應(yīng)對(duì)，來(lái)自競(jìng)爭(zhēng)對(duì)手的高薪招募。尤其是， Ilya Sutskever創(chuàng)業(yè)的新公司。

鑒于Murati辭職后，Zoph和McGrew表現(xiàn)出的團(tuán)結(jié)姿態(tài)，暗示著她的招攬人才行動(dòng)，可能會(huì)進(jìn)一步考驗(yàn)Sam Altman的人才管理能力。

OpenAI安全研究VP在線招人

巧的是，OpenAI的安全研究副總裁Lilian Weng，同一天在推上發(fā)了一條招聘啟事：

「我們正在招聘安全研究領(lǐng)域的研究科學(xué)家和工程師，熱忱歡迎各路人才加入！研究方向廣泛，包括但不限于：安全模型行為訓(xùn)練、對(duì)抗性魯棒性研究、AI在醫(yī)療保健領(lǐng)域的應(yīng)用、前沿風(fēng)險(xiǎn)評(píng)估等多個(gè)激動(dòng)人心的領(lǐng)域?！?/span>

不過(guò)，對(duì)于現(xiàn)在的OpenAI，網(wǎng)友們并不相信他們會(huì)搞什么模型安全。