微軟內(nèi)部工程師突爆料:OpenAI下一代模型11月即將上架,今天離職的AGI顧問:今天Lastday 原創(chuàng)
編輯 | 言征
出品 | 51CTO技術(shù)棧(微信號(hào):blog51cto)
大消息,OpenAI的下一代前沿模型獵戶座已經(jīng)籌備發(fā)布了?
24晚間消息,外媒 The Verge 得到微軟內(nèi)部工程師的曝料稱:該公司預(yù)計(jì)最早在11月就能獲得對(duì)OpenAI醞釀已久的Orion訪問權(quán)限,以便他們構(gòu)建自己的產(chǎn)品和功能,這位工程師正在準(zhǔn)備在Azure上托管Orion的工作。
不過,Verge報(bào)道,這次Orion發(fā)布于此前版本不同,OpenAI會(huì)先給受信任的合作伙伴發(fā)布該模型,之后才會(huì)通過ChatGPT更廣泛地推出。
此外,該知情人員還透露,這個(gè)模型最后會(huì)不會(huì)被稱為GPT-5,還沒有確定。
不過這一消息尚未得到OpenAI的證實(shí)。該公司內(nèi)部員工回應(yīng),這一報(bào)道并不準(zhǔn)確,但吊詭的是,也沒有進(jìn)一步闡述詳情。
1.下一代GPT,OpenAI高管透露了哪些
繼OpenAI最新發(fā)布的可媲美擴(kuò)散模型的、連續(xù)時(shí)間一致性模型sCM后,這是最新有關(guān)OpenAI推出新模型的一則消息。
Orion一直被業(yè)界視為GPT-4的下一代SATA模型,早在今年9月3日,OpenAI的一名高管OpenAI Japan的 Nagasaki,在公布了“GPT Next”的計(jì)劃時(shí),用千倍GPT-4的性能提升來描述Orion:
這款A(yù)I模型(GPT Next)的計(jì)算量目標(biāo)是GPT-4的100倍,使用相似的資源,但架構(gòu)和效率都有所提升。它將在今年晚些時(shí)候以緊湊的Strawberry版本(也就是今天大家知道的o1模型)發(fā)布。
Nagasaki還提到了在10000個(gè)H100 GPU上訓(xùn)練的Orion,其計(jì)算規(guī)模會(huì)再增加10倍,使得總計(jì)算量達(dá)到當(dāng)前GPT-4的3個(gè)數(shù)量級(jí)以上。這些令人振奮的進(jìn)展標(biāo)志著AI能力進(jìn)入了一個(gè)新時(shí)代。
圖片
緊接著是11天后,OpenAI CEO奧特曼直接出來為Orion做預(yù)告:冬季的星座很快就要升起了。
圖片
冬天哪個(gè)星座最亮眼,無疑就是獵戶座(Orion)了。
除了這些高管對(duì)于Orion的爆料,還有兩個(gè)OpenAI不可回避的關(guān)鍵事實(shí):
首先,OpenAI正在經(jīng)歷前所未有的員工離職動(dòng)蕩期,前不久元老級(jí)董事會(huì)成員的分道揚(yáng)鑣的消息剛剛消退,但帶來的連鎖反應(yīng)依舊十分劇烈:首席技術(shù)官 Mira Murati隨著o1模型的發(fā)布后立即宣布了離職,同時(shí)離職的還有公司首席研究官 Bob McGrew 和后期訓(xùn)練副總裁 Barret Zoph。
人員流動(dòng)并沒有結(jié)束,就在今天,任職6年的AGI準(zhǔn)備工作高級(jí)顧問的Miles Brundage也將迎來在OpenAI的lastday。
圖片
另一個(gè)不可忽視的變化是,OpenAI剛剛以 1570 億美元的估值完成了歷史性的 66 億美元融資,但該輪融資要求該公司將自身重組為營利性實(shí)體。
這也意味著,奧特曼治下的OpenAI正在徹底走向不斷融資繼而IPO的商業(yè)道路。
一面是公司全面重組為商業(yè)實(shí)體,一面是元老級(jí)員工的高頻流動(dòng),這對(duì)于Orion或者GPT-5的發(fā)布而言,都不是一個(gè)特別利好的消息。
2.離職員工研究員:別激動(dòng),下一代AI沒有Ready
昨天,OpenAI的老員工Brundage 在解釋為什么離開OpenAI的博客中,提到了OpenAI目前的進(jìn)展和困境。
關(guān)于Brundage,大家可能不太熟悉,他在OpenAI已經(jīng)工作了六年多,按照OpenAI的標(biāo)準(zhǔn)來說這已經(jīng)很久了(這六年里OpenAI已經(jīng)今非昔比?。?/p>
Brundage最初擔(dān)任政策團(tuán)隊(duì)的研究科學(xué)家,后來成為政策研究主管,目前擔(dān)任AGI(通用人工智能)準(zhǔn)備工作的高級(jí)顧問。其領(lǐng)導(dǎo)過的團(tuán)隊(duì)(政策研究和AGI準(zhǔn)備工作團(tuán)隊(duì))在塑造OpenAI的部署實(shí)踐方面做了很多非常重要的工作,例如為外界所致的外部紅隊(duì)計(jì)劃、推動(dòng)制定前幾個(gè)OpenAI系統(tǒng)卡片,以及發(fā)表了大量關(guān)于語言模型和AI代理的社會(huì)影響、前沿AI監(jiān)管、計(jì)算能力治理等主題的有影響力的工作等等。
他在文中表示:他在創(chuàng)建 OpenAI 的 AI/AGI 水平5級(jí)量表方面發(fā)揮了重要作用。通過這個(gè)量表,接下來的AI模型組織工作都會(huì)據(jù)此展開,直至實(shí)現(xiàn)AGI。而OpenAI 認(rèn)為世界目前處于第二級(jí)的懸崖邊上,其特征是具有人類水平推理能力的 AI。
雖然參與制定了這一規(guī)劃,但Brundage 堅(jiān)持認(rèn)為 OpenAI 和整個(gè)世界都沒有為正在構(gòu)建的下一代 AI 系統(tǒng)做好準(zhǔn)備。
言外之意,即便是OpenAI,也難以推出有真正意義的L3級(jí)別(智能體)的AI大模型,也就是說Orion也好、GPT-5也好,大概率也不太會(huì)有質(zhì)的躍遷。
圖片
值得注意的是,Brundage 對(duì)于AGI是否可以造福人類也發(fā)表了看法:
雖然 AGI 可以造福全人類,但它不會(huì)自動(dòng)造福。相反,負(fù)責(zé)制造它——并監(jiān)管它——的人類必須有意識(shí)地去做這件事。
這一警告也透露出,他可能認(rèn)為 OpenAI 在如何處理 AGI 管理方面沒有經(jīng)過足夠的深思熟慮。
Brundage 表示,隨著高級(jí)研究員的離職,OpenAI 正在將其 AGI 準(zhǔn)備團(tuán)隊(duì)的成員重新分配到組織內(nèi)的其他小組。此次解散是在它解散其 AI 安全團(tuán)隊(duì)不到六個(gè)月后發(fā)生的,這并不完全是個(gè)好兆頭,因?yàn)樽钚碌拇笈妻o職動(dòng)搖了公司的領(lǐng)導(dǎo)層。
目前大模型能力的瓶頸加上OpenAI對(duì)于安全方面的重視程度的減弱的證據(jù)表明,下一代AI系統(tǒng)并未Ready。
用Brundage自己的話說:“我在OpenAI已經(jīng)完成了大部分我原本打算做的事情”,意即他不認(rèn)為在OpenAI還能繼續(xù)做自己規(guī)劃的事情了。
3.離開OpenAI的三個(gè)理由
不少高管和高級(jí)研究員選擇離開了OpenAI,前CTO Mira離職時(shí)隱晦的表達(dá):在這個(gè)時(shí)刻(o1感剛發(fā)布的高光時(shí)刻)決定離開是合理的。Brundage則從研究員的視角給出了自己的答案,這個(gè)答案可能更接地氣些——
圖片
“我決定從行業(yè)外部而非內(nèi)部去影響和推動(dòng)AI的發(fā)展。有幾個(gè)方面的考慮指向了這一結(jié)論?!?/p>
第一,機(jī)會(huì)成本已經(jīng)變得非常高:我沒有時(shí)間去研究我認(rèn)為重要的各種研究課題,而且在某些情況下,我認(rèn)為如果我在行業(yè)外部研究這些課題,它們的影響會(huì)更大。OpenAI現(xiàn)在備受矚目,其產(chǎn)出也從許多不同的角度被審視,因此我很難發(fā)表關(guān)于所有對(duì)我而言重要的課題的論文。需要明確的是,雖然我不能說我總是同意OpenAI對(duì)論文審查的立場(chǎng),但我確實(shí)認(rèn)為,在行業(yè)內(nèi)部存在一些出版限制是合理的(我也曾幫助撰寫過OpenAI政策的幾個(gè)版本),但對(duì)我來說,這些限制已經(jīng)太多了。
第二,“我希望減少偏見”。當(dāng)你成為某個(gè)組織的一員,并且每天與那里的人密切合作時(shí),就很難對(duì)這個(gè)組織保持公正。考慮到存在財(cái)務(wù)利益沖突,人們有理由質(zhì)疑來自行業(yè)的政策想法。我盡量在分析中保持公正,但我肯定會(huì)有一些偏見,當(dāng)然,在OpenAI工作也會(huì)影響人們?nèi)绾慰创业年愂鲆约皝碜孕袠I(yè)內(nèi)部其他人的陳述。我認(rèn)為,在政策對(duì)話中,需要有更多獨(dú)立于行業(yè)的聲音,我計(jì)劃成為其中之一。
第三,“我在OpenAI已經(jīng)完成了大部分我原本打算做的事情”。自從他開始擔(dān)任AGI準(zhǔn)備工作高級(jí)顧問這一最新職務(wù)以來,就已經(jīng)開始更明確地思考兩種類型的AGI準(zhǔn)備工作——OpenAI管理日益強(qiáng)大的AI能力的準(zhǔn)備,以及世界有效管理這些能力(包括通過監(jiān)管OpenAI和其他公司)的準(zhǔn)備。
而關(guān)于前者,Brundage會(huì)向高管和董事會(huì)講述了相當(dāng)多關(guān)于其認(rèn)為OpenAI需要做的事情以及存在的差距的內(nèi)容;關(guān)于后者,Brundage認(rèn)為他在外部反而可以發(fā)揮更大的作用。
參考鏈接:
??https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im??
??https://www.theverge.com/2024/10/24/24278363/microsoft-openai-next-model-orion-notepad??
本文轉(zhuǎn)載自??51CTO技術(shù)棧??,作者:言征
