KDD上的一張PPT，再次掀起AI圈的風(fēng)暴。

GPT Next今年準(zhǔn)是跑不了了，而且有效計(jì)算量是GPT-4的100倍，預(yù)示著OpenAI未來模型的能力進(jìn)一步提升。

這是OpenAI日本首席執(zhí)行長Tadao Nagasaki，在KDD 2024峰會上，透露的關(guān)于下一代模型最新信息。

見過這張圖的人，一眼便認(rèn)出，它的出現(xiàn)已經(jīng)不下3次了....

GPT Next今年發(fā)布，瘋狂暗示

5月，在巴黎舉行的Viva科技節(jié)上，OpenAI研究人員也將2024年，發(fā)布的模型稱為GPT Next，性能遠(yuǎn)高于GPT-4。

Nagasaki曾擔(dān)任AWS日本總裁，直到今年4月，正式加盟OpenAI成為日本地區(qū)的負(fù)責(zé)人。

他稱，與傳統(tǒng)軟件相比，AI技術(shù)正在呈指數(shù)級發(fā)展。

他進(jìn)一步表示，雖然GPT-3和GPT-4的能力相對接近，但GPT Next預(yù)計(jì)將取得實(shí)質(zhì)性地性能躍升。

這恰恰呼應(yīng)了微軟Build開發(fā)者大會上，首席技術(shù)官Kevin Scott曾說的話，并暗示著截止今年年底，我們將擁有一個功能更強(qiáng)大的OpenAI模型。

會上，公布的關(guān)于獵戶座（Orion）和草莓項(xiàng)目更多信息包括：

今年發(fā)布的GPT-4 Next，預(yù)計(jì)將使用迷你版草莓進(jìn)行訓(xùn)練，其計(jì)算資源與GPT-4大致相同，有效計(jì)算量是GPT-4的100倍。

這款全新AI模型將在過去基礎(chǔ)上，進(jìn)化近百倍。

這100倍的增長，可能不是指計(jì)算資源的規(guī)模，而是有效計(jì)算量+ 2個OOM，包括對體系結(jié)構(gòu)和學(xué)習(xí)效率的改進(jìn)。

最近曝出的Orion，與GPT-4相比，相當(dāng)于在10k H100上用時幾個月完成訓(xùn)練，增加了10倍的計(jì)算資源規(guī)模，相當(dāng)于+3 OOM，預(yù)計(jì)明年發(fā)布。

此前，Information也爆料稱，OpenAI正在開發(fā)兩個AI新系統(tǒng)：

一個是草莓，在數(shù)學(xué)和編程等領(lǐng)域，有著更高能力的人工智能模型。另一個是獵戶座，可能成為GPT-4的繼任者，或者就是GPT Next。

獵戶座可能會用草莓生成高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，而且會大幅提升邏輯推理能力。

另外，Nagasaki還表示，OpenAI在全球擁有不到2000名員工，其中一半從事人工智能開發(fā)。

另一張，網(wǎng)上流傳的圖稱，不要以GPT-4o的進(jìn)展，來預(yù)測Scaling Law。

大模型相當(dāng)于需要1.5-2年的時間，才能真正進(jìn)化出下一代。

而且，一名三星的高管稱，GPT-5可能有3-5萬億個參數(shù)，而GPT-4僅有1.7萬億。

這背后原因，不言而喻。

先機(jī)大模型的誕生，需要有強(qiáng)大算力基座。

耗資數(shù)百億美元，打造新基建

知情人士稱，Sam Altman正計(jì)算大規(guī)模建設(shè)AI所需的機(jī)器和系統(tǒng)。

而且，這一計(jì)劃將分散在美國各州展開，預(yù)計(jì)將耗資數(shù)百億美金。

今年2月，彭博曾報道，奧特曼一直在尋求美政府對該項(xiàng)目的批準(zhǔn)。

這一項(xiàng)目希望，形成一個全球投資者聯(lián)盟，進(jìn)而為AI發(fā)展所需的基礎(chǔ)設(shè)施提供資金支持。

而最新的細(xì)節(jié)是，目前正討論的項(xiàng)目類型包括，建設(shè)數(shù)據(jù)中心，增加能源容量，利用渦輪機(jī)、發(fā)電機(jī)傳輸電力，并擴(kuò)大半導(dǎo)體制造。

據(jù)稱，支持者可能包括加拿大、韓國、日本、阿聯(lián)酋的投資者。

最近幾周，包括奧特曼在內(nèi)的OpenAI高管，一直在與投資者會面，推進(jìn)這筆交易。OpenAI首席戰(zhàn)略官Jason Kuan還前往日本韓國，與投資者談?wù)撨@項(xiàng)計(jì)劃。

OpenAI還設(shè)想微軟，能夠參與這一項(xiàng)目。

恰在談判之際，OpenAI即將開啟新一輪數(shù)十億美元的融資，將由Thrive Capital牽頭，微軟、蘋果、英偉達(dá)也參與其中。

這輪融資結(jié)束后，OpenAI估值將超過1000億美元。

OpenAI又要截胡谷歌？

一位網(wǎng)友聽到一些傳聞，OpenAI可能于10月17日周四發(fā)布新的東西。

具體是什么，不太確定，有可能是GPT-4o模型更新，也有可能是SearchGPT公開推出。

但有一點(diǎn)可以肯定的是，那就是，它一定不會是全新的前沿模型。

谷歌DeepMind的首席科學(xué)家對此表示，「以一種奇怪的方式得知，我的公司將在10月18日宣布一些事情」。

這樣的情況也確實(shí)屢見不鮮，從年初谷歌Gemini 1.5 Vs OpenAI Sora，再到5月谷歌支持200萬token Gemini 1.5 Pro和OpenAI GPT-4o，一直打到了現(xiàn)在。

而且，幾乎每次重大發(fā)布，OpenAI都要給谷歌來上重重一擊。