馬斯克又又又跳票了！說好年底推出的“重大飛躍”的Grok 3，遲遲未現(xiàn)身！ 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
有沒有人發(fā)現(xiàn)——馬斯克又又又又跳票了？？
你說好“年底”發(fā)的Grok 3呢？不會(huì)是2025年年底吧
“Grok 3經(jīng)過100k H100的訓(xùn)練后，2024年底應(yīng)該會(huì)非常特別?！?/strong>馬斯克在7月的一篇X平臺(tái)帖子中寫道，提到xAI在孟菲斯建立的龐大GPU集群。
圖片
在12月15日的帖子表示，“Grok 3將是一次重大的飛躍”。
圖片
然而，今天都1月3日了，也沒有聽說即將發(fā)布Grok 3的消息！
事實(shí)上，就算最近xAI有所動(dòng)作，也只能期待一個(gè)折中版的2.5了。
根據(jù)推特AI博主Tibor Blaho的帖子，他在xAI網(wǎng)站上發(fā)現(xiàn)的某些代碼表明，可能即將發(fā)布中間模型“Grok 2.5”。
圖片
查看完整代碼可移步：??https://archive.is/FlmBE??
作為馬斯克和奧特曼的“打擂臺(tái)”之作，Grok 系列確實(shí)是一個(gè)成功的攪局者。
也因此，馬斯克預(yù)告的Grok 3將帶來的“飛躍”，在目前稍顯冷清的大模型發(fā)布中備受關(guān)注。
馬斯克本人在做客Fridman的播客中似乎預(yù)想到了Grok將會(huì)面臨的困難。
“你希望Grok 3是最先進(jìn)的？”主持人問道。
“希望是這樣。”馬斯克回答。“我的意思是，這是目標(biāo)。我們可能會(huì)失敗。但這就是我們的愿景?！?/p>
1.AI墻的證明：大模型的下一代集體缺席
這不是馬斯克第一次“畫餅”沒有兌現(xiàn)。眾所周知，馬斯克關(guān)于產(chǎn)品發(fā)布時(shí)機(jī)的聲明通常最多只是理想化的目標(biāo)。
被玩梗后，馬斯克自己都跳出來澄清，“對(duì)于基于時(shí)間的預(yù)測(cè)，我通常以 50% 的百分位數(shù)日期為目標(biāo)，這意味著我的預(yù)測(cè)一半會(huì)遲到，一半會(huì)提前?！?/p>
圖片
但Grok 3的缺席卻有所不同，因?yàn)樗恰癆I撞墻”論調(diào)中不斷增加的證據(jù)之一。
去年，AI初創(chuàng)公司Anthropic未能按時(shí)推出其頂級(jí)Claude 3 Opus模型的繼任者。在宣布下一代模型Claude 3.5 Opus將在2024年底發(fā)布幾個(gè)月后，Anthropic將該模型的相關(guān)信息從開發(fā)者文檔中刪除了。（根據(jù)一份報(bào)告，Anthropic確實(shí)在去年完成了Claude 3.5 Opus的訓(xùn)練，但決定發(fā)布它并不符合經(jīng)濟(jì)效益。）
據(jù)報(bào)道，谷歌和OpenAI最近幾個(gè)月也在其旗艦?zāi)Ｐ蜕显庥隽舜煺邸?/p>
這可能是當(dāng)前AI Scaling Law“過時(shí)”的證據(jù)——即公司們正在采用的增加模型能力的方法似乎已經(jīng)失靈。
在不久前，使用大量計(jì)算資源和更大規(guī)模的數(shù)據(jù)集來訓(xùn)練模型，能夠獲得顯著的性能提升。但隨著每一代模型的推出，增益開始縮小，這促使公司們尋求替代技術(shù)。
Grok 3推遲的原因可能有其他方面。例如，xAI的團(tuán)隊(duì)規(guī)模比許多競(jìng)爭(zhēng)對(duì)手小得多。
2.變得冷清的模型圈：上一代旗艦?zāi)Ｐ偷耐瞥鰰r(shí)間
在AI模型最瘋狂的成長(zhǎng)期，幾乎每一天都能在AI報(bào)道的標(biāo)題中看到“一夜變天”“新王登場(chǎng)”這樣的詞匯。
曾經(jīng)有多熱鬧，現(xiàn)在就有多落寞。
過去的半年，雖然依舊有很多強(qiáng)大的模型推出，但旗艦?zāi)Ｐ偷陌l(fā)布節(jié)奏明顯變得遲緩了。
以下是一些AI科技巨頭，和他們的旗艦?zāi)Ｐ屯瞥鰰r(shí)間，能夠更直觀地感受到“下一代模型”的空缺已久：
OpenAI - GPT-4
發(fā)布時(shí)間：2023年3月
Google DeepMind - Gemini 1.5
發(fā)布時(shí)間：2024年2月
Anthropic - Claude 3.5
發(fā)布時(shí)間：2024年6月
Meta-Llama 3.1
發(fā)布時(shí)間：2024年7月
xAI - Grok 2
發(fā)布時(shí)間：2024年8月
OpenAI-o1
發(fā)布時(shí)間：2024年9月
??許多觀點(diǎn)（包括OpenAI前首席研究官）認(rèn)為o1其實(shí)就是“下一代模型”。??該模型的計(jì)算能力是GPT-4的100倍。
然而，o1 能力增長(zhǎng)來源于思維鏈的加持，而非傳統(tǒng)的Scaling Law。
由此可見，從去年下半年開始，大模型的發(fā)展似乎已經(jīng)陷入了集體“啞火”的狀態(tài)，呈現(xiàn)出傳說中的那面無形的“墻”的輪廓。
3.另辟蹊徑，大模型要繞過那面墻
年底Ilya一句“預(yù)訓(xùn)練走向終結(jié)”在AI圈掀起討論的狂潮。
觀之國(guó)內(nèi)，AI大佬也紛紛尋找AI訓(xùn)練的轉(zhuǎn)機(jī)與突破。
其中，月之暗面的創(chuàng)始人楊植麟是對(duì)預(yù)訓(xùn)練仍抱有樂觀的少數(shù)派。在Kimi數(shù)學(xué)模型發(fā)布的時(shí)候，他說自己“對(duì)Scaling Law仍然樂觀，認(rèn)為預(yù)訓(xùn)練模型還有半代到一代的提升空間，這個(gè)空間大概率會(huì)由頭部大模型在明年釋放出來?！?/p>
但他也依然承認(rèn)，Scaling Law的范式有所變化：“做Post-train（后訓(xùn)練）也要Scaling，只是說你Scaling的起點(diǎn)很低?？赡芎荛L(zhǎng)一段時(shí)間，你的算力就不會(huì)是瓶頸，這個(gè)時(shí)候創(chuàng)新能力是更重要的?！?/p>
在媒體報(bào)道中，上海人工智能實(shí)驗(yàn)室主任助理、領(lǐng)軍科學(xué)家喬宇同樣表示“并不是說Scaling Law要被拋棄了，而是應(yīng)該尋找新的Scaling Law維度，很多難題并不能單純靠擴(kuò)大模型規(guī)模、數(shù)據(jù)、算力解決，我們需要更豐富的模型架構(gòu)和更高效的學(xué)習(xí)方法，同時(shí)也希望在AGI發(fā)展過程中，能有來自中國(guó)的核心貢獻(xiàn)，找到與中國(guó)資源稟賦更加匹配的、自主的技術(shù)路線”。
階躍星辰首席科學(xué)家張祥雨則更“激進(jìn)”一些，他直白表示，他對(duì)萬(wàn)億以上參數(shù)大模型的能力提升，并不絕對(duì)樂觀。他說“根據(jù)我們的觀察，隨著大模型規(guī)模的不斷擴(kuò)大，歸納相關(guān)的能力快速提升，而且可能會(huì)繼續(xù)遵循Scaling Law，但其演繹能力，包括數(shù)學(xué)和推理方面的能力，隨著模型Side進(jìn)一步提升，不僅沒有增長(zhǎng)，反而在下降。”
參考鏈接：
??https://techcrunch.com/2025/01/02/xais-next-gen-grok-model-didnt-arrive-on-time-adding-to-a-trend/??
??https://user.guancha.cn/main/content?id=1353634??
本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)
