就在剛剛，馬斯克Grok大模型宣布重大升級。

難怪之前突然開源了Grok-1，因?yàn)樗懈鼜?qiáng)的Grok-1.5了，主打推理能力。

來自xAI的官方推送啥也沒說，直接甩鏈接。主打一個(gè)“字少事大”

圖片

新版本Grok有啥突破？

一是上下文長度飆升，從8192增長到128k，和GPT-4齊平。

二是推理性能大幅提升，數(shù)學(xué)能力直接漲點(diǎn)50%之多、HumanEval數(shù)據(jù)集上得分超過GPT-4。

消息一出，評論區(qū)立刻就躁起來了。

圖片

具體跑分結(jié)果如何，咱們立馬來看。

Grok-1.5來了

首先，對于上下文窗口。

這次是一把直接提升到之前的16倍，來到128k量級。

這也就意味著Grok可以處理更長和更復(fù)雜的提示，同時(shí)保持其遵循指令的能力。

在“大海撈針”（NIAH）測試中，Grok-1.5在128K token的上下文中完美檢索嵌入的文本。

整個(gè)圖一水兒的藍(lán)色（100%的檢索深度）：

圖片

其次，推理方面。

Grok-1.5處理編程和數(shù)學(xué)相關(guān)任務(wù)的能力大幅提升，全面超越Grok-1、Mistral Large、Claude 2。

數(shù)學(xué)方面，Grok-1.5在MATH基準(zhǔn)測試上得分50.6%，超越中杯Claude 3 Sonnet；GSM8K上得分90%。

編程方面，Grok-1.5在HumanEval基準(zhǔn)測試上得分74.1%，超越中杯Claude 3 Sonnet、Gemini Pro1.5、GPT-4，僅次于大杯Claude 3 Opus。

圖片

看起來，Grok這次的實(shí)力也是不可小覷。

Grok系列與其他大模型相比還有一個(gè)特色，不使用通用的Python語言+Pytorch框架。

據(jù)官方介紹，Grok 1.5采用分布式訓(xùn)練架構(gòu)，使用Rust、JAX+Kubernetes構(gòu)建。

為了提高訓(xùn)練可靠性和維持正常運(yùn)行時(shí)間，團(tuán)隊(duì)提出了自定義訓(xùn)練協(xié)調(diào)器，可自動(dòng)檢測到有問題的節(jié)點(diǎn)，然后剔除。

除此之外，他們還優(yōu)化了checkpointing、數(shù)據(jù)加載和訓(xùn)練重啟等流程，最大限度地減少故障停機(jī)時(shí)間。

這，才速速有了現(xiàn)在的Grok 1.5～

更多信息官方也暫時(shí)還沒有披露。

可以確定的是，新版本未來幾天會先推送給早期測試者。并按照“老規(guī)矩”，很快將在??平臺上線。

網(wǎng)友們表示：Grok進(jìn)步真的相當(dāng)迅速。

圖片

不提別的，Grok新版本各指標(biāo)已經(jīng)全面超越Claude 2。而xAI成立僅一年，只比Anthropic落后9個(gè)月。因此：

打賭12個(gè)月后，xAI完全有可能成為領(lǐng)導(dǎo)者。

圖片

還有人評價(jià)更高，認(rèn)為馬斯克這是發(fā)了另一個(gè)“GPT-4等效模型”，喊著：

OpenAI搞快點(diǎn)啊。

圖片

你期待新版本的Grok嗎？

參考鏈接：[1]https://twitter.com/xai/status/1773510159740063860[2]https://x.ai/blog/grok-1.5