Grok-1官宣開源不過半月，新升級的Grok-1.5出爐了。

剛剛，馬斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。

并且，很快就會上線。

11天前，Grok-1模型的權(quán)重和架構(gòu)開源，展示了Xai在去年11月之前取得的進展。

Grok-1有3140億參數(shù)，是Llama 2的4倍大，而且采用的是MoE架構(gòu)，8個專家中2個是活躍專家。

Xai介紹，也就是從那時起，團隊改進了最新模型Grok-1.5的推理和解決問題的能力。

OpenAI前開發(fā)者關(guān)系負責人表示，從xAI重大發(fā)布的時間可以看出他們前進的步伐和緊迫感。令人振奮！

128K上下文，Grok-1.5數(shù)學推理能力暴漲

根據(jù)官方介紹，Grok-1.5改進了推理能力，上下文長度為128K。

Grok-1.5最顯著的改進之一是，它在編碼和數(shù)學相關(guān)任務(wù)中的表現(xiàn)。

在測試中，Grok-1.5在數(shù)學基準上取得50.6%的得分，在GSM8K基準上獲得了90%，這兩個數(shù)學基準涵蓋了從小學到高中的各種競賽問題。

此外，在評估代碼生成和解決問題能力的HumanEval基準測試中，Grok-1.5獲得了74.1%的高分。

從下圖中，與Grok-1相比，可以看出Grok-1.5在數(shù)學方面的能力得到大幅提升，GSM8K上從62.9%改進到90，MATH上從23.9%提升到50.6%。

128K長語境理解，擴增16倍

Grok-1.5另一全新特點是，能夠在其上下文窗口內(nèi)處理高達128K token的文本。

這使Grok的內(nèi)存容量，增加到以前上下文長度的16倍，從而使它能夠利用更長的文檔中的信息。

此外，新模型還可以處理更長和更復(fù)雜的提示，同時在其上下文窗口擴展時仍保持其指令跟隨能力。

在Needle In A Haystack（NIAH）評估中，Grok-1.5 展示了強大的檢索能力，可檢索長度達 128K 字節(jié)的上下文中的嵌入文本，并取得了完美的檢索結(jié)果。

Grok-1.5基礎(chǔ)設(shè)施

Grok-1.5構(gòu)建在基于JAX、Rust和Kubernetes的定制分布式訓練框架之上。

這個訓練堆?？梢宰寈AI團隊能夠以最少的投入，大規(guī)模構(gòu)建創(chuàng)意，以及訓練新的架構(gòu)。

在大型計算群集上進行訓練LLM的一個主要挑戰(zhàn)是，最大限度地提高訓練任務(wù)的可靠性和正常運行時間。

xAI定制的訓練編排器，可確保自動檢測有問題的節(jié)點，并將其從訓練任務(wù)剔除。

與此同時，他們還優(yōu)化了檢查點、數(shù)據(jù)加載和訓練任務(wù)的重啟，以最大限度地減少發(fā)生故障時的停機時間。

xAI表示，Grok-1.5將很快提供給早期測試者，以幫助改進模型。

博客還預(yù)告了Grok-1.5將在未來幾天里推出幾個新功能。

最后，xAI還是一如既往地po出了招募信息。