一條磁力鏈，Mistral AI又來悶聲不響搞事情。

281.24GB文件中，竟是全新8x22B MOE模型！

全新MoE模型共有56層，48個注意力頭，8名專家，2名活躍專家。

而且，上下文長度為65k。

網(wǎng)友紛紛表示，Mistral AI一如既往靠一條磁力鏈，掀起了AI社區(qū)熱潮。

對此，賈揚清也表示，自己已經(jīng)迫不及待想看到它和其他SOTA模型的詳細對比了！

靠磁力鏈火遍整個AI社區(qū)

去年12月，首個磁力鏈發(fā)布后，Mistral AI公開的8x7B的MoE模型收獲了不少好評。

基準測試中，8個70億參數(shù)的小模型性能超越了多達700億參數(shù)的Llama 2。

它可以很好地處理32k長度的上下文，支持英語、法語、意大利語、德語和西班牙語，且在代碼生成方面表現(xiàn)出強大的性能。

今年2月，最新旗艦版模型Mistral Large問世，性能直接對標GPT-4。

不過，這個版本的模型沒有開源。

Mistral Large具備卓越的邏輯推理能力，能夠處理包括文本理解、轉換以及代碼生成在內的復雜多語言任務。

也就是半個月前，在一個Cerebral Valley黑客松活動上，Mistral AI開源了Mistral 7B v0.2基礎模型。

這個模型支持32k上下文，沒有滑動窗口，Rope Theta = 1e6。

現(xiàn)在，最新的8x22B MoE模型也在抱抱臉平臺上上線，社區(qū)成員可以基于此構建自己應用。