Mistral-Medium竟然意外泄露？此前僅能通過API獲得，性能直逼GPT-4。

CEO最新發(fā)聲：確有其事，系早期客戶員工泄露。但仍表示敬請期待。

圖片

換句話說，這個版本尚且還是舊的，實際版本性能還會更好。

這兩天，這個名叫“Miqu”的神秘模型在大模型社區(qū)里炸了鍋，不少人還懷疑這是LIama的微調(diào)版本。

圖片

對此Mistral CEO也做出了解釋， Mistral Medium是在Llama 2基礎上重新訓練的，因為需盡快向早期客戶提供更接近GPT-4性能的API， 預訓練在Mistral 7B發(fā)布當天完成。

如今真相大白，CEO還賣關子，不少網(wǎng)友在底下戳戳手期待。

圖片

圖片

Mistral-Medium意外泄露

我們還是重新來回顧一下整個事件。1月28日，一個名叫Miqu Dev的神秘用戶在HuggingFace上發(fā)布一組文件“miqu-1-70b”。

圖片

文件指出新LLM的“提示格式”以及用戶交互方式同Mistral相同。

同一天，4chan上一個匿名用戶發(fā)布了關于miqu-1-70b文件的鏈接。

于是乎一些網(wǎng)友注意到了這個神秘的模型，并且開始進行一些基準測試。

結果驚人發(fā)現(xiàn)，它在EQ-Bench 上獲得83.5 分（本地評估），超過世界上除GPT-4之外的所有其他大模型。

一時間，網(wǎng)友們強烈呼吁將這個大模型添加到排行榜中，并且找出背后的真實模型。

大致懷疑方向主要有三個：

• 與Mistral-Medium是同一個模型。

有網(wǎng)友曬出了對比效果：它知道標準答案還說得過去，但不可能連俄語措辭也跟Mistral-Medium完全相同吧。

圖片

• Miqu應該是LIama 2的微調(diào)版本。

但另外的網(wǎng)友發(fā)現(xiàn)，它并不是MoE模型，并且同LIama 2架構相同、參數(shù)相同、層數(shù)相同，。

圖片

不過馬上就受到其他網(wǎng)友的質疑，Mistral 7b也具有與 llama 7B 相同的參數(shù)和層數(shù)。

相反，這更像是Mistral早期非MoE版本模型。

圖片

不過討論來討論去，不可否認的是在不少人心中，這已經(jīng)是最接近GPT-4的模型了。

圖片

如今，Mistral 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Arthur Mensch承認泄露，是他們一位早期客戶員工過于熱情，泄露了他們訓練并公開發(fā)布的一個舊模型量化版本。

至于Perplexity這邊CEO也澄清說，他們從未獲得過Mistral Medium的權重。

圖片

網(wǎng)友擔心是否會撤下這個版本。

圖片

有趣的是，Mensch并沒有要求刪除HuggingFace上的帖子。

圖片

而是留下評論說：可能會考慮歸屬問題。

參考鏈接：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
[2]https://twitter.com/teortaxesTex/status/1752427812466593975
[3]https://twitter.com/N8Programs/status/1752441060133892503
[4]https://twitter.com/AravSrinivas/status/1752803571035504858