今天突然發(fā)現(xiàn)騰訊開(kāi)源混元大模型，十分震驚，騰訊也來(lái)擠開(kāi)源賽道了，只能說(shuō)大模型開(kāi)源越來(lái)越繁華了。

這次開(kāi)源的主要是MoE模型，有Base模型和Instruct模型，總參數(shù)量389B，激活參數(shù)52B，支持最大上下文256K。

Github: https://github.com/Tencent/Tencent-Hunyuan-Large
Paper: https://arxiv.org/pdf/2411.02265
HF: https://huggingface.co/tencent/Tencent-Hunyuan-Large

由于時(shí)間關(guān)系，還沒(méi)仔細(xì)的閱讀paper，掃了一眼指標(biāo)，不知道為啥沒(méi)跟Qwen2.5-72B比較，但是我單獨(dú)看了幾個(gè)榜單，是要好一些的。

Base模型

Instruct模型

由于本人沒(méi)有16張H800，但又像測(cè)試一下騰訊新開(kāi)源的Hunyuan-Large，因此在官方提供huggingface spaces上進(jìn)行的測(cè)試。

https://huggingface.co/spaces/tencent/Hunyuan-Large

• 將“I love Hunyuan-Large”的所有字母反過(guò)來(lái)寫

說(shuō)明：理解了意圖，但是輸出結(jié)果不正確，沒(méi)有將所有字母反過(guò)來(lái)。

• 9.9和9.11誰(shuí)大

說(shuō)明：結(jié)果正確。

• strawberry有幾個(gè)r

說(shuō)明：結(jié)果錯(cuò)誤，感覺(jué)還是tokenizer的問(wèn)題，但很奇怪為啥沒(méi)單獨(dú)優(yōu)化一下。

• 監(jiān)獄里的都是犯人，為什么警察不去監(jiān)獄里抓壞人

說(shuō)明：結(jié)果正確

• 生蠔煮熟了叫什么？

說(shuō)明：熟蠔。。。。。。。

• 用水來(lái)兌水，得到的是濃水還是稀水

說(shuō)明：稀水。。。。。。。。

• 小紅有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

說(shuō)明：沒(méi)理解，小紅是女生，字母說(shuō)呢，合理也不合理，反正我覺(jué)得小紅是女生。

• 小紅（女）有2個(gè)兄弟，3個(gè)姐妹，那么小紅的兄弟有幾個(gè)姐妹

說(shuō)明：結(jié)果正確

• 未來(lái)的某天，李同學(xué)在實(shí)驗(yàn)室制作超導(dǎo)磁懸浮材料時(shí)，意外發(fā)現(xiàn)實(shí)驗(yàn)室的老鼠在空中飛，分析發(fā)現(xiàn)，是因?yàn)槔鲜蟛恍⌒某粤舜艖腋〔牧?。第二天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的蛇也在空中飛，分析發(fā)現(xiàn)，是因?yàn)樯叱粤死鲜?。第三天，李同學(xué)又發(fā)現(xiàn)實(shí)驗(yàn)室的老鷹也在空中飛，你認(rèn)為其原因是

說(shuō)明：按照我的推理是對(duì)的，但是不應(yīng)該按照事實(shí)知識(shí)回答嘛。

就是測(cè)試了一下，感覺(jué)沒(méi)有其他人說(shuō)的那么強(qiáng)。不過(guò)也是現(xiàn)在開(kāi)源最大的MoE模型了吧。

本文轉(zhuǎn)載自 ??NLP工作站??，作者： 劉聰NLP