10 月 9 日消息，昨天，財(cái)聯(lián)社爆料稱百度的文心大模型 4.0 正在加緊訓(xùn)練，已經(jīng)接近可發(fā)布狀態(tài)。今天，IT之家也扒到了更多關(guān)于文心 4.0 的消息，涉及了底層架構(gòu)、基礎(chǔ)設(shè)施、訓(xùn)練數(shù)據(jù)集、成本等關(guān)鍵信息。

先說(shuō)核心結(jié)論：

• 1、昨天的爆料基本屬實(shí)。目前了解到，文心大模型 4.0 實(shí)際上已經(jīng)在小流量測(cè)試。
• 2、文心 4.0 參數(shù)量大于所有已公開(kāi)發(fā)布參數(shù)的 LLM，也是國(guó)內(nèi)首次使用萬(wàn)卡集群訓(xùn)練的大模型。
• 3、推理成本相比文心 3.5 增加很多，據(jù)傳大概是 8-10 倍。（大模型真的很費(fèi)錢）

接下來(lái)我們看看爆料的細(xì)節(jié)。

萬(wàn)卡集群訓(xùn)練的史上最大參數(shù)模型？

根據(jù)IT之家拿到的消息，文心大模型 4.0 的參數(shù)規(guī)模要大于目前所有公開(kāi)發(fā)布參數(shù)的 LLM，這意味著文心大模型 4.0 的參數(shù)規(guī)模預(yù)計(jì)能突破萬(wàn)億級(jí)別。

單看這個(gè)參數(shù)量，很多人會(huì)覺(jué)得還好，畢竟根據(jù)目前揭秘的信息，GPT-4 的參數(shù)量已經(jīng)在 1.8 萬(wàn)億左右。但爆料人進(jìn)一步表示，文心大模型 4.0 仍然是一個(gè)單一模型，并沒(méi)有采用 GPT 和很多其他大語(yǔ)言模型使用的混合專家模型（MoE）。

之前“天才黑客”喬治?霍茲就爆料，GPT-4 之所以采用混合模型，是因?yàn)闊o(wú)法讓模型的參數(shù)規(guī)模超過(guò) 2200 億。OpenAI 希望模型變得更好，但如果僅僅是訓(xùn)練時(shí)間更長(zhǎng)，效果已經(jīng)遞減。

所以，如果百度能實(shí)現(xiàn)單一模型上的突破，模型能力是否也會(huì)有明顯的提升，這個(gè)只能等真正發(fā)布之后來(lái)看了。

這么大參數(shù)量的模型，對(duì)算力要求注定不會(huì)小?，F(xiàn)在的消息是，文心 4.0 是在萬(wàn)卡 AI 集群上訓(xùn)練出來(lái)的，應(yīng)該也算上是國(guó)內(nèi)首次使用萬(wàn)卡規(guī)模集群進(jìn)行訓(xùn)練的大語(yǔ)言模型。

萬(wàn)卡集群什么概念，國(guó)內(nèi)目前只有華為、阿里透露已建成萬(wàn)卡 AI 集群，但我們都沒(méi)看到基于它推出的具體模型。

這說(shuō)明，萬(wàn)卡集群就不容易建了，如果用起來(lái)發(fā)揮最大化作用則更難了。據(jù)分析正是因?yàn)轱w槳的深度聯(lián)合，才能基于萬(wàn)卡集群訓(xùn)練起如此規(guī)模的模型。

成本激增，已低調(diào)面向公眾小流量測(cè)試

不僅訓(xùn)練成本在增加，文心 4.0 的推理成本也被爆比 3.5 增加很多，IT之家還沒(méi)拿到具體每千 token 的推理成本，但據(jù)傳大概是此前的 8-10 倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計(jì)成本還會(huì)繼續(xù)增加。

最后，根據(jù)內(nèi)部員工的說(shuō)法，百度實(shí)際上已經(jīng)開(kāi)始秘密小流量測(cè)試文心大模型 4.0，有小部分文心一言用戶在使用的已經(jīng)是最新的模型版本，最快下周就會(huì)官方公布。

不少人認(rèn)為這個(gè)說(shuō)法比較靠譜，也可以從最近技術(shù)社區(qū)上的一些爆料上看出一點(diǎn)端倪。說(shuō)不定，你現(xiàn)在在文心一言上提問(wèn)，用的就是文心大模型 4.0 了。不知道生成的結(jié)果是否能跟 GPT-4 一戰(zhàn)。

IT之家再次強(qiáng)調(diào)，以上并非官方確認(rèn)的信息，大家自行判斷其準(zhǔn)確性。