家人們，GPT-4的參數(shù)可能還真不止1萬(wàn)億！

近來(lái)，美國(guó)知名駭客George Hotz在接受采訪(fǎng)時(shí)透露，GPT-4由8個(gè)220B模型組成。

這么算來(lái)，8 x 220B = 1.76萬(wàn)億。

就連PyTorch的創(chuàng)建者Soumith Chintala對(duì)此也深信不疑。

GPT-4：8 x 220B專(zhuān)家模型用不同的數(shù)據(jù)/任務(wù)分布和16-iter推理進(jìn)行訓(xùn)練。

如果真是這樣的話(huà)，GPT-4的訓(xùn)練可能更加有效。

1.76萬(wàn)億「八頭蛇」？

在GPT-4還未放出之前，GPT-3有1750億個(gè)參數(shù)，一眾網(wǎng)友猜測(cè)GPT-4豈不是要逆天，最起碼1萬(wàn)億。

而George在接受Latent Space的采訪(fǎng)時(shí)，對(duì)GPT4架構(gòu)的描述著實(shí)讓人震驚。

他的部分原話(huà)如下：

GPT-4每個(gè)head都有2200億參數(shù)，是一個(gè)8路的混合模型。所以，混合模型是當(dāng)你想不出辦法的時(shí)候才會(huì)做的。OpenAI訓(xùn)練了相同模型8次，他們有一些小技巧。他們實(shí)際上進(jìn)行了16次推斷。

他特別強(qiáng)調(diào)，OpenAI做了8個(gè)混合專(zhuān)家模型，任何人可以花8倍資金都能訓(xùn)練出來(lái)。

也就是說(shuō)，人們能夠訓(xùn)練更小模型更長(zhǎng)時(shí)間，微調(diào)后，就能找到這些技巧。

OpenAI曾經(jīng)發(fā)表類(lèi)似關(guān)于讓計(jì)算量不變的情況下，讓訓(xùn)練更好的算法，比較像BatchNorm和NoBatchNorm。

網(wǎng)友熱評(píng)

就像George所說(shuō)，這是8個(gè)較小的模型，如果有足夠資金訓(xùn)練8個(gè)混合模型，這是一個(gè)微不足道的解決方案。

所以，GPT-4是GPT-3的10倍，而1月份的所有小圈圈大圈圈的meme實(shí)際上是......真的？！

網(wǎng)友得知秘訣后，打算自己也要訓(xùn)練一個(gè)LLaMA集合體與GPT-4競(jìng)爭(zhēng)。

還有網(wǎng)友稱(chēng)，這有點(diǎn)像LLM-Blender。

我早就聽(tīng)到了稍微可信的傳言，說(shuō)GPT-4將是MoE，但從未得到證實(shí)。MoE和大約1萬(wàn)億個(gè)參數(shù)不會(huì)讓我感到驚訝，這聽(tīng)起來(lái)極為合理。

還有網(wǎng)友進(jìn)行深度分析：

老實(shí)說(shuō)，我預(yù)計(jì)這將是人工智能架構(gòu)的下一階段。我們已經(jīng)看到特定任務(wù)模型在任務(wù)中的表現(xiàn)比一般模型好得多。

因此，將許多特定任務(wù)模型組合在一起將是下一個(gè)合乎邏輯的步驟。這幾乎使升級(jí)系統(tǒng)變得容易得多，一次只能處理一個(gè)模型。

話(huà)雖如此，OpenAI以一種未來(lái)可能會(huì)，也可能不會(huì)的方式做到了這一點(diǎn)。顯然，組合系統(tǒng)可能會(huì)有更多的小模型，而不是幾個(gè)更大的模型。

如果這是真的，這是否意味著每個(gè)220B模型也有32K的上下文長(zhǎng)度？

網(wǎng)友下了功夫，給它命名為「九頭蛇」。