距離 OpenAI 最初發(fā)布 GPT-4 已經(jīng)過(guò)去差不多 4 個(gè)月的時(shí)間了。然而，隨著時(shí)間的推移，近期，網(wǎng)上開(kāi)始出現(xiàn)了一些質(zhì)疑聲，他們認(rèn)為世界上最強(qiáng)大的 GPT-4 變得不那么強(qiáng)大了。

有些業(yè)內(nèi)人士認(rèn)為，這可能和 OpenAI 對(duì)該系統(tǒng)的重大重新設(shè)計(jì)有關(guān)。

其實(shí)，最近幾周，我們或多或少的在網(wǎng)上看到 GPT-4 的用戶們對(duì)其性能下降怨聲載道，有用戶稱這個(gè)模型與其先前的推理能力以及其他輸出相比變得「懶惰（lazier）」和「愚笨（dumber）」。

不僅如此，在 Twitter 和 OpenAI 的在線開(kāi)發(fā)者論壇的評(píng)論中，用戶們表達(dá)了對(duì)這一問(wèn)題的不滿，例如 GPT-4 的邏輯能力減弱、錯(cuò)誤回答增多、對(duì)提供的信息失去追蹤能力……

GPT-4 到底變得如何了，我們看看網(wǎng)友反饋。

GPT-4「變笨」，抱怨聲不斷

一位使用 GPT-4 進(jìn)行網(wǎng)站開(kāi)發(fā)的網(wǎng)友寫道：「現(xiàn)在的 GPT-4 非常令人失望。那感覺(jué)就像你開(kāi)了一個(gè)月的法拉利，它突然變成了一輛破舊的皮卡車。照這樣下去，我不確定我是否愿意為此付費(fèi)。」

還有用戶表示：「我使用 ChatGPT 已經(jīng)有一段時(shí)間了，自從 GPT-4 發(fā)布以來(lái)，我一直是 GPT Plus 的付費(fèi)用戶。過(guò)去幾天里，GPT-4 似乎在之前做得很好的事情上遇到了困難。我在使用 GPT-4 時(shí)，過(guò)去，它似乎能很好地理解我的請(qǐng)求?，F(xiàn)在，它對(duì)信息的追蹤能力下降了，給我提供的信息有誤，而且經(jīng)常誤解我的問(wèn)題。」

圖片

Roblox 的產(chǎn)品負(fù)責(zé)人 Peter Yang 在 Twitter 上聲稱，GPT-4 的輸出速度變快了，但輸出質(zhì)量卻更差了。例如一些簡(jiǎn)單的問(wèn)題，比如讓它輸出更清晰簡(jiǎn)潔、更有創(chuàng)意的文字任務(wù)上。GPT-4 給出的結(jié)果在我看來(lái)，質(zhì)量下降了：

圖片

「GPT-4 開(kāi)始一遍又一遍地循環(huán)輸出代碼和其他信息。與之前相比，它就像腦死亡了一樣。如果你沒(méi)有真正見(jiàn)識(shí)過(guò)它之前的能力，你可能不會(huì)注意到。但如果你之前充分使用了 GPT-4，你會(huì)明顯感覺(jué)到它變得更愚蠢。」另一位用戶抱怨道。

圖片

「我對(duì) GPT-4 的反應(yīng)質(zhì)量也有同樣的問(wèn)題，有誰(shuí)知道一種方法來(lái)排除或糾正這種情況？」

圖片

「我確實(shí)注意到了這一點(diǎn)。在一天中的某些時(shí)候，它似乎只記得最近的提示。但在一整天的使用中，GPT-4 性能似乎有波動(dòng)，不同時(shí)間進(jìn)行嘗試，感覺(jué)性能不一樣?！?/span>

圖片

通過(guò)網(wǎng)友的反饋，看來(lái)大家都感受到了 GPT-4 變笨的事實(shí)。

從前是又慢又貴，現(xiàn)在是快但不準(zhǔn)確

去年年底，OpenAI 發(fā)布 ChatGPT 震驚整個(gè) AI 界，最初 ChatGPT 運(yùn)行在 GPT-3 和 GPT-3.5 之上。3 月中旬，GPT-4 發(fā)布，并迅速成為開(kāi)發(fā)者和其他科技行業(yè)人士的首選模型。

GPT-4 被認(rèn)為是廣泛可用的最強(qiáng)大的 AI 模型，具備多模態(tài)功能，可以理解圖像和文本輸入。根據(jù) Lamini 創(chuàng)業(yè)公司首席執(zhí)行官 Sharon Zhou 的說(shuō)法，它雖然慢但非常準(zhǔn)確。

然而，幾周前，情況開(kāi)始發(fā)生轉(zhuǎn)變，雖然 GPT-4 變得更快，但性能明顯下降了，這引發(fā)了整個(gè) AI 社區(qū)的討論，根據(jù) Sharon Zhou 和其他專家的說(shuō)法，這意味著一個(gè)重大的變化正在進(jìn)行中。

他們認(rèn)為 OpenAI 正在創(chuàng)建幾個(gè)較小的 GPT-4 模型，這些模型的功能類似于大型模型，但運(yùn)行成本更低。

幾天前 SemiAnalysis 發(fā)布的一篇付費(fèi)訂閱內(nèi)容也談到這一點(diǎn)。文中提到了 OpenAI 能夠通過(guò)使用混合專家（MoE）模型來(lái)保持合理成本。他們?cè)谀Ｐ椭惺褂昧?16 個(gè)專家模型，每個(gè)專家模型大約有 111B 個(gè)參數(shù)。這些專家模型中的 2 個(gè)被路由到每個(gè)前向傳遞。

「這些較小的專家模型分別針對(duì)不同的任務(wù)和領(lǐng)域進(jìn)行了訓(xùn)練?？赡軙?huì)有一個(gè)針對(duì)生物學(xué)的迷你 GPT-4，以及其他可用于物理學(xué)、化學(xué)等的小模型。當(dāng)一個(gè) GPT-4 用戶提出問(wèn)題時(shí)，新系統(tǒng)會(huì)知道將該查詢發(fā)送給哪個(gè)專家模型。新系統(tǒng)可能會(huì)決定將查詢發(fā)送給兩個(gè)或多個(gè)專家模型，然后將結(jié)果合并起來(lái)。」Sharon Zhou 表示。

開(kāi)發(fā)人員George Hotz 在最近的播客中描述了 GPT-4 是 8 路混合模型。 

圖片

值得一提的是，艾倫人工智能研究所創(chuàng)始 CEO Oren Etzioni 在網(wǎng)絡(luò)上看到這些信息后，給 Business Insider 發(fā)了一封電子郵件寫道：「我『推測(cè)』這些猜測(cè)大致準(zhǔn)確，但我沒(méi)有證據(jù)?！?/span>

Oren Etzioni 認(rèn)為：使用 MoE 方法主要是為了讓生成式模型輸出質(zhì)量更高、成本更低、響應(yīng)更快。

eEtzioni 補(bǔ)充道：「正確使用混合模型的確可以同時(shí)滿足上述需求，但通常需要在成本和質(zhì)量之間進(jìn)行權(quán)衡。在這種情況下，有傳聞稱 OpenAI 正在犧牲一些質(zhì)量來(lái)降低成本，但這只是傳聞?！?/span>

實(shí)際上，2022 年 OpenAI 總裁 Greg Brockman 曾與幾位同事共同撰寫了一篇關(guān)于 MoE 方法的文章。

這篇文章中提到：「采用 MoE 方法，模型可以在不增加計(jì)算成本的情況下支持更多參數(shù)?！?/span>

Sharon Zhou 表示：「GPT-4 最近幾周的性能下降很可能與訓(xùn)練和 OpenAI 推出的小型專家 GPT-4 模型有關(guān)。當(dāng)用戶測(cè)試它時(shí)，我們會(huì)問(wèn)很多不同的問(wèn)題。它不會(huì)回答得很好，但它會(huì)從我們那里收集數(shù)據(jù)，并且會(huì)改進(jìn)和學(xué)習(xí)?！?/span>