最近一段時(shí)間，很多OpenAI的用戶反應(yīng)，GPT-4變傻了！

圖片

大家普遍認(rèn)為GPT-4從5月份開(kāi)始，生成內(nèi)容的速度變快了，但是內(nèi)容的質(zhì)量下降很?chē)?yán)重。

甚至有OpenAI論壇中的用戶把自己生成的內(nèi)容貼了出來(lái)，說(shuō)對(duì)比2個(gè)月前相同的prompt生成的內(nèi)容，現(xiàn)在GPT-4的能力最多能叫GPT-3.6。

圖片

紛紛表態(tài)心疼自己出的這每個(gè)月的20刀。

圖片

不過(guò)看完這么多GPT-4重度用戶的吐槽之后，小編突然開(kāi)始感嘆：

GPT-4確實(shí)是領(lǐng)先太多了。

領(lǐng)先程度已經(jīng)到了，其他家的大模型都在加班加點(diǎn)的幾天出一個(gè)更新版本，希望盡快趕上OpenAI。

他自己家倒好，悄悄「降本增效」「反向升級(jí)」，當(dāng)起了大模型圈里的「反內(nèi)卷標(biāo)兵」。

可能導(dǎo)致性能衰退的原因

對(duì)于GPT-4表現(xiàn)降級(jí)，用戶似乎都已經(jīng)達(dá)成共識(shí)，已經(jīng)開(kāi)始討論GPT-4「衰退」的原因了。

根據(jù)外媒報(bào)道，有些語(yǔ)言模型領(lǐng)域內(nèi)的專(zhuān)家猜測(cè)，OpenAI正在創(chuàng)建多個(gè)行為類(lèi)似于大型模型但運(yùn)行成本較低的小型GPT-4模型。

根據(jù)一個(gè)名叫Sharon Zhou的專(zhuān)家的說(shuō)法，OpenAI采用了一種稱(chēng)為「混合專(zhuān)家模型」（Mixture of Experts，MOE）的構(gòu)架來(lái)搭建GPT-4。

每個(gè)較小的專(zhuān)家模型都在不同的任務(wù)和主題領(lǐng)域進(jìn)行訓(xùn)練。

可能會(huì)有一個(gè)專(zhuān)門(mén)針對(duì)生物學(xué)的迷你GPT-4模型，或者其他專(zhuān)門(mén)針對(duì)物理、化學(xué)等領(lǐng)域的迷你模型。

當(dāng)一個(gè)GPT-4用戶提問(wèn)時(shí)，新系統(tǒng)判斷之后會(huì)把提示發(fā)送給某一個(gè)或者幾個(gè)專(zhuān)家模型。

「這個(gè)思路已經(jīng)存在一段時(shí)間了，這是一個(gè)自然的發(fā)展方向?！筞hou說(shuō)。

Zhou將這種情況比作「忒修斯之船」，船上的各個(gè)部件被逐漸更換，整條船慢慢變成了一條新船。

她說(shuō)：「OpenAI正在將GPT-4變成一支由小型船只組成的船隊(duì)。

從我的角度來(lái)看，這是一個(gè)新模型，但是可能很多人也不會(huì)在意這個(gè)變化?！?/p>

在本周網(wǎng)上泄露了關(guān)于GPT-4大量參數(shù)細(xì)節(jié)之后，很多大佬們也針對(duì)里面提到的MoE部分給出了自己的評(píng)價(jià)。

Allen人工智能研究所創(chuàng)始首席執(zhí)行官Oren Etzioni在外媒的采訪中寫(xiě)到：「我覺(jué)得這些猜測(cè)大致是準(zhǔn)確的，雖然沒(méi)有辦法確切證實(shí)?！?/p>

他解釋說(shuō)，使用MOE有兩個(gè)主要原因：更好的生成響應(yīng)和更便宜、更快的響應(yīng)。

Etzioni補(bǔ)充說(shuō)：「正確的搭配混合專(zhuān)家模型將同時(shí)保證這兩方面的優(yōu)勢(shì)，但和任何事情一樣，成本和質(zhì)量之間通常是需要取舍的?！?/p>

如果這種假設(shè)成立的話，OpenAI在降低成本方面可能確實(shí)犧牲了一些質(zhì)量。

另一個(gè)佐證就是，OpenAI的創(chuàng)始人Greg Brockman曾在自己共同參與的研究中提到了MOE這一技術(shù)路徑。

「通過(guò)混合專(zhuān)家模型的（MoE）方法，每次只使用網(wǎng)絡(luò)的一小部分來(lái)計(jì)算任何一個(gè)輸入的輸出。這可以在不增加計(jì)算成本的情況下增加更多參數(shù)?！笲rockman和他的同事Lilian Weng在論文中寫(xiě)道。

圖片

性能下降可能和消除有害內(nèi)容有關(guān)

除了大佬從技術(shù)層面的解析外，網(wǎng)友也紛紛從各個(gè)角度進(jìn)行揣測(cè)。

有些網(wǎng)友覺(jué)得可能是OpenAI相對(duì)保守的道德政策降低了模型回復(fù)的質(zhì)量。

在OpenAI官方論壇中GPT相關(guān)的子版塊，那些認(rèn)為ChatGPT的性能遭到了「降級(jí)」的帖子中，許多人提到了ChatGPT在OpenAI采取新的內(nèi)容限制之前對(duì)于Prompt的包容性有了很大的變化。

側(cè)面支持了OpenAI可能出于安全性的考慮，控制了模型的輸出能力和范圍的觀點(diǎn)。

圖片

在YCombinator的討論中，有網(wǎng)友提出，從OpenAI開(kāi)始宣布關(guān)注安全問(wèn)題以后，模型的表現(xiàn)就越來(lái)越糟糕。

以GPT-4在最初發(fā)布報(bào)告中，讓GPT-4使用TikZ（TikZ可能是在LaTex中創(chuàng)建圖形元素的最復(fù)雜，最強(qiáng)大的工具）繪制獨(dú)角獸這一任務(wù)為例，在后續(xù)發(fā)布的GPT-4中難以復(fù)現(xiàn)報(bào)告上的結(jié)果，而且表現(xiàn)也越來(lái)越差。

圖片

另一方面，網(wǎng)友認(rèn)為GPT-4性能衰退的原因，可能是人類(lèi)出于安全考慮向GPT-4灌輸了一套相互矛盾的信念。

而這種為了安全選擇消除「壞念頭」的做法，顯而易見(jiàn)會(huì)阻止GPT-4對(duì)事物更加深刻的認(rèn)識(shí)和理解。

圖片

事實(shí)上，OpenAI設(shè)置了各種過(guò)濾器來(lái)防止惡意行為，例如暴力，種族主義或仇恨言論。

但是，這些過(guò)濾器通常會(huì)干擾正常的使用，例如小說(shuō)寫(xiě)作、思想頭腦風(fēng)暴以及其他形式的創(chuàng)作。

雖然很難衡量這些變化的影響，但OpenAI的創(chuàng)始人Sam Altman承認(rèn)了政策限制會(huì)干擾用戶體驗(yàn)。

圖片

除此之外，在5月29日Humanloop聯(lián)合創(chuàng)始人Raza與Sam Altman的對(duì)話中，Altman提到了OpenAI目前嚴(yán)重受到GPU數(shù)量的限制。

圖片

在ChatGPT突破了1億用戶大關(guān)、月活達(dá)到18億次的情形下，OpenAI的服務(wù)器經(jīng)常超負(fù)荷運(yùn)轉(zhuǎn)。

而算力的緊缺不僅推遲了他們?cè)S多短期計(jì)劃，也導(dǎo)致了許多來(lái)自客戶對(duì)GPT回答內(nèi)容可靠性的抱怨和爭(zhēng)議。

也許原因在這屆網(wǎng)友身上？

在官方技術(shù)發(fā)言人Logan.GPT的回應(yīng)中，表明了GPT-4在API模式中質(zhì)量并沒(méi)有下降。

圖片

圖片

圖片

而就在昨天，OpenAI產(chǎn)品副總裁Peter Welinder評(píng)論了這一傳言。

圖片

 「不，我們沒(méi)有讓GPT-4變笨，恰恰相反：我們讓每個(gè)新版本都比前一個(gè)版本更聰明?！?/p>

對(duì)于網(wǎng)友提出的問(wèn)題，他的理解是，「當(dāng)你更多地使用它時(shí)，你會(huì)開(kāi)始注意到以前沒(méi)有注意到的問(wèn)題?！?/p>

言下之意是，GPT-4本來(lái)就沒(méi)之前那么強(qiáng)，現(xiàn)在的GPT-4才是它真正的實(shí)力。

有那么一絲凡爾賽的感覺(jué)。

果然網(wǎng)友不是很買(mǎi)賬，在推文下不停回懟。

圖片

你說(shuō)你沒(méi)改過(guò)，然后又說(shuō)每個(gè)版本都更好了，不是自相矛盾嗎？

圖片

你說(shuō)的這個(gè)假設(shè)不成立，同樣的提示詞7月的回答就是比6月的差！

不過(guò)，確實(shí)有網(wǎng)友對(duì)GPT-4的性能衰退也有不同的解釋?zhuān)?/p>

從感知退化的心理學(xué)角度來(lái)說(shuō)，在GPT-4初次曝光帶給人們的驚喜消失，并逐漸深入我們?nèi)粘Ｉ钍褂煤?，人們就?huì)對(duì)它的能力習(xí)以為常。

新鮮勁兒一過(guò)，用戶對(duì)其的容忍度也隨之降低，轉(zhuǎn)而更加關(guān)注技術(shù)和使用上的缺陷。

圖片

此外，在 Reddit 上發(fā)帖認(rèn)為GPT-4性能衰退的網(wǎng)友，在最近的更新中表明，那天的提問(wèn)可能是受到了心態(tài)的影響，因?yàn)樵谶@之后的GPT-4工作一直都很順利。

圖片

參考資料：

https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/