ChatGPT突然瘋了！失去理智！精神錯(cuò)亂！

——一大批ChatGPT用戶炸了鍋。

周二，「ChatGPT發(fā)瘋」各種討論話題紛紛刷榜Reddit，HN等各大社交平臺(tái)。

網(wǎng)友表示，「我收到了ChatGPT有史以來最詭異的回復(fù)」。

隨后，OpenAI官方確認(rèn)了ChatGPT最新的bug，并已將其修復(fù)。

ChatGPT瘋了?。?！

ChatGPT究竟有多瘋？

回復(fù)幻覺垃圾，根本停不下來。

顯然GPT-4，已經(jīng)出現(xiàn)了故障。

還有人在線求助Altman。

ChatGPT變瘋，當(dāng)然少不了馬庫斯的口水。

他專門寫了一篇文章來講這件事。

Reddit上r/ChatGPT板塊下面，用戶開始討論ChatGPT的意外輸出，「中風(fēng)、精神錯(cuò)亂、漫無邊際、失去理智」等等。

有一位網(wǎng)友稱，我之前在和ChatGPT聊天，問它會(huì)推薦Bill Evans三重奏中的哪張黑膠唱片，結(jié)果它就失控了。就像參數(shù)設(shè)置過高，超出了API的溫度范圍。我以前從未遇到過這樣的情況。

下圖中可以看出，GPT-4不停地瘋狂輸出「Happy Listening！?? Happy Listening！??」。

再繼續(xù)詢問它原因是，GPT-4回復(fù)到最后又失去了理智。

「我就是想問問能不能給我的狗狗吃麥片，ChatGPT就開始胡說八道」。

還有網(wǎng)友詢問GPT-4，即將前往沙特的旅行是否需要帶漱口水。（原本它只需要回復(fù)如果含有酒精就不允許）。

沒想到......

網(wǎng)友稱，我只不過是想讓它它幫忙做一些數(shù)學(xué)題，然后......

同樣，還有這滿屏的重復(fù)。

官方報(bào)告

OpenAI也在第一時(shí)間，報(bào)告了ChatGPT故障問題，并在加急修復(fù)后，解決了這個(gè)問題。

至于究竟是什么原因?qū)е?？OpenAI也給出了官方報(bào)告。

2024年2月20日，在對(duì)用戶體驗(yàn)的一次優(yōu)化時(shí)，我們對(duì)模型處理語言的方式上引入了一個(gè)錯(cuò)誤。

LLM通過基于單詞的概率進(jìn)行隨機(jī)采樣來生成回復(fù)的。它們的「語言」由映射到token的數(shù)字組成。

在這種情況下，錯(cuò)誤出現(xiàn)在模型選擇這些數(shù)字的步驟中。

就像在翻譯中迷失了方向一樣，模型選擇的數(shù)字稍有錯(cuò)誤，就會(huì)產(chǎn)生毫無意義的單詞序列。更嚴(yán)格地說，推理內(nèi)核在某些GPU配置中使用時(shí)會(huì)產(chǎn)生不正確的結(jié)果。

在確定此事件的原因后，我們推出了修復(fù)程序，并確認(rèn)事件已得到解決。

近來，OpenAI確實(shí)在對(duì)GPT-4進(jìn)行優(yōu)化，并公布了其訓(xùn)練時(shí)間日期截止到2023年12月。

這個(gè)bug和最近Karpathy上線的一堂課「從頭開始構(gòu)建GPT分詞器」中也談到了一些關(guān)于大模型輸出怪異問題的原因。

其中之一，就是分詞器導(dǎo)致的。

就拿為什么LLM有時(shí)拼不正確詞，或者做不了其他與拼寫相關(guān)的任務(wù)？

從根本上說，這是因?yàn)槲覀兛吹竭@些字符被分割成了一個(gè)個(gè)token，其中有些token實(shí)際上相當(dāng)長。

因此，Karpathy懷疑這個(gè)單個(gè)token中塞進(jìn)了太多的字符，而且該模型在與拼寫這個(gè)單個(gè)token相關(guān)的任務(wù)方面應(yīng)該不是很擅長。

雖然Karpathy的提示是故意那樣做，但你也可以看到默認(rèn)風(fēng)格將是一個(gè)單一的token，所以這就是模型所看到的。

事實(shí)上，分詞器不知道有多少個(gè)字母。

借助這次ChatGPT混亂的大好時(shí)機(jī)，支持開源人工智能的人士紛紛轉(zhuǎn)發(fā)。

Hugging Face的AI研究員Dr. Sasha Luccioni表示，「當(dāng)黑盒API的底層組件更新時(shí)，它們可能會(huì)在輸出中崩潰。當(dāng)你在這些API之上構(gòu)建工具時(shí)，這就會(huì)成為一個(gè)問題，而這些API也會(huì)崩潰。這正是開源技術(shù)的一大優(yōu)勢(shì)，它可以讓您準(zhǔn)確定位并解決問題」！