生成式AI（GenAI），尤其是以O(shè)penAI的ChatGPT為代表，人們發(fā)現(xiàn)，這些大模型在一年多后的性能表現(xiàn)遠(yuǎn)不及剛發(fā)布時(shí)那樣令人驚艷了。

AI似乎正在變得越來越笨。

這種聲音逐漸出現(xiàn)在各個(gè)社交網(wǎng)絡(luò)的平臺(tái)上，并有許多擁躉。

在OpenAI開發(fā)者論壇上，有用戶發(fā)帖表示：自從去年最新版本的GPT發(fā)布后，模型的準(zhǔn)確性就顯著下降了。

同樣的，一位ChatGPT的用戶在今年6月寫道，「經(jīng)歷了這么多的AI炒作之后，這些模型如今的表現(xiàn)讓我非常失望?！?/span>

Steven Vaughan-Nichols是一位自由撰稿人和技術(shù)分析師，在多家科技媒體中擔(dān)任高級(jí)特約編輯。他擁有自己的個(gè)人博客，在X上擁有數(shù)萬名訂閱者。

今年8月下旬，史蒂文在《Computerworld》的一篇言辭激烈的評(píng)論文章《I’ve got the genAI blues》中表示：

所有主要的公眾可訪問的AI模型，像ChatGPT和Claude這樣的品牌旗艦產(chǎn)品——其性能都不如以前的版本。

文章地址：https://www.computerworld.com/article/3488589/ive-got-the-genai-blues.html

他在文章中寫道，「這些由AI生成的結(jié)果常常令人惱火。它們有許多荒謬的錯(cuò)誤，更糟糕的是，這些錯(cuò)誤的出現(xiàn)總是反反復(fù)復(fù)，沒完沒了?！?/span>

「如果只是答案平庸但相對(duì)準(zhǔn)確，我還可以想辦法應(yīng)對(duì)。但它生成的內(nèi)容讓我無能為力?！?/span>

以下是這篇評(píng)論文章的內(nèi)容。

I’ve got the genAI blues

ChatGPT之類的工具遠(yuǎn)沒有你想象的那么好，而且隨著時(shí)間的推移，它們的表現(xiàn)越來越糟。

我也希望生成式AI真的有用，但事實(shí)并非如此。我一直在不斷嘗試使用各種AI——如ChatGPT、Meta AI以及Gemini等。

這些模型在你不太了解相關(guān)領(lǐng)域的情況時(shí)，看起來似乎是有用的，它們生成的回答也很合理。

但只要你仔細(xì)考察一番，就會(huì)發(fā)現(xiàn)這些答案是錯(cuò)誤的。

如果你對(duì)內(nèi)容的需求僅在高中水平，模型生成的答案還算過得去。但當(dāng)你需要深入挖掘或研究某個(gè)主題時(shí)，那就另當(dāng)別論了。

以我日常的工作內(nèi)容為例，在Linux和開源軟件等主題上，我比一般的大語言模型（LLM）了解得更深入。

在我使用生成式AI對(duì)這些主題進(jìn)行研究時(shí)，AI能給出的回答乍一眼看上去可能不錯(cuò)，但你越深入的去討論一些細(xì)節(jié)時(shí)，它能給出的信息就越貧乏。

這些由AI生成的結(jié)果常常令人惱火。它們有許多荒謬的錯(cuò)誤，更糟糕的是，這些錯(cuò)誤的出現(xiàn)總是反反復(fù)復(fù)，沒完沒了。

如果只是答案平庸但相對(duì)準(zhǔn)確，我還可以想辦法應(yīng)對(duì)。但它生成的內(nèi)容讓我無能為力。

這并非僅是我一個(gè)人的看法。

《商業(yè)周刊》報(bào)道，許多GPT-4的用戶發(fā)現(xiàn)它變得越來越「懶」和「愚蠢」。

其他人也對(duì)此表示認(rèn)同。

正如最近在Reddit上的用戶所說的那樣，「現(xiàn)在ChatGPT 3和4的效果遠(yuǎn)不如我一年前訂閱專業(yè)版時(shí)那么有效和有幫助?！?/span>

在我看來，即使是最好的生成式AI聊天機(jī)器人Perplexity也在走下坡路。

以前我喜歡Perplexity的一個(gè)原因是它會(huì)為其觀點(diǎn)提供來源。在我把它看作是一個(gè)超級(jí)增強(qiáng)的搜索引擎時(shí)，這個(gè)功能很有用。

然而，最近它的表現(xiàn)也越來越不穩(wěn)定，我再也無法指望它能夠準(zhǔn)確地給出它是在哪里找到、并重新整合出的這些信息。

為什么會(huì)這樣？

雖然我并不是AI開發(fā)者，但我密切關(guān)注這個(gè)領(lǐng)域很久了。

以下是我看到的導(dǎo)致模型開始失效至少兩個(gè)主要原因：

首先是用于創(chuàng)建主要大語言模型的內(nèi)容質(zhì)量問題。

許多模型的訓(xùn)練集中包含了來自諸如Twitter、Reddit以及4Chan等「優(yōu)質(zhì)」網(wǎng)站的數(shù)據(jù)。

正如谷歌在今年早些時(shí)候發(fā)布的AI概述所顯示的那樣，采用這些數(shù)據(jù)集對(duì)AI進(jìn)行訓(xùn)練的結(jié)果可能會(huì)非常糟糕。

《麻省理工科技評(píng)論》同樣指出，現(xiàn)在的AI會(huì)生成一些質(zhì)量極差的答案。

如建議用戶「往披薩上加膠水」或「每天至少吃一塊小石頭」，以及「前美國(guó)總統(tǒng)安德魯·約翰遜在1947年至2012年間獲得了大學(xué)學(xué)位，盡管他于1875年去世。」

這類回答都是些無傷大雅的蠢例子，但如果你需要一個(gè)正確答案，那就完全是另一回事了。

以一位律師為例，他的法律文件中包含了由AI虛構(gòu)的案例信息，法官們發(fā)現(xiàn)這一事實(shí)后并不會(huì)被逗笑。

如果你只是想用生成式AI閑聊（這似乎是ChatGPT最流行的用途之一），那么準(zhǔn)確性可能對(duì)你并不重要。

但對(duì)于我，以及所有希望將AI用于商業(yè)的人來說，正確答案才是最重要的。

隨著生成式AI巨頭繼續(xù)尋找更多數(shù)據(jù)，這個(gè)問題只會(huì)變得更糟。

來自Epoch AI的一項(xiàng)研究發(fā)現(xiàn)，我們最早將在2026年耗盡高質(zhì)量數(shù)據(jù)。

這就引出了第二個(gè)問題。

如今，生成式AI生成的內(nèi)容正在取代專家級(jí)人類內(nèi)容。

結(jié)果不僅僅是劣質(zhì)數(shù)據(jù)排擠了優(yōu)質(zhì)數(shù)據(jù)，情況還要更為糟糕：

《自然（Nature）》的最近的一篇論文發(fā)現(xiàn)，「不加區(qū)分地從其他模型生成的數(shù)據(jù)中學(xué)習(xí)會(huì)導(dǎo)致‘模型崩潰’。這是一種退化過程，隨著時(shí)間的推移，即使分布沒有隨時(shí)間變化，模型也會(huì)忘記真正的底層數(shù)據(jù)分布?！?/span>

我愿將其稱為「垃圾進(jìn)，垃圾出（Garbage In, Garbage Out）」。

但由于我看不到公司會(huì)停止使用生成式AI以更低的成本來生成文檔，因此未來充斥在互聯(lián)網(wǎng)中的內(nèi)容質(zhì)量只會(huì)繼續(xù)下降。

不管你信不信，就質(zhì)量而言，我們可能已經(jīng)處于人工智能的頂峰。

這難道不是一個(gè)可怕的想法嗎？

當(dāng)然，我不是一個(gè)極端的AI反對(duì)者。

基于專用大語言模型的特定用途的生成式AI聊天機(jī)器人，在作為排查程序故障或發(fā)現(xiàn)潛在癌癥的工具時(shí)，已經(jīng)非常有用。

其他的一些用途中，如在線游戲中由AI驅(qū)動(dòng)的非玩家角色，將提高游戲體驗(yàn)，而像ElliQ這樣的AI朋友可以幫助很多孤獨(dú)的人。

但作為大多數(shù)公司熱衷的替代知識(shí)型員工的方式，還是算了吧。

除了CEO——他們倒是可以被AI聊天機(jī)器人取代。

我懷疑很多人不會(huì)注意到AI CEO與人類CEO的區(qū)別——除了它會(huì)為公司節(jié)省一大筆錢。

生成式AI的未來

這不應(yīng)該是事情發(fā)展的方向。

通常來說，新的版本軟件應(yīng)該比它們所取代的版本更好。

但由于生成式AI需要通過大量數(shù)據(jù)進(jìn)行訓(xùn)練，而隨著人類世界的高質(zhì)量?jī)?nèi)容日益枯竭、互聯(lián)網(wǎng)越來越多地充斥著AI生成的劣質(zhì)內(nèi)容，模型未來的性能表現(xiàn)將會(huì)成為一個(gè)越來越嚴(yán)重的問題。

當(dāng)然，我們也有可能會(huì)重新發(fā)現(xiàn)由人類完成的那些極其珍貴且不可替代的工作的價(jià)值。

但最好也別對(duì)此抱有太大的希望。