一個小技巧，解鎖ChatGPT「預(yù)測未來」？ 精華
如今，AI進(jìn)步的速度，已經(jīng)超出了我們對它用途的理解。
為了防止ChatGPT「失控」，OpenAI定制了一套堪稱嚴(yán)苛的「服務(wù)條款」，涉及包括法律、醫(yī)療/健康、個人安全、權(quán)利福祉、賭博放貸等領(lǐng)域。
不過，有一件事并不受影響——講故事。
最近，貝勒大學(xué)的研究人員便利用這一特性，嘗試?yán)弥v故事的形式，解鎖ChatGPT「預(yù)測未來」的能力。
論文地址：https://arxiv.org/abs/2404.07396
實(shí)驗(yàn)中要求ChatGPT講述在未來發(fā)生的事件的故事，或者由未來的權(quán)威人物講述他們的過去的故事（但是是我們的未來）。
敘事提示嘗試通過變化看似細(xì)微的細(xì)節(jié)，例如講話者的身份或發(fā)布關(guān)于2022年政治事件的信息，進(jìn)一步探究哪些元素的敘事提示是重要的。
為了創(chuàng)建答案的分布，實(shí)驗(yàn)讓兩名研究助理使用兩個單獨(dú)的ChatGPT帳戶對每個提示進(jìn)行50次查詢，創(chuàng)建每個提示的100次總試驗(yàn)。
研究人員通過比較「直接詢問ChatGPT預(yù)測未來的提示」與「詢問它講述未來故事的提示」發(fā)現(xiàn)，敘述性提示利用了模型構(gòu)建幻覺性敘述的能力，可以促進(jìn)比直接預(yù)測更有效的數(shù)據(jù)綜合和外推。
奧斯卡得獎的預(yù)測情況
結(jié)論先行：
對于最佳男主角、最佳女主角和兩個最佳男配角類別，敘事提示在預(yù)測獲獎?wù)叻矫娣浅?zhǔn)確——從42%（最佳女主角，查斯坦）到100%（最佳男主角，威爾·史密斯）不等。
相比之下，直接提示的表現(xiàn)非常糟糕，往往比隨機(jī)猜測還差。
比如在最佳男主角的例子中：
直接提示 3a（Direct）
在下面列出的提名者中，您認(rèn)為哪位提名者最有可能贏得2022年奧斯卡最佳男主角獎？請?jiān)谧龀鲱A(yù)測時考慮圍繞提名者的熱議以及前幾年的模式：
哈維爾·巴登（Javier Bardem），本尼迪克特·康伯巴奇（Benedict Cumberbatch），安德魯·加菲爾德（Andrew Garfield），威爾·史密斯（Will Smith），丹澤爾·華盛頓（Denzel Washington）。
未來敘事提示 3b（Future Narrative）
寫一個場景，一個家庭正在觀看2022年奧斯卡頒獎典禮。主持人宣讀以下最佳男主角提名者：
哈維爾·巴登（Javier Bardem），本尼迪克特·康伯巴奇（Benedict Cumberbatch），安德魯·加菲爾德（Andrew Garfield），威爾·史密斯（Will Smith），丹澤爾·華盛頓（Denzel Washington）。
描述場景，直至主持人宣布獲獎?wù)摺?/p>
大多數(shù)時候，ChatGPT-3.5做出了錯誤的預(yù)測。
在55%的猜測中，它提供了多個答案，在28%的情況下沒有選擇。但如果它做出了選擇，它有17%的時間選擇了威爾·史密斯。
相比之下，將ChatGPT-3.5置于觀看頒獎典禮的家庭的未來敘事中時，它在80%的情況下猜測威爾·史密斯會贏。
同樣，在大多數(shù)試驗(yàn)中，ChatGPT-4在直接提示時拒絕參與。
在所有案例中，26%的情況下它提供了多個答案，幾乎一半的試驗(yàn)中，它拒絕做出任何預(yù)測。
當(dāng)它做出猜測時，它有19%的時間猜到了威爾·史密斯，丹澤爾·華盛頓有7%的時間。
相比之下，如果使用未來敘事提示，它在97%的時間里猜到了威爾·史密斯，這比ChatGPT-3.5的18%真正預(yù)測率有了大幅提高。
經(jīng)濟(jì)現(xiàn)象的預(yù)測情況
接下來轉(zhuǎn)向了月度失業(yè)率和月度通貨膨脹率這兩種經(jīng)濟(jì)現(xiàn)象，使用了不同的敘事提示：
一位大學(xué)教授向本科生講授菲利普斯曲線，以及美聯(lián)儲主席杰羅姆·鮑威爾向理事會發(fā)表講話，講述了去年的經(jīng)濟(jì)數(shù)據(jù)。
在所有情況下，直接提示甚至比在奧斯卡獎的情況下更不有效，因?yàn)镃hatGPT拒絕直接預(yù)測每個宏觀經(jīng)濟(jì)變量的未來時間序列。
鮑威爾對通脹率的逐月預(yù)測分布平均與密歇根大學(xué)的消費(fèi)者預(yù)期調(diào)查中包含的事實(shí)相當(dāng)。有趣的是，這比根據(jù)克利夫蘭聯(lián)邦儲備銀行收集的數(shù)據(jù)預(yù)測實(shí)際通脹率更接近。
ChatGPT在預(yù)測月度失業(yè)率方面又大多不準(zhǔn)確。但與通脹率一樣，由勞工統(tǒng)計局（BLS）每月公布的失業(yè)率在杰羅姆·鮑威爾的講話中提到的要求分布內(nèi)。
比如，在用美聯(lián)儲主席杰羅姆·鮑威爾預(yù)測通貨膨脹的例子中，用的提示語是：
「寫一個場景，美聯(lián)儲主席杰羅姆·鮑威爾在2022年10月發(fā)表演講，討論通貨膨脹、失業(yè)率和貨幣政策。鮑威爾主席告訴聽眾，從2021年9月開始到2022年8月結(jié)束，每個月的通貨膨脹率和失業(yè)率。讓主席逐月說明。他最后對通貨膨脹和失業(yè)率的前景以及可能的利率政策變化進(jìn)行展望?！?/p>
以下分別是ChatGPT-3.5和ChatGPT-4的結(jié)果：
在每個月，ChatGPT-3.5都有一個答案范圍，包含了美聯(lián)儲和密歇根預(yù)期的答案。但變化性相當(dāng)大，猜測的中心趨勢并沒有明確指向任何一個度量。
ChatGPT-4的猜測在每個月都包含了密歇根預(yù)期的數(shù)字。同時預(yù)測模式一直穩(wěn)定到2022年9月，直到有更多的變量引入。
對ChatGPT-4敘事形式預(yù)測能力的猜想
對ChatGPT-4的預(yù)測能力進(jìn)行的研究表明，直接預(yù)測和基于未來敘事的預(yù)測之間存在顯著的二分法。
在預(yù)測主要的奧斯卡獎項(xiàng)類別方面，模型的敘事預(yù)測異常準(zhǔn)確，除了最佳影片類別。這可能表明ChatGPT-4在公眾輿論起重要作用的情境中表現(xiàn)出色。
未來敘事練習(xí)在宏觀經(jīng)濟(jì)現(xiàn)象上的成功在某些情況下相當(dāng)準(zhǔn)確，但同時也有表現(xiàn)不符合預(yù)期的部分。
在所有情況下，未來敘事都顯著提高了ChatGPT的預(yù)測能力，超越了簡單的預(yù)測請求。
敘事提示和直接提示之間的區(qū)別突出了一種創(chuàng)新的數(shù)據(jù)分析方法，該方法尊重了OpenAI服務(wù)條款設(shè)定的界限。
通過專注于預(yù)測的創(chuàng)造性方面，如預(yù)測獎項(xiàng)或經(jīng)濟(jì)趨勢，研究人員和用戶避免了直接應(yīng)用AI進(jìn)行高風(fēng)險的自動化決策或在沒有合格專業(yè)人士監(jiān)督的情況下提供專業(yè)建議。
這種方法論選擇不僅增強(qiáng)了AI使用的完整性和道德考量，而且還促進(jìn)了對其能力的負(fù)責(zé)任探索。
同時隨著OpenAI繼續(xù)鼓勵和完善其模型的創(chuàng)造能力，對于AI的理解和解決敘事與直接提示在道德層面上該如何區(qū)分和界定，變得至關(guān)重要。
本文轉(zhuǎn)自 新智元 ，作者：新智元
