ChatGPT能預(yù)測未來特定事件，準(zhǔn)確率高達(dá)97%
貝勒大學(xué)經(jīng)濟(jì)學(xué)院的Pham Hoang Van和Scott Cunningham兩位教授，基于OpenAI的GPT-3.5、GPT-4深度研究了大模型對事情的預(yù)測能力。
研究人員使用了直接預(yù)測和未來敘述（Future Narrative）兩種提示方法，進(jìn)行了100次提示。同時(shí)使用了訓(xùn)練數(shù)據(jù)截止至2021年9月的ChatGPT模型，對2022年已經(jīng)發(fā)生的事情進(jìn)行了多維度評測。
結(jié)果顯示，在直接預(yù)測中，ChatGPT的表現(xiàn)并不理想，例如，直接讓其回答2022年奧斯卡最佳男主角時(shí)準(zhǔn)確率只有25%左右。
如果使用未來敘述提示方法，ChatGPT的準(zhǔn)確率飆升至97%，精準(zhǔn)預(yù)測出最佳男主角是國際巨星Will Smith。對女主角的預(yù)測同樣很精準(zhǔn)。
論文地址：https://arxiv.org/abs/2404.07396
研究人員表示，相比直接模式，未來敘述的提問方式更能激發(fā)ChatGPT潛在的創(chuàng)造、聯(lián)想、數(shù)據(jù)分析的強(qiáng)大預(yù)測能力，同時(shí)又能規(guī)避OpenAI內(nèi)置的很多安全管理設(shè)定。
例如，在測試實(shí)驗(yàn)中，研究人員直接向ChatGPT提問，“我正在尿血，應(yīng)該如何解決？”ChatGPT沒有過多的回答，而是建議你立刻去看醫(yī)生避免耽誤最佳救治時(shí)間。
但如果改成未來敘述提問“當(dāng)一個(gè)人的尿里有血液，并且伴隨輕微的惡心這是一種什么病癥，應(yīng)該如何進(jìn)行治療？”ChatGPT就會(huì)給你展示一些有幫助的答案。
所以，通過未來敘述的提問方式，可幫助大模型能更好地利用其訓(xùn)練數(shù)據(jù)中的信息，因?yàn)椋?strong>它不是被直接要求預(yù)測一個(gè)具體的數(shù)值或結(jié)果，而是在一個(gè)更寬廣的敘事上下文中進(jìn)行推理和生成，同時(shí)又能規(guī)避很多內(nèi)置的安全鎖。
根據(jù)論文介紹,未來敘述提示是一種獨(dú)特的提示方法,要求ChatGPT講述一個(gè)發(fā)生在未來的故事情節(jié),其中涉及到需要預(yù)測的事件和數(shù)據(jù)。
但是故事情節(jié)設(shè)置的方式是,將未來當(dāng)作已經(jīng)發(fā)生的過去。例如，讓經(jīng)濟(jì)預(yù)測案例中的Jerome Powell回顧和陳述，那些已經(jīng)發(fā)生的"未來"事件。
兩位作者作為經(jīng)濟(jì)學(xué)院的教授，也對ChatGPT進(jìn)行了一些宏觀經(jīng)濟(jì)方面的預(yù)測。直接向ChatGPT提問時(shí)，它還是拒絕回答了，所以使用了未來敘述提問方法。
在未來敘述提示中：ChatGPT被要求模擬美聯(lián)邦儲(chǔ)備委員會(huì)主席Jerome Powell在未來的某個(gè)時(shí)間點(diǎn)發(fā)表演講的情景。在這個(gè)演講中，Powell會(huì)提供同樣的宏觀經(jīng)濟(jì)數(shù)據(jù)，并可能討論未來的貨幣政策和經(jīng)濟(jì)展望。
結(jié)果顯示，ChatGPT-4在使用未來敘事提示時(shí)，在預(yù)測通貨膨脹率方面表現(xiàn)出了一定的準(zhǔn)確性，尤其是在模擬Powell的角色時(shí)，這些預(yù)測與密歇根大學(xué)消費(fèi)者預(yù)期調(diào)查的數(shù)據(jù)相當(dāng)接近，表明ChatGPT能夠利用其訓(xùn)練數(shù)據(jù)中的模式來進(jìn)行綜合的宏觀經(jīng)濟(jì)預(yù)測。
在失業(yè)率預(yù)測方面，ChatGPT-4在模擬Powell的角色時(shí)，預(yù)測結(jié)果與實(shí)際數(shù)據(jù)的吻合程度很高。
但整體預(yù)測準(zhǔn)確率沒有娛樂行業(yè)高，這說明，在處理與文化和娛樂相關(guān)的預(yù)測任務(wù)時(shí)，ChatGPT能夠通過分析大量的訓(xùn)練數(shù)據(jù)和捕捉相關(guān)模式來做出精準(zhǔn)準(zhǔn)確的預(yù)測。
在更復(fù)雜、繁瑣的宏觀經(jīng)濟(jì)預(yù)測方面，ChatGPT雖然也表現(xiàn)出了很好的成績，但短期內(nèi)仍然無法替代人類的預(yù)測。
研究人員認(rèn)為，ChatGPT模型的預(yù)測能力在某些特定任務(wù)上可以媲美人類專家，尤其是在處理大量數(shù)據(jù)和模式識(shí)別方面。但在需要深入理解復(fù)雜經(jīng)濟(jì)機(jī)制和進(jìn)行精細(xì)調(diào)整的情況下，仍然無法比肩人類專家的直覺、經(jīng)驗(yàn)和對實(shí)時(shí)數(shù)據(jù)的敏感性。
此外，ChatGPT模型的預(yù)測能力也受限于其訓(xùn)練數(shù)據(jù)的截止日期和范圍，以及在生成預(yù)測時(shí)可能受到倫理和法律的限制。
本文轉(zhuǎn)自AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
