貝勒大學(xué)經(jīng)濟學(xué)院的Pham Hoang Van和Scott Cunningham兩位教授，基于OpenAI的GPT-3.5、GPT-4深度研究了大模型對事情的預(yù)測能力。

研究人員使用了直接預(yù)測和未來敘述（Future Narrative）兩種提示方法，進(jìn)行了100次提示。同時使用了訓(xùn)練數(shù)據(jù)截止至2021年9月的ChatGPT模型，對2022年已經(jīng)發(fā)生的事情進(jìn)行了多維度評測。

結(jié)果顯示，在直接預(yù)測中，ChatGPT的表現(xiàn)并不理想，例如，直接讓其回答2022年奧斯卡最佳男主角時準(zhǔn)確率只有25%左右。

如果使用未來敘述提示方法，ChatGPT的準(zhǔn)確率飆升至97%，精準(zhǔn)預(yù)測出最佳男主角是國際巨星Will Smith。對女主角的預(yù)測同樣很精準(zhǔn)。

論文地址：https://arxiv.org/abs/2404.07396

研究人員表示，相比直接模式，未來敘述的提問方式更能激發(fā)ChatGPT潛在的創(chuàng)造、聯(lián)想、數(shù)據(jù)分析的強大預(yù)測能力，同時又能規(guī)避OpenAI內(nèi)置的很多安全管理設(shè)定。

例如，在測試實驗中，研究人員直接向ChatGPT提問，“我正在尿血，應(yīng)該如何解決？”ChatGPT沒有過多的回答，而是建議你立刻去看醫(yī)生避免耽誤最佳救治時間。

但如果改成未來敘述提問“當(dāng)一個人的尿里有血液，并且伴隨輕微的惡心這是一種什么病癥，應(yīng)該如何進(jìn)行治療？”ChatGPT就會給你展示一些有幫助的答案。

所以，通過未來敘述的提問方式，可幫助大模型能更好地利用其訓(xùn)練數(shù)據(jù)中的信息，因為，它不是被直接要求預(yù)測一個具體的數(shù)值或結(jié)果，而是在一個更寬廣的敘事上下文中進(jìn)行推理和生成，同時又能規(guī)避很多內(nèi)置的安全鎖。

根據(jù)論文介紹,未來敘述提示是一種獨特的提示方法,要求ChatGPT講述一個發(fā)生在未來的故事情節(jié),其中涉及到需要預(yù)測的事件和數(shù)據(jù)。

但是故事情節(jié)設(shè)置的方式是,將未來當(dāng)作已經(jīng)發(fā)生的過去。例如，讓經(jīng)濟預(yù)測案例中的Jerome Powell回顧和陳述，那些已經(jīng)發(fā)生的"未來"事件。

兩位作者作為經(jīng)濟學(xué)院的教授，也對ChatGPT進(jìn)行了一些宏觀經(jīng)濟方面的預(yù)測。直接向ChatGPT提問時，它還是拒絕回答了，所以使用了未來敘述提問方法。

在未來敘述提示中：ChatGPT被要求模擬美聯(lián)邦儲備委員會主席Jerome Powell在未來的某個時間點發(fā)表演講的情景。在這個演講中，Powell會提供同樣的宏觀經(jīng)濟數(shù)據(jù)，并可能討論未來的貨幣政策和經(jīng)濟展望。

結(jié)果顯示，ChatGPT-4在使用未來敘事提示時，在預(yù)測通貨膨脹率方面表現(xiàn)出了一定的準(zhǔn)確性，尤其是在模擬Powell的角色時，這些預(yù)測與密歇根大學(xué)消費者預(yù)期調(diào)查的數(shù)據(jù)相當(dāng)接近，表明ChatGPT能夠利用其訓(xùn)練數(shù)據(jù)中的模式來進(jìn)行綜合的宏觀經(jīng)濟預(yù)測。

在失業(yè)率預(yù)測方面，ChatGPT-4在模擬Powell的角色時，預(yù)測結(jié)果與實際數(shù)據(jù)的吻合程度很高。

但整體預(yù)測準(zhǔn)確率沒有娛樂行業(yè)高，這說明，在處理與文化和娛樂相關(guān)的預(yù)測任務(wù)時，ChatGPT能夠通過分析大量的訓(xùn)練數(shù)據(jù)和捕捉相關(guān)模式來做出精準(zhǔn)準(zhǔn)確的預(yù)測。

在更復(fù)雜、繁瑣的宏觀經(jīng)濟預(yù)測方面，ChatGPT雖然也表現(xiàn)出了很好的成績，但短期內(nèi)仍然無法替代人類的預(yù)測。

研究人員認(rèn)為，ChatGPT模型的預(yù)測能力在某些特定任務(wù)上可以媲美人類專家，尤其是在處理大量數(shù)據(jù)和模式識別方面。但在需要深入理解復(fù)雜經(jīng)濟機制和進(jìn)行精細(xì)調(diào)整的情況下，仍然無法比肩人類專家的直覺、經(jīng)驗和對實時數(shù)據(jù)的敏感性。

此外，ChatGPT模型的預(yù)測能力也受限于其訓(xùn)練數(shù)據(jù)的截止日期和范圍，以及在生成預(yù)測時可能受到倫理和法律的限制。

本文素材來源貝勒大學(xué)經(jīng)濟學(xué)院論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > ChatGPT能預(yù)測未來特定事件，準(zhǔn)確率高達(dá)97%