我就說嘛，提示工程正在消失，這篇新研究即可解釋原因。

AI圈百萬粉絲大V的一條推特，可把大家給驚到了。

要知道，提示工程可是ChatGPT趨勢中的大熱詞。由它衍生出的新崗位提示工程師年薪可高達幾十萬美元，“未來人人都要學(xué)會提示工程”的觀點更是引發(fā)熱議……

結(jié)果現(xiàn)在，提示工程就開始消失了？？？

而且有理有據(jù)。

博主伊森·莫利克提到的這篇論文，由MIT、斯坦福和Anthropic（Claude2打造者）共同提出。

論文提出了一種新型的機器學(xué)習(xí)框架，能讓大模型學(xué)會主動向人類提問，自己搞明白用戶的偏好。

他們使用GPT-4進行實驗，結(jié)果發(fā)現(xiàn)和提示工程、監(jiān)督學(xué)習(xí)等方法比，在這個框架的輔助下GPT-4在多個任務(wù)上更懂人類了。

如果大模型能更容易揣度出人類想啥，也就意味著人類自己不用絞盡腦汁表達自己的想法了。

所以伊森·莫利克覺得，這不就不用每個人都去學(xué)習(xí)提示工程了么？

有網(wǎng)友補充說，這是不是說某種程度上，我們未來是不是可以不用語言和LLM進行交流。讓大模型通過提問來弄清楚我們在想什么，這真是一個巨大的進步。

讓AI來提示你

具體來看，這項研究提出了一種新型學(xué)習(xí)框架GATE（Generative active task elicitation）。

它能基于大模型本身的能力，來引出、推理人類用戶的喜好。

研究團隊將這稱為一種更主動的方式，具體表現(xiàn)形式就是讓大模型來對用戶提問，以讓人類的偏好想法能更加明確地被表達出來。

對應(yīng)來看，監(jiān)督學(xué)習(xí)和提示工程都屬于被動的方式，監(jiān)督學(xué)習(xí)和少量主動學(xué)習(xí)還要基于示例。

為什么要“反客為主”提示人類？

因為人類給出的提示存在局限性，不一定能準確完整表達出自己的喜好。

比如很多人都不懂提示工程；或者在提示過程中提供了存在誤導(dǎo)性的資料……這些都會導(dǎo)致大模型表現(xiàn)變差。

論文中列舉了一個例子。假如一個用戶說自己很喜歡讀網(wǎng)球相關(guān)的文章，對網(wǎng)球巡回賽、發(fā)球技術(shù)感興趣。但是從他提供的文章參考里，無法判斷他是否對網(wǎng)球方面的其他話題感興趣。

所以，如果大模型能學(xué)會一些提問技巧，就能將用戶的偏好鎖定在更小范圍內(nèi)。

本項研究讓大模型嘗試了多種提問方式，比如主動生成用戶標注的樣本、是非類提問、開放式提問等。

主要測試的任務(wù)為內(nèi)容推薦、道德推理和郵箱驗證。

結(jié)果顯示，在三項任務(wù)中，GATE包含的辦法效果都優(yōu)于其他方法。

使用這一框架的大模型，使用起來也不那么“燒腦”了（如下左圖）。

以及這種方法的引入也不會影響人類用戶本來的偏好（如下右圖）。

作者認為更大的模型可能是更好的引導(dǎo)者，實驗中他們使用的是GPT-4。

如醫(yī)療、法律等需要做出復(fù)雜決策的領(lǐng)域，會是GATE框架未來拓展的方向。

本項工作由MIT、Anthropic和斯坦福學(xué)者聯(lián)合推出。

“我們現(xiàn)在仍依賴提示工程”

而以這篇研究為核心，也引發(fā)了一波關(guān)于提示工程的討論。

并不是所有人都贊同“提示工程正在消失”這一觀點。

另一位AI圈大V elvis就表示，這篇研究和之前那些研究人類偏好的工作沒有太大不同，我們現(xiàn)在還是要依賴提示工程。

我不認為“理解人類意圖/喜好”會導(dǎo)致提示工程消失，除非LLM訓(xùn)練和工作的方式發(fā)生系統(tǒng)性變化。

也有人覺得提示工程只是會從前端消失，形式上發(fā)生改變。

還有人提問，要是提示工程消失了，那花重金雇傭提示工程師的人可咋辦？

不過回到研究本身，的確提示工程對于很多人來說還是有難度，有網(wǎng)友覺得，這是阻礙很多人擁抱ChatGPT的一大原因。

你覺得呢？

論文地址：https://arxiv.org/abs/2310.11589