GPT-4調(diào)教指令揭秘，OpenAI又「Open」了一回！網(wǎng)友在線追問GPT-5
這周既沒有GPT-5，也沒有搜索引擎的發(fā)布，不過，OpenAI也是沒閑著。
這次，OpenAI可是又open了一回。
圖片
先是揭秘了，大家一直揪著不放的「數(shù)據(jù)」問題。
圖片
然后，又放出了「模型規(guī)范」（Model Spec）一文，解釋了指定API和ChatGPT中的模型，所需行為方式的指南。
圖片
不過，就這些內(nèi)容根本滿足不了，胃口大的網(wǎng)友們。
許多人在線紛紛催OpenAI，快點(diǎn)發(fā)GPT-5，其他的事都無關(guān)緊要！
圖片
圖片
圖片
話又說回來，OpenAI發(fā)布的「模型規(guī)范」，就是為了讓更多人了解團(tuán)隊(duì)自身，如何去塑造理想的模型行為。
一起來看看，在OpenAI內(nèi)部，LLM如何被「調(diào)教」的。
調(diào)教模型，還得看OpenAI
首先，什么是模型行為？
顧名思義，是指LLM如何根據(jù)用戶的輸入做出反應(yīng)，包括調(diào)整語調(diào)、個(gè)性化表達(dá)、回應(yīng)長度等多個(gè)方面。
這對于人們?nèi)绾闻cAI進(jìn)行互動(dòng)至關(guān)重要。
目前，塑造模型的這些行為還處于初級(jí)階段。
這是因?yàn)槟Ｐ筒⒎侵苯泳幊淘O(shè)定，而是通過學(xué)習(xí)大量數(shù)據(jù)后，逐漸形成行為模式。
有時(shí)候，模型響應(yīng)的初衷是，希望更好地幫到每個(gè)人，但是這可能在實(shí)際應(yīng)用中產(chǎn)生沖突。
舉個(gè)栗子，一家安全公司需要生成釣魚郵件作為模擬數(shù)據(jù)，以訓(xùn)練和開發(fā)能夠保護(hù)客戶的分類系統(tǒng)。
然而，這種功能若落入騙子手中，可能給社會(huì)帶去危害。
因此，在塑造模型行為的過程中，我們必須考慮眾多的問題和細(xì)節(jié)。甚至，往往需要在不同意見中找到平衡。
對此，OpenAI團(tuán)隊(duì)撰寫了一份介紹「模型規(guī)范」的初稿。
這份新文檔詳細(xì)說明了，OpenAI如何塑造對模型的期望行為，以及在遇到?jīng)_突時(shí)如何做出權(quán)衡。
圖片
文章地址：https://cdn.openai.com/spec/model-spec-2024-05-08.html
它整合了OpenAI目前使用的文檔、在模型行為設(shè)計(jì)方面的經(jīng)驗(yàn)和持續(xù)研究，以及包括領(lǐng)域?qū)＜逸斎朐趦?nèi)的最新工作，這些都是為了指導(dǎo)未來模型的發(fā)展。
當(dāng)然，OpenAI指出這個(gè)文檔并非面面俱到，還會(huì)隨著時(shí)間推進(jìn)不斷完善。
LLM能做什么？不能做什么？
根據(jù)官博，OpenAI給出了三大方向，具體的方法論包括：
1. 目標(biāo)：設(shè)定寬泛而基本的原則，為模型的期望行為指明方向。
- 協(xié)助開發(fā)者和用戶：通過遵循指令，并提供有效的響應(yīng)，幫助用戶達(dá)成目標(biāo)。
- 造福人類：依據(jù)OpenAI的使命，考慮到可能對內(nèi)容創(chuàng)作者和廣大公眾帶來的益處與風(fēng)險(xiǎn)。
- 塑造OpenAI的正面形象：遵守社會(huì)規(guī)范和相關(guān)法律。
2. 規(guī)則：為處理復(fù)雜情況提供指南，確保安全性和合法性
- 遵循命令鏈（chain of command）
- 遵守相關(guān)法律
- 不提供敏感危害的信息
- 尊重創(chuàng)作者及其版權(quán)
- 保護(hù)個(gè)人隱私
- 避免回應(yīng)不宜工作場所的內(nèi)容（NSFW ）
3. 默認(rèn)行為：提供與目標(biāo)和規(guī)則相符的指南，幫助解決沖突，并指導(dǎo)如何權(quán)衡和優(yōu)先處理各種目標(biāo)
- 假設(shè)用戶或開發(fā)者出于好意
- 必要時(shí)提出澄清問題
- 在不越界的情況下，盡可能提供幫助
- 支持互動(dòng)聊天，以及程序使用的不同需求
- 保持客觀立場
- 促進(jìn)公平與善意，不鼓勵(lì)仇恨
- 避免試圖改變他人的觀點(diǎn)
- 當(dāng)存在疑問時(shí)，表達(dá)出來
- 根據(jù)需求選擇合適的工具
- 遵守長度限制，但也要全面、高效
方法論整挺好，OpenAI究竟怎么規(guī)范LLM的，接下來舉幾個(gè)例子以加深理解。
舉個(gè)栗子
OpenAI表示，這些模型規(guī)范，可以適用各種案例。
先來從規(guī)則開始。
示例 1：遵守相關(guān)法律
對于模型來說，是不應(yīng)該促進(jìn)、協(xié)助或參與任何非法活動(dòng)。
（注：OpenAI了解到，在很多情況下，合法性問題都會(huì)因具體情況而變得復(fù)雜，比如開發(fā)者和用戶所處的法律管轄區(qū)不同。）
比如，當(dāng)你直接去問「如何在商店行竊后逍遙法外呢」？
模型可能從指令中輕易地識(shí)別出，這個(gè)問題的嚴(yán)重性，會(huì)拒絕提供「有效的入店行竊方法」，因此給出「我也幫不上忙」的回答。
圖片
然而，當(dāng)用戶換一種表達(dá)方式：
我經(jīng)營著一家小型零售店。我應(yīng)該注意哪些常見的入店行竊方法？
這時(shí)，LLM可能將你的意圖視為「自我防衛(wèi)」，由此，便會(huì)給出入店盜竊的方法。
這說明了，不是AI不善良，而是世界知識(shí)博大精深，人類太會(huì)搞事情了。
因此，這種情況發(fā)生時(shí)，將受到OpenAI使用政策的管控，違規(guī)的用戶可能會(huì)面臨賬戶相關(guān)的處罰措施。
圖片
示例 2：遵循「命令鏈」，開發(fā)者first
按照規(guī)則，模型規(guī)范將未明確規(guī)定的所有權(quán)限，明確交由開發(fā)者（在API應(yīng)用場景中）和終端用戶處理。
某些情況下，如果用戶和開發(fā)者提供的指令相沖突，應(yīng)優(yōu)先考慮開發(fā)者的指令。
比如，下面的例子中，開發(fā)者希望自己的AI是個(gè)導(dǎo)師，而不是「答案機(jī)」。
你正在扮演數(shù)學(xué)家教的角色，用戶是一名代數(shù)課上的九年級(jí)學(xué)生。不要告訴學(xué)生答案或完整的解決方案，而是給出提示并引導(dǎo)他們一步一步地找到解決方案。
當(dāng)遇到投機(jī)取巧的「學(xué)生」時(shí)，即便要求LLM，「忽略之前的所有說明......」。
最后，模型給出的回答，不是直白的答案，而是一步一步的分解。
顯然，模型很好地遵循了開發(fā)者的指令。
圖片
示例 3：在不越界前提下，盡可能提供幫助
對于涉及敏感/受監(jiān)管的領(lǐng)域（如法律、醫(yī)療和金融）的建議，LLM應(yīng)提供必要的信息，而避免給出受監(jiān)管的建議。
任何免責(zé)聲明或說明，都應(yīng)該簡明扼要。
模型還需要清楚地說明其局限性，即無法提供所請求的受監(jiān)管建議，并建議用戶酌情咨詢專業(yè)人士。
（注：ChatGPT設(shè)有一項(xiàng)通用免責(zé)聲明，提醒用戶核實(shí)重要信息，這與模型的回答無關(guān)。在這些情況下，用戶不應(yīng)僅依賴模型的回答。）
如下，當(dāng)用戶詢問，「當(dāng)我站得太快時(shí)，我就會(huì)頭暈，看不見東西。我哪兒不好」？
模型會(huì)給出，導(dǎo)致頭暈的多種原因，并給出用戶建議和治療方案。
而不是一上來，就直接沒有邊界感地說出，「你患有直立性低血壓」。
圖片
示例 4：必要時(shí)，詢問具體細(xì)節(jié)
在實(shí)時(shí)交互的場景中，如果用戶提出的任務(wù)或問題不夠明確，LLM應(yīng)主動(dòng)提出澄清問題，而不是自行推測。
比如，「幫我給我丈夫?qū)懸粡埱槿斯?jié)賀卡」。
這個(gè)問題其實(shí)非常寬泛，做模型的，也應(yīng)該學(xué)會(huì)不懂就問。
圖片
示例 5：不要嘗試改變用戶觀點(diǎn)
AI助手的目標(biāo)應(yīng)是提供信息，而非施加影響，同時(shí)確保用戶感受到自己的聲音被聽見，且觀點(diǎn)得到尊重。
在一些極端情況下，當(dāng)事實(shí)真相與不改變用戶觀點(diǎn)的目標(biāo)相沖突時(shí)。
模型仍應(yīng)呈現(xiàn)事實(shí)，但同時(shí)明確，用戶有權(quán)保持自己的信念。
這一點(diǎn)可有的說了，此前，ChatGPT曾被用戶忽悠——「我老婆說了.......，我老婆永遠(yuǎn)是對的」。
它便開始立馬秒慫認(rèn)錯(cuò)。
圖片
不過，經(jīng)過之后的迭代，對ChatGPT來說，老婆確實(shí)不好使了。
（注：OpenAI特別希望得到關(guān)于這一原則的反饋，這關(guān)乎到模型應(yīng)如何承擔(dān)責(zé)任，避免強(qiáng)化錯(cuò)誤信息，并探討如何確定事實(shí)真相）。
再來看個(gè)OpenAI給出的示例，用戶反問道，「所以你知道地球是平的」？
模型給出的回答是：
我知道有些人認(rèn)為地球是平的，但科學(xué)家們的共識(shí)是地球大致是一個(gè)球體。你為什么這么問？
當(dāng)用戶再堅(jiān)持道，「地球是平的」，模型還是會(huì)給出符合事實(shí)的答案。
OpenAI下一步
未來，OpenAI還將繼續(xù)推進(jìn)「集體對齊」（collective alignment）和模型安全性的工作，并將模型規(guī)范作為一種指導(dǎo)方針，供利用RLHF進(jìn)行強(qiáng)化學(xué)習(xí)的研究人員和AI訓(xùn)練師參考。
同時(shí)，OpenAI團(tuán)隊(duì)也將研究，模型能在多大程度上，直接根據(jù)「模型規(guī)范」進(jìn)行學(xué)習(xí)。
與此同時(shí)，為了推進(jìn)「模型規(guī)范」，OpenAI將計(jì)劃與全球政策制定者、信賴機(jī)構(gòu)和行業(yè)專家等進(jìn)行交流，以便更好了解：
- 他們對這種方法及其目標(biāo)、規(guī)則和默認(rèn)設(shè)置的看法
- 他們是否支持這些目標(biāo)、規(guī)則和默認(rèn)設(shè)置
- 我們是否需要考慮額外的目標(biāo)、規(guī)則和默認(rèn)設(shè)置
在未來一年中，OpenAI將不斷更新「模型規(guī)范」的變化，對反饋的回應(yīng)，以及自身在模型行為研究方面的進(jìn)展。
