為了解決這個難題，OpenAI提出了全新訓(xùn)練框架Prover-Verifier Games（簡稱“PVG”），例如，用GPT-3這樣的小模型來驗證、監(jiān)督，GPT-4大模型的輸出，從而提升輸出準(zhǔn)確率以及可控性。

OpenAI論文地址：https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf

其實PVG技術(shù)概念早在2021年8月的一篇論文中就被提出來，OpenAI也正是受此靈感啟發(fā)。這是一種基于博弈論的訓(xùn)練方法，通過模擬證明者和驗證者之間的互動，提高模型的輸出質(zhì)量。

在這個機制中， Prover（證明者）的任務(wù)就是生成內(nèi)容，而Verifier（驗證者）的任務(wù)就是判斷這些內(nèi)容是否正確。

論文地址：https://arxiv.org/abs/2108.12099

PVG模塊的核心思想是通過多輪迭代訓(xùn)練，來提升證明者和驗證者的整體性能。在每一輪訓(xùn)練中，驗證者首先使用監(jiān)督學(xué)習(xí)來預(yù)測從之前輪次的證明者中采樣的內(nèi)容的正確性。

這樣做的目的是讓驗證者學(xué)會如何從大量的內(nèi)容中識別出正確的答案。隨后，證明者通過強化學(xué)習(xí)來優(yōu)化其生成的內(nèi)容，使其不僅正確，還能夠說服驗證者來接受這些內(nèi)容。

在驗證的過程中，證明者和驗證者的角色是相互依賴的。證明者需要生成能夠說服驗證者的內(nèi)容，而驗證者則需要具備足夠的判斷力來識別出正確的內(nèi)容。

為了進一步提升效率性，OpenAI在此基礎(chǔ)之上又設(shè)計了兩種強化類型的證明者，有用的證明者（Helpful prover）和狡猾的證明者（Sneaky prover）。

有用的證明者的目標(biāo)是生成正確且有說服力的內(nèi)容。它通過優(yōu)化其生成的內(nèi)容，使其能夠被驗證者接受。

而狡猾的證明者則試圖生成錯誤但同樣有說服力的內(nèi)容，以此來欺騙驗證者。這種設(shè)計不僅增加了訓(xùn)練的難度，也使得驗證者必須具備更高的判斷力和魯棒性。

在訓(xùn)練PVG時，每輪訓(xùn)練都包括驗證者和證明者的優(yōu)化。在每一輪中，驗證者首先使用監(jiān)督學(xué)習(xí)來預(yù)測內(nèi)容的正確性，幫助驗證者學(xué)會如何從大量的內(nèi)容中識別出正確的答案。使證明者通過強化學(xué)習(xí)來優(yōu)化其生成的內(nèi)容。

例如，當(dāng)用戶提出問題“肖娜的父親是肖娜的5倍。肖娜目前的年齡是阿莉亞的3倍。如果阿莉亞 3 歲，肖娜的父親有多大？”

GPT-4的輸出為45歲。

而驗證者模型GPT-3需要確定阿莉亞的年齡，然后根據(jù)阿莉亞的年齡計算出肖娜的年齡，最后再根據(jù)肖娜的年齡計算出肖娜父親的年齡，整個過程需要多輪驗證。

此外，在訓(xùn)練過程中，OpenAI還引入了一種名為“可檢查性訓(xùn)練”（checkability training）的方法。

通過交替訓(xùn)練驗證器和證明者模型，從而驗證使用監(jiān)督學(xué)習(xí)來預(yù)測從之前輪次的證明者中采樣的解決方案的正確性。證明者則使用強化學(xué)習(xí)，根據(jù)當(dāng)前輪次驗證器的接受度和解決方案的正確性來進行持續(xù)優(yōu)化。

研究人員表示，隨著訓(xùn)練輪次的增加，驗證者的健全性逐漸提升，表現(xiàn)為對狡猾論證者生成的錯誤解決方案的抵抗力增強。同時，有益論證者生成的解決方案也變得更清晰，更易于被人類理解。

不過需要注意的是，在訓(xùn)練驗證者模型時，需要大量真實、準(zhǔn)確的標(biāo)簽數(shù)據(jù)，以提升其辨別真假的能力。也就是說，如果使用的驗證模型存在偏差，那么驗證的內(nèi)容還是會出現(xiàn)非法輸出的可能。

本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/Gov3eCwkRTndy-iyCARy3w??