一直以來，數(shù)據(jù)標(biāo)注都在深度學(xué)習(xí)流程中扮演了基礎(chǔ)且重要的角色。

優(yōu)質(zhì)的數(shù)據(jù)標(biāo)注直接影響到模型的學(xué)習(xí)效果，而這無疑是實(shí)現(xiàn)高效深度學(xué)習(xí)的最原始且關(guān)鍵的一步。

與此同時(shí)，標(biāo)注的數(shù)據(jù)作為groundtruth，也直接影響了后續(xù)的訓(xùn)練，驗(yàn)證，測試。

然而，業(yè)界和學(xué)界不得不面臨數(shù)據(jù)標(biāo)注任務(wù)成本較高、存在偏見、難以評估，以及標(biāo)注難度等問題。

最近，來自悉尼大學(xué)的研究團(tuán)隊(duì)提出了一種通過大語言模型自監(jiān)督生成標(biāo)注的框架。首次利用基于生成-還原循環(huán)標(biāo)注的GPT自監(jiān)督方法，解決了上述問題。

論文鏈接：https://arxiv.org/pdf/2306.04349.pdf

其核心思想是，利用大語言模型作為一個(gè)黑盒優(yōu)化優(yōu)器，構(gòu)造了一個(gè)循環(huán)：

模版質(zhì)量越高，生成的數(shù)據(jù)-標(biāo)注對質(zhì)量越高；生成的數(shù)據(jù)標(biāo)注對質(zhì)量越高，用當(dāng)前質(zhì)量更高的數(shù)據(jù)對替換上一輪的模版。以此往復(fù)迭代，滾雪球式循環(huán)提升標(biāo)注質(zhì)量。

數(shù)據(jù)標(biāo)注困難重重

1. 成本較高：

無論是在哪個(gè)國家或公司，數(shù)據(jù)標(biāo)注都是一項(xiàng)成本高昂的工作，需要大量的人力和時(shí)間投入。

在美國，數(shù)據(jù)標(biāo)注員的平均年薪約為39,000美元，最高可達(dá)49,803美元[2]。即使在印度，數(shù)據(jù)標(biāo)注員的平均年薪約為2.0 Lakhs盧比，約合2,670美元[3]。

其次，數(shù)據(jù)標(biāo)注的成本也影響了其評估的困難。

例如，由于成本的差異，許多公司選擇將數(shù)據(jù)標(biāo)注任務(wù)外  包到人力成本較低的國家[4]。

然而，這種跨文化的標(biāo)注可能導(dǎo)致一些細(xì)微的語義差異被忽視，從而影響了模型的學(xué)習(xí)效果。

2. 存在偏見：

數(shù)據(jù)標(biāo)注在機(jī)器學(xué)習(xí)和人工智能的應(yīng)用中扮演著重要的角色。

然而，研究顯示[5]，人類在標(biāo)注過程中可能會引入偏見，這些偏見可能會影響機(jī)器學(xué)習(xí)模型的訓(xùn)練和性能。

研究發(fā)現(xiàn)，標(biāo)注員可能會按照數(shù)據(jù)集創(chuàng)建者編寫的指令中的模式進(jìn)行標(biāo)注，這種現(xiàn)象被稱為「指令偏見」。

這些指令可能會導(dǎo)致某些標(biāo)注在數(shù)據(jù)中過度表示，從而使得AI系統(tǒng)對這些標(biāo)注產(chǎn)生偏見。

3. 難以評估：

研究表明[6]大語言模型本身可以直接通過設(shè)計(jì)prompt標(biāo)注數(shù)據(jù)。

然而，評估這些模型對數(shù)據(jù)標(biāo)注的質(zhì)量和效果十分困難, 因?yàn)槿绾卧u判生成的數(shù)據(jù)質(zhì)量是一個(gè)主觀的問題。

比如，在生物醫(yī)學(xué)領(lǐng)域，深度學(xué)習(xí)模型已經(jīng)顯示出在從DNA序列中預(yù)測調(diào)控效應(yīng)的巨大潛力。

但人類本身并未完全理解模型輸出的內(nèi)容，因此用模型標(biāo)注的質(zhì)量難以被人類評判。

4. 標(biāo)注難度：

即使對專業(yè)從業(yè)者，一些結(jié)構(gòu)化數(shù)據(jù)標(biāo)注難度仍然太大。

比如，在神經(jīng)網(wǎng)絡(luò)計(jì)算圖數(shù)據(jù)中，結(jié)點(diǎn)表述操作符，有向邊表示。

一個(gè)表示網(wǎng)絡(luò)結(jié)構(gòu)的graph列表多達(dá)上千個(gè)結(jié)點(diǎn)對，人工數(shù)結(jié)點(diǎn)和嵌套的block序列將耗費(fèi)大量時(shí)間和精力。

全新標(biāo)注方法

團(tuán)隊(duì)提出的標(biāo)注方法包含了one-shot階段和生成階段。

其中，one-shot階段的目標(biāo)是迭代尋找最優(yōu)的{數(shù)據(jù)-標(biāo)注}數(shù)據(jù)對作為模板。

迭代過程：

初始化一個(gè)簡單數(shù)據(jù)對作為初始模版，利用GPT生成標(biāo)注，生成的標(biāo)注和原始數(shù)據(jù)形成一個(gè)新的數(shù)據(jù)對。

然后，通過比較從標(biāo)注中還原出來的數(shù)據(jù)和原始數(shù)據(jù)，評估這個(gè)新數(shù)據(jù)對作為模板的潛力。

如果還原數(shù)據(jù)與原數(shù)據(jù)的相似度得分有所提高，就用當(dāng)前的新數(shù)據(jù)對直接作為新的模板進(jìn)行一輪數(shù)據(jù)生成。

因此，這種自我對齊機(jī)制會迭代調(diào)整one-shot模板，為下一輪生成做好準(zhǔn)備。one-shot階段搜索到的最優(yōu)模板隨后用于對數(shù)據(jù)集進(jìn)行標(biāo)注。

作者通過調(diào)整不同的預(yù)訓(xùn)練獎勵模型來評估標(biāo)注的質(zhì)量，并引入不同的評價(jià)指標(biāo)來間接評估摘要的還原能力。 

作者在三個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，并從各種角度進(jìn)行了詳細(xì)的消融研究。

結(jié)果表明，這種自我監(jiān)督范式在獎勵模型和還原數(shù)據(jù)能力的得分的評估中始終表現(xiàn)出很高的性能。 

另外，作者應(yīng)用該框架生成了兩個(gè)新的數(shù)據(jù)集，對基于不同計(jì)算操作符的神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行的描述。 

作者通過調(diào)用OpenAI的API在各種類型的GPT模型上進(jìn)行了基準(zhǔn)測試。

表1展示了davinci，text-curie-001，text-davinci-003，gpt-3.5-turbo在不同評估標(biāo)準(zhǔn)下標(biāo)注數(shù)據(jù)質(zhì)量的得分。

作者在論文中還探討如下消融實(shí)驗(yàn)：

Q1. 迭代后的one-shot模板在整個(gè)過程中扮演什么角色？我們是否能通過zero-shot方法(僅通過設(shè)計(jì)的指令instruction-tuning生成摘要), 來達(dá)到同樣的效果？

A1. 與以相同指令為條件的零樣本生成相比，引入樣本模板提高了標(biāo)注質(zhì)量, 實(shí)驗(yàn)細(xì)節(jié)如圖所示。

此外，作者還在文中還探討了如下問題：

對還原數(shù)據(jù)和原數(shù)據(jù)之間的相似度測量評估標(biāo)準(zhǔn)方法會對標(biāo)注有什么影響？模板的初始化如何影響自監(jiān)督標(biāo)注迭代的結(jié)果？GPT模型本身的超參數(shù)是否會影響搜索出來的標(biāo)注模版？