一次只要0.003美元，比人類(lèi)便宜20倍！ChatGPT讓數(shù)據(jù)標(biāo)注者危矣
當(dāng)前，很多自然語(yǔ)言處理（NLP）應(yīng)用需要高質(zhì)量的標(biāo)注數(shù)據(jù)來(lái)支撐，特別是當(dāng)這些數(shù)據(jù)被用于訓(xùn)練分類(lèi)器或評(píng)估無(wú)監(jiān)督模型的性能等任務(wù)中。
例如，人工智能研究人員通常希望過(guò)濾嘈雜的社交媒體數(shù)據(jù)的相關(guān)性，將文本分配到不同的主題或概念類(lèi)別，或衡量其情緒或立場(chǎng)。
而且，無(wú)論這些任務(wù)使用什么具體方法（監(jiān)督、半監(jiān)督或無(wú)監(jiān)督），都需要標(biāo)注好的數(shù)據(jù)來(lái)建立一個(gè)訓(xùn)練集或黃金標(biāo)準(zhǔn)。
然而，在大多數(shù)情況下，要完成高質(zhì)量的數(shù)據(jù)標(biāo)注（data annotation）工作，依然離不開(kāi)數(shù)據(jù)標(biāo)注平臺(tái)上的眾包工作者或諸如研究助理等訓(xùn)練有素的標(biāo)注者來(lái)手動(dòng)進(jìn)行。
通常情況下，訓(xùn)練有素的標(biāo)注者先創(chuàng)建一個(gè)相對(duì)較小的黃金標(biāo)準(zhǔn)數(shù)據(jù)集，然后雇用眾包工作者來(lái)增加標(biāo)注數(shù)據(jù)的數(shù)量，進(jìn)行重復(fù)性工作。根據(jù)規(guī)模大小和復(fù)雜程度，數(shù)據(jù)標(biāo)注任務(wù)有時(shí)會(huì)非常費(fèi)時(shí)費(fèi)力，不僅需要花費(fèi)一定的人力成本，而且也不能保證數(shù)據(jù)標(biāo)注的質(zhì)量。
那么，能否讓機(jī)器幫助人類(lèi)完成這一基礎(chǔ)任務(wù)呢？
在以往的認(rèn)知中，機(jī)器并不擅長(zhǎng)這類(lèi)「慢工出細(xì)活」的任務(wù)，但出乎意料的是，「數(shù)據(jù)標(biāo)注」這件事已經(jīng)讓 ChatGPT 完成了，而且比大多數(shù)人做得還更好。
在一項(xiàng)今天發(fā)表的新研究中，來(lái)自蘇黎世大學(xué)的研究團(tuán)隊(duì)使用由 2382 條推文組成的樣本，證明了 ChatGPT 在相關(guān)性、主題和框架檢測(cè)等標(biāo)多個(gè)注任務(wù)上優(yōu)于眾包工作者。
相關(guān)研究論文以「ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks」為題，已發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。
具體來(lái)說(shuō)，ChatGPT 在五項(xiàng)任務(wù)的四項(xiàng)中的零樣本（zero-shot）準(zhǔn)確率超過(guò)了眾包工作者；在所有任務(wù)中表現(xiàn)出的編碼者間一致性（intercoder agreement）方面，ChatGPT 不僅超過(guò)了眾包工作者，也同樣超過(guò)了訓(xùn)練有素的標(biāo)注者。?
ChatGPT 零樣本文本數(shù)據(jù)標(biāo)注表現(xiàn)
值得一提的是，ChatGPT 的每個(gè)標(biāo)注成本只有不到 0.003 美元，而比數(shù)據(jù)標(biāo)注平臺(tái)便宜約 20 倍。
研究團(tuán)隊(duì)認(rèn)為，雖然需要進(jìn)一步的研究來(lái)更好地了解 ChatGPT 和其他 LLMs 在更廣泛的背景下的表現(xiàn)，但該研究結(jié)果表明，它們有可能改變研究人員進(jìn)行數(shù)據(jù)注釋的方式，極大地提高文本分類(lèi)的效率，并破壞數(shù)據(jù)標(biāo)注平臺(tái)的部分商業(yè)模式。
至少，從目前來(lái)看，這些發(fā)現(xiàn)表明了更深入地研究 LLMs 的文本標(biāo)注特性和能力的重要性。
未來(lái)，研究團(tuán)隊(duì)將在 ChatGPT 在多種語(yǔ)言中的表現(xiàn)、ChatGPT 在多種類(lèi)型的文本（社會(huì)媒體、新聞媒體、立法、演講等）中的表現(xiàn)、使用思維鏈（CoT）提示和其他策略來(lái)提高零樣本推理的性能等方面繼續(xù)努力。
值得一提的是，研究團(tuán)隊(duì)在進(jìn)行這項(xiàng)工作時(shí)，OpenAI 還沒(méi)有發(fā)布 GPT-4，如果讓 GPT-4 來(lái)完成數(shù)據(jù)標(biāo)注任務(wù)，又會(huì)是怎樣的結(jié)果呢？
