近來(lái)，人工智能（AI）的迅猛發(fā)展使其在情感生成和評(píng)估領(lǐng)域的應(yīng)用逐漸成為研究熱點(diǎn)。AI技術(shù)尤其是生成對(duì)抗網(wǎng)絡(luò)（GANs）和變分自編碼器（VAEs），在圖像生成方面取得了顯著進(jìn)展。然而情感生成的復(fù)雜性和主觀(guān)性一直是一個(gè)挑戰(zhàn)。圖像能夠傳達(dá)情感，但情感體驗(yàn)具有高度的個(gè)人主觀(guān)性，尤其是在通過(guò)AI生成圖像并試圖傳達(dá)特定情感時(shí)。

10 月 13 日arXiv 發(fā)表的論文《LEVEL OF AGREEMENT BETWEEN EMOTIONS GENERATED BY ARTIFICIAL INTELLIGENCE AND HUMAN EVALUATION: A METHODOLOGICAL PROPOSAL》提出核心問(wèn)題在于評(píng)估人工智能生成的情緒與人類(lèi)評(píng)估之間的一致性。具體而言，研究團(tuán)隊(duì)旨在探討在生成性人工智能工具（如StyleGAN2-ADA）生成圖像的過(guò)程中，這些圖像所傳達(dá)的情感與人類(lèi)對(duì)這些圖像的情感反應(yīng)之間是否存在顯著的一致性。這一問(wèn)題的解決不僅可以驗(yàn)證AI生成圖像的情感傳達(dá)效果，還可以為未來(lái)的AI情感生成和評(píng)估提供方法論依據(jù)。

研究的目標(biāo)包括訓(xùn)練生成性人工智能模型，通過(guò)Artemis數(shù)據(jù)集生成具有特定情感的風(fēng)景圖像，并通過(guò)在線(xiàn)問(wèn)卷收集人類(lèi)對(duì)這些圖像的情感分類(lèi)數(shù)據(jù)。隨后通過(guò)統(tǒng)計(jì)分析評(píng)估人類(lèi)評(píng)估者之間、評(píng)估者與AI生成情感之間的一致性。這些分析將有助于深入了解AI生成情感的可靠性，并探索情感評(píng)估中的主觀(guān)性因素。

研究團(tuán)隊(duì)由來(lái)自智利和西班牙的學(xué)者組成，他們分別在各自領(lǐng)域內(nèi)具有豐富的經(jīng)驗(yàn)和知識(shí)。Miguel Carrasco和Raúl Dastres分別來(lái)自智利圣地亞哥的Adolfo Iba?ez大學(xué)工學(xué)院與科學(xué)學(xué)院，César González-Martín和Sonia Navajas-Torrente則分別來(lái)自西班牙科爾多瓦大學(xué)的教育科學(xué)與心理學(xué)學(xué)院、法學(xué)經(jīng)濟(jì)與商業(yè)學(xué)院。這樣一個(gè)多學(xué)科的團(tuán)隊(duì)能夠從多個(gè)角度全面地研究和分析人工智能在情感生成和評(píng)估中的應(yīng)用。

他們的核心觀(guān)點(diǎn)：

1. 藝術(shù)作品能夠傳達(dá)情感，但這種情感體驗(yàn)具有高度的主觀(guān)性。
2. 人工智能在藝術(shù)創(chuàng)作領(lǐng)域取得了顯著進(jìn)展，特別是 StyleGAN2-ADA 在生成藝術(shù)作品方面的表現(xiàn)。
3. 在情感分類(lèi)上，人類(lèi)評(píng)價(jià)者之間的一致性有限，這反映了情感評(píng)價(jià)的主觀(guān)性。
4. AI 生成的畫(huà)作在二分類(lèi)的情感認(rèn)知上與人類(lèi)評(píng)價(jià)者的一致性較好，特別是在識(shí)別負(fù)面情感時(shí)。
5. 情感認(rèn)知的一致性受到多種因素的影響，包括評(píng)價(jià)者的性別、文化背景、知識(shí)領(lǐng)域和教育水平。
6. 研究提出了改進(jìn) AI 情感認(rèn)知能力的未來(lái)方向，包括擴(kuò)大數(shù)據(jù)集、多樣化評(píng)價(jià)者群體以及深入研究影響情感分類(lèi)的視覺(jué)元素。
7. AI 在藝術(shù)創(chuàng)作中的應(yīng)用 still faces challenges，尤其是在準(zhǔn)確識(shí)別和生成情感化內(nèi)容方面。
8. 統(tǒng)計(jì)分析是評(píng)估 AI 情感認(rèn)知能力的關(guān)鍵工具，研究使用了多種統(tǒng)計(jì)方法來(lái)分析數(shù)據(jù)。

文獻(xiàn)綜述

在情感生成的理論背景中，圖像被認(rèn)為是一種強(qiáng)有力的情感傳達(dá)工具。視覺(jué)藝術(shù)一直以來(lái)都通過(guò)顏色、形狀、紋理等元素來(lái)喚起觀(guān)眾的情感共鳴。隨著AI技術(shù)的發(fā)展，研究人員探索了如何通過(guò)計(jì)算模型實(shí)現(xiàn)這種情感傳達(dá)。StyleGAN2-ADA是其中一項(xiàng)重要的技術(shù)突破，它利用生成對(duì)抗網(wǎng)絡(luò)生成高質(zhì)量的藝術(shù)圖像，并能夠通過(guò)調(diào)整模型參數(shù)來(lái)傳達(dá)特定的情感。該技術(shù)的靈活性和生成圖像的真實(shí)性使其成為研究AI情感生成的重要工具。

然而，情感分類(lèi)的復(fù)雜性和主觀(guān)性仍然是研究中的重大挑戰(zhàn)。情感體驗(yàn)因人而異，不同個(gè)體對(duì)同一視覺(jué)刺激可能有完全不同的情感反應(yīng)。情感分類(lèi)模型的設(shè)計(jì)需要考慮這一主觀(guān)性因素。目前，情感分類(lèi)的方法主要分為離散情感模型和多維情感模型。離散情感模型，如Ekman的基礎(chǔ)情感理論，將情感分類(lèi)為幾種基本類(lèi)型，如快樂(lè)、憤怒、悲傷等。多維情感模型，如Russell的情感圓環(huán)理論，則通過(guò)情感的愉悅度、激活度等維度來(lái)描述情感狀態(tài)。這些模型各有優(yōu)缺點(diǎn)，離散模型在實(shí)際應(yīng)用中更具直觀(guān)性，但難以涵蓋復(fù)雜的情感體驗(yàn)；多維模型能夠更細(xì)致地描述情感狀態(tài)，但在實(shí)際應(yīng)用中較難操作。

在情感生成和評(píng)估的研究中，主觀(guān)性始終是需要克服的難題。不同個(gè)體的文化背景、生活經(jīng)歷、社會(huì)環(huán)境等因素都會(huì)影響其情感反應(yīng)。因此，研究人員在設(shè)計(jì)情感分類(lèi)和生成模型時(shí)需要充分考慮這些因素，并通過(guò)廣泛的樣本數(shù)據(jù)和多樣化的評(píng)估方法來(lái)提高模型的泛化能力和準(zhǔn)確性。通過(guò)不斷優(yōu)化和調(diào)整模型參數(shù)，結(jié)合多種情感分類(lèi)方法，研究人員希望能夠在情感生成和評(píng)估中取得更高的一致性和準(zhǔn)確性。

這篇論文通過(guò)對(duì)StyleGAN2-ADA生成圖像與人類(lèi)評(píng)估的一致性研究，揭示了情感生成技術(shù)的潛力和面臨的挑戰(zhàn)。研究結(jié)果不僅驗(yàn)證了AI生成情感圖像的有效性，還為未來(lái)的情感生成和評(píng)估研究提供了寶貴的參考。

研究方法

通過(guò)系統(tǒng)而詳細(xì)的方法介紹，研究團(tuán)隊(duì)展示了他們?cè)跀?shù)據(jù)選擇、預(yù)處理、圖像生成及人類(lèi)評(píng)估過(guò)程中的縝密設(shè)計(jì)和嚴(yán)謹(jǐn)分析。

圖1：生成神經(jīng)產(chǎn)生的情緒評(píng)估過(guò)程的總體方案。該方法包括三個(gè)階段：數(shù)據(jù)準(zhǔn)備、建模和評(píng)估。

首先，數(shù)據(jù)準(zhǔn)備階段是整個(gè)研究的基礎(chǔ)。研究團(tuán)隊(duì)選擇了Artemis數(shù)據(jù)集和WikiArt數(shù)據(jù)集作為基礎(chǔ)數(shù)據(jù)源。Artemis數(shù)據(jù)集由WikiArt數(shù)據(jù)集中獲取的80,031條記錄組成，每條記錄包含藝術(shù)作品的藝術(shù)風(fēng)格、作品本身、注釋者聲明的情感、注釋者的解釋以及參與注釋的注釋者數(shù)量。研究團(tuán)隊(duì)將重點(diǎn)放在與風(fēng)景類(lèi)別相關(guān)的記錄上，這是因?yàn)轱L(fēng)景類(lèi)圖像在情感傳達(dá)中具有更普遍的理解度和接受度。接著，數(shù)據(jù)預(yù)處理是關(guān)鍵一步。研究團(tuán)隊(duì)必須確保每一條記錄的情感標(biāo)簽準(zhǔn)確無(wú)誤，并篩除掉那些沒(méi)有主要情感的記錄，以減少數(shù)據(jù)的噪音和干擾。最終研究團(tuán)隊(duì)篩選出了9,750條有效記錄，為后續(xù)的圖像生成和情感分類(lèi)奠定了堅(jiān)實(shí)的基礎(chǔ)。

圖2：生成網(wǎng)絡(luò)生成的情緒評(píng)估方法。在每個(gè)階段，都有多個(gè)子階段專(zhuān)門(mén)用于圖像開(kāi)發(fā)和評(píng)估。

接下來(lái)是圖像生成與情感變體的設(shè)計(jì)。研究團(tuán)隊(duì)選擇了StyleGAN2-ADA作為主要工具。StyleGAN2-ADA是一種基于生成對(duì)抗網(wǎng)絡(luò)（GANs）的圖像生成工具，能夠生成高質(zhì)量且真實(shí)感極強(qiáng)的圖像。為了生成符合研究需求的圖像，研究團(tuán)隊(duì)首先對(duì)風(fēng)景圖像進(jìn)行了預(yù)處理，將其大小調(diào)整為256x256像素，以確保與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程相兼容。在生成過(guò)程中，研究團(tuán)隊(duì)生成了20幅基礎(chǔ)風(fēng)景圖像，并為每幅圖像創(chuàng)建了四種情感變體，分別為滿(mǎn)足、娛樂(lè)、恐懼和悲傷。這一過(guò)程不僅需要高度的技術(shù)支持，還需對(duì)情感表達(dá)的深刻理解和細(xì)致調(diào)整，確保每幅圖像都能準(zhǔn)確傳達(dá)特定情感。

圖3:StyleGAN2 ADA工具生成的藝術(shù)作品示例基于具有四個(gè)情感類(lèi)別的景觀(guān)數(shù)據(jù)集。所有圖像都是全新的，訓(xùn)練集中沒(méi)有類(lèi)似的圖像。

在人類(lèi)評(píng)估階段，研究團(tuán)隊(duì)設(shè)計(jì)并實(shí)施了一個(gè)詳細(xì)的在線(xiàn)問(wèn)卷。問(wèn)卷通過(guò)Google表單平臺(tái)發(fā)布，旨在收集參與者對(duì)生成圖像的情感分類(lèi)數(shù)據(jù)。為了確保數(shù)據(jù)的廣泛性和多樣性，問(wèn)卷在2023年10月30日至11月30日期間開(kāi)放。參與者需為每幅隨機(jī)順序呈現(xiàn)的風(fēng)景圖像選擇一個(gè)情感類(lèi)別（滿(mǎn)足、娛樂(lè)、恐懼、悲傷）。參與者的平均年齡為30歲，其中包括33名男性和28名女性，主要來(lái)自工程技術(shù)和社會(huì)科學(xué)領(lǐng)域，70%的參與者具有研究生或更高學(xué)歷。這些人口統(tǒng)計(jì)數(shù)據(jù)的收集和分析，不僅為研究提供了豐富的數(shù)據(jù)來(lái)源，也確保了結(jié)果的代表性和可靠性。整個(gè)研究方法的設(shè)計(jì)和實(shí)施展示了研究團(tuán)隊(duì)在數(shù)據(jù)選擇、預(yù)處理、圖像生成以及人類(lèi)評(píng)估方面的專(zhuān)業(yè)能力和科學(xué)嚴(yán)謹(jǐn)。

圖4：研究參與者的社會(huì)人口學(xué)數(shù)據(jù)：箱線(xiàn)圖年齡、性別男性、女性、國(guó)家、研究地區(qū)、獲得的最高研究水平。關(guān)于研究中使用的分組的更多信息將在結(jié)果部分進(jìn)行回顧。

研究團(tuán)隊(duì)將生成工具創(chuàng)建圖像的標(biāo)簽作為參考，并將其與參與者的主要分類(lèi)，即模式進(jìn)行比較。因此，研究團(tuán)隊(duì)根據(jù)Eser和Aksu的一項(xiàng)研究中使用多個(gè)一致性指數(shù)的建議，使用Cohen的Kappa系數(shù)Cohen來(lái)評(píng)估兩個(gè)評(píng)估者之間的一致性（AI模式）。與上一節(jié)中使用的Krippendorff的Alpha系數(shù)不同，Cohen的kappa系數(shù)只允許兩個(gè)評(píng)估者之間進(jìn)行分析，因此在這種情況下，他們將使用生成工具生成圖像所使用的模式和情感標(biāo)簽。通過(guò)這種方式，可以確定每張圖像-評(píng)估者和生成工具之間的一致性或一致性水平（見(jiàn)圖5中的過(guò)程示例）。

圖5:mode和StyleGAN2 ADA工具之間的評(píng)估過(guò)程和協(xié)議。每個(gè)人對(duì)每張圖片進(jìn)行投票。然后為每個(gè)圖像計(jì)算模式，以獲得每個(gè)圖像的代表性情感，并將其與生成工具生成的情感標(biāo)簽進(jìn)行比較。

另一方面，他們?cè)谶@種新方法中提出了使用混淆矩陣，混淆矩陣通常用于評(píng)估分類(lèi)模型的性能。該過(guò)程的目的是將參與者在圖像問(wèn)卷中進(jìn)行的分類(lèi)與生成工具分配的標(biāo)簽進(jìn)行比較，將其分為四種情緒。為了構(gòu)建混淆矩陣，他們將真實(shí)類(lèi)定義為由生成工具生成的類(lèi)，將預(yù)測(cè)類(lèi)定義為參與者的分類(lèi)模式。還計(jì)算混淆矩陣的精確度、召回率和F1分?jǐn)?shù)度量，以確定所獲得的預(yù)測(cè)水平，就像它是一個(gè)分類(lèi)問(wèn)題一樣。通過(guò)Fisher檢驗(yàn)，研究團(tuán)隊(duì)使用性別（男女）、知識(shí)領(lǐng)域（工程和技術(shù)-社會(huì)科學(xué)）和教育水平（本科-研究生）作為細(xì)分變量，比較了不同群體從混淆矩陣中獲得的精確度和召回率指標(biāo)。他們選擇比較這些群體，因?yàn)樗麄冋际茉L(fǎng)者的大多數(shù)，為分析提供了一個(gè)具有代表性的樣本。此外利用Jaccard指數(shù)，可以確定不同數(shù)據(jù)集之間暴露結(jié)果之間的交叉程度。

結(jié)果與分析

在本研究中，結(jié)果與分析部分重點(diǎn)探討了評(píng)估者之間的一致性以及參與者與AI生成情感之間的一致性，通過(guò)使用不同的統(tǒng)計(jì)方法進(jìn)行了詳細(xì)分析。

首先，評(píng)估者之間的一致性是通過(guò)Krippendorff’s Alpha系數(shù)進(jìn)行分析的。Krippendorff’s Alpha系數(shù)是一種用于評(píng)估多個(gè)評(píng)估者之間一致性的統(tǒng)計(jì)指標(biāo)。在情感分類(lèi)的過(guò)程中，不同評(píng)估者對(duì)同一圖像的情感評(píng)估可能會(huì)有差異。分析結(jié)果顯示，當(dāng)情感分類(lèi)為四種類(lèi)別（滿(mǎn)足、娛樂(lè)、恐懼、悲傷）時(shí)，評(píng)估者之間的一致性較低。這表明，情感評(píng)估具有高度的主觀(guān)性，不同個(gè)體對(duì)同一圖像可能產(chǎn)生不同的情感反應(yīng)。然而，當(dāng)情感分類(lèi)簡(jiǎn)化為兩類(lèi)（正面和負(fù)面）時(shí)，評(píng)估者之間的一致性顯著提高。這一結(jié)果反映了情感評(píng)估中的復(fù)雜性和多樣性，同時(shí)也表明，簡(jiǎn)化的情感分類(lèi)可能更容易達(dá)成共識(shí)。

圖6：與Jaccard的女性指數(shù)一致的百分比低于75%。

在參與者與AI生成情感的一致性分析中，研究團(tuán)隊(duì)使用了Cohen’s Kappa系數(shù)和Jaccard指數(shù)。Cohen’s Kappa系數(shù)用于評(píng)估兩個(gè)評(píng)估者（在本研究中為參與者和AI生成的情感標(biāo)簽）之間的一致性。Jaccard指數(shù)則用于衡量?jī)蓚€(gè)集合之間的相似性，即參與者選擇的情感標(biāo)簽與AI生成的情感標(biāo)簽之間的重合程度。分析結(jié)果顯示，當(dāng)情感分類(lèi)為正面和負(fù)面時(shí)，參與者與AI之間的一致性較高，這與評(píng)估者之間的一致性結(jié)果一致。然而，當(dāng)情感分類(lèi)為四類(lèi)時(shí)，一致性顯著降低。這表明，雖然AI在生成圖像時(shí)能夠傳達(dá)特定情感，但人類(lèi)在評(píng)估這些情感時(shí)仍然存在較大的主觀(guān)差異。

值得注意的是，在分析正負(fù)情感分類(lèi)與四類(lèi)情感分類(lèi)的一致性差異時(shí)，研究發(fā)現(xiàn)，負(fù)面情感的分類(lèi)一致性普遍高于正面情感。具體而言，參與者在評(píng)估負(fù)面情感（如恐懼和悲傷）時(shí)，與AI生成的情感標(biāo)簽一致性較高，而在評(píng)估正面情感（如滿(mǎn)足和娛樂(lè)）時(shí)，一致性較低。這一發(fā)現(xiàn)可能反映出負(fù)面情感在視覺(jué)傳達(dá)中的直觀(guān)性更強(qiáng)，或者說(shuō)負(fù)面情感更容易被不同個(gè)體一致識(shí)別。

通過(guò)這些分析，研究不僅揭示了AI生成情感與人類(lèi)評(píng)估之間的一致性情況，還強(qiáng)調(diào)了情感評(píng)估中的主觀(guān)性挑戰(zhàn)。未來(lái)的研究可以進(jìn)一步探討如何提高正面情感的分類(lèi)一致性，優(yōu)化AI生成情感的準(zhǔn)確性和表現(xiàn)力。此外，增加評(píng)估者樣本的多樣性，以及結(jié)合更多的圖像和情感類(lèi)型，也將有助于更全面地理解和解決這一復(fù)雜問(wèn)題。

討論

在這篇論文中，研究團(tuán)隊(duì)探索了人工智能生成的情感與人類(lèi)評(píng)估之間的一致性，揭示了情感分類(lèi)中的諸多挑戰(zhàn)。特別是負(fù)面情感分類(lèi)的一致性結(jié)果，展示了AI在傳達(dá)特定情感方面的潛力和局限性。我們重點(diǎn)討論這些發(fā)現(xiàn)，并分析情感分類(lèi)中存在的主觀(guān)性因素。

研究發(fā)現(xiàn)，負(fù)面情感（如恐懼和悲傷）的分類(lèi)一致性普遍高于正面情感（如滿(mǎn)足和娛樂(lè)）。這一現(xiàn)象可能有多方面的原因。首先，負(fù)面情感在視覺(jué)傳達(dá)中的直觀(guān)性較強(qiáng)，人類(lèi)對(duì)負(fù)面情感的識(shí)別往往更迅速、更明確。負(fù)面情感通常伴隨著強(qiáng)烈的生理反應(yīng)，如驚恐、悲傷等，這些反應(yīng)在視覺(jué)上容易捕捉和表達(dá)。因此參與者在面對(duì)負(fù)面情感圖像時(shí)，能夠更一致地識(shí)別和分類(lèi)。

另一方面，正面情感的表達(dá)和識(shí)別則相對(duì)復(fù)雜。這可能是因?yàn)檎媲楦械谋憩F(xiàn)形式更多樣，不同個(gè)體對(duì)正面情感的體驗(yàn)和表達(dá)也存在差異。例如，滿(mǎn)足和娛樂(lè)這兩種情感之間的界限在某些情況下可能會(huì)模糊，人類(lèi)在分類(lèi)時(shí)容易受到自身情感體驗(yàn)的影響。此外，正面情感的視覺(jué)特征可能不如負(fù)面情感那樣鮮明，從而增加了分類(lèi)的難度和主觀(guān)性。

情感分類(lèi)中的主觀(guān)性還受到多種因素的影響。文化背景、生活經(jīng)歷、社會(huì)環(huán)境等都會(huì)對(duì)個(gè)體的情感反應(yīng)產(chǎn)生影響。在本研究中，盡管參與者來(lái)自不同國(guó)家、擁有不同的教育背景和知識(shí)領(lǐng)域，但樣本規(guī)模和多樣性仍然存在局限性。例如，大多數(shù)參與者來(lái)自工程技術(shù)和社會(huì)科學(xué)領(lǐng)域，且70%具有研究生或更高學(xué)歷，這一特征可能影響了研究結(jié)果的代表性和廣泛性。

研究的局限性主要體現(xiàn)在樣本規(guī)模和評(píng)估者多樣性方面。樣本規(guī)模較小，且評(píng)估者主要集中在某些特定領(lǐng)域，限制了研究結(jié)果的泛化性。為了在未來(lái)研究中獲得更具代表性的結(jié)果，研究團(tuán)隊(duì)建議擴(kuò)大樣本規(guī)模，納入更多不同背景、年齡層和領(lǐng)域的參與者。此外當(dāng)前研究?jī)H限于風(fēng)景圖像，缺乏多樣化的視覺(jué)元素，未來(lái)可以結(jié)合更多類(lèi)型的圖像，如人臉、情境圖等，以更全面地評(píng)估AI生成情感的準(zhǔn)確性和一致性。

未來(lái)的研究方向還包括進(jìn)一步優(yōu)化情感生成模型，提高正面情感的分類(lèi)一致性。例如，研究可以探索結(jié)合多種情感分類(lèi)方法，利用深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)，不斷調(diào)整和優(yōu)化模型參數(shù)，以增強(qiáng)AI在情感傳達(dá)中的表現(xiàn)力。此外，研究團(tuán)隊(duì)還建議深入分析影響情感分類(lèi)決策的關(guān)鍵視覺(jué)元素，如顏色、形狀、紋理等，探索這些元素在情感表達(dá)中的作用，為未來(lái)的情感計(jì)算提供更豐富的理論支持。

通過(guò)這些改進(jìn)和擴(kuò)展，研究可以進(jìn)一步推動(dòng)AI在情感生成和評(píng)估領(lǐng)域的發(fā)展，使其在實(shí)際應(yīng)用中能夠更加有效地傳達(dá)和識(shí)別情感，滿(mǎn)足不同情境下的需求。這將為AI技術(shù)在情感計(jì)算、心理學(xué)、教育、醫(yī)療等領(lǐng)域的應(yīng)用帶來(lái)新的機(jī)遇和挑戰(zhàn)。（END）

參考資料：???https://arxiv.org/abs/2410.08332??

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS