數(shù)據(jù)集是推動(dòng)自然語言處理技術(shù)進(jìn)步的基石。為應(yīng)對(duì)自然語言處理技術(shù)應(yīng)用中面臨的多領(lǐng)域、多場(chǎng)景等諸多挑戰(zhàn)，百度聯(lián)合中國(guó)計(jì)算機(jī)學(xué)會(huì)、中國(guó)中文信息學(xué)會(huì)，于2020年8月共同發(fā)起中文自然語言處理數(shù)據(jù)共建計(jì)劃——“千言”， 推進(jìn)中文信息處理技術(shù)的進(jìn)步。

　　發(fā)布一年多以來，“千言”已針對(duì)開放域?qū)υ挕㈤喿x理解和情感分析等8個(gè)任務(wù)，匯集了來自11所高校和企業(yè)的28個(gè)開源數(shù)據(jù)集。其中，情感分析作為自然語言處理技術(shù)的基本任務(wù)之一，涵蓋了句子級(jí)情感分類、評(píng)價(jià)對(duì)象級(jí)情感分類、觀點(diǎn)抽取三個(gè)經(jīng)典任務(wù)數(shù)據(jù)集，吸引了來自京東、網(wǎng)易、小米、平安、OPPO、新浪等多家知名企業(yè)的近300支團(tuán)隊(duì)參加打榜。

　　近日，為了更好地推動(dòng)情感分析技術(shù)在大規(guī)模產(chǎn)業(yè)化的應(yīng)用，百度聯(lián)合中國(guó)中文信息學(xué)會(huì)情感計(jì)算專業(yè)委員會(huì)、美團(tuán)共同發(fā)布千言-情感分析2.0，實(shí)現(xiàn)兩方面的重大提升。首先，在繼續(xù)關(guān)注模型準(zhǔn)確率效果的同時(shí)，加強(qiáng)對(duì)模型是否“可信”的評(píng)估，發(fā)布業(yè)界首個(gè)中文情感可信數(shù)據(jù)集DuTrust；其次，針對(duì)產(chǎn)業(yè)化中面臨的任務(wù)類型、數(shù)據(jù)模態(tài)多樣化的難題，提供面向真實(shí)應(yīng)用場(chǎng)景的大規(guī)模、高質(zhì)量、多模態(tài)的情感分析數(shù)據(jù)，發(fā)布業(yè)界最大規(guī)模的中文評(píng)論分析數(shù)據(jù)集ASAP和面向推薦場(chǎng)景的多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti。

　　發(fā)布業(yè)界首個(gè)中文情感可信數(shù)據(jù)集DuTrust

　　“可信AI”的概念在近幾年提出，并且逐漸成為全球共識(shí)?？尚臕I，就是保證AI系統(tǒng)的公平性、可解釋性、魯棒性和透明性，確保算法可被人信任。在情感分析技術(shù)的科學(xué)研究和產(chǎn)業(yè)落地中，可信情感分析系統(tǒng)需要模型具備較強(qiáng)的魯棒性，還需要模型具備可解釋能力，也就是需要模型既能給出精準(zhǔn)的預(yù)測(cè)結(jié)果，還能給出其判斷依據(jù)，從而保證模型的預(yù)測(cè)結(jié)果更加置信。

　　作為業(yè)界首個(gè)中文情感可信數(shù)據(jù)集，DuTrust基于人工標(biāo)注的擾動(dòng)數(shù)據(jù)和情感證據(jù)，全部來源于真實(shí)用戶評(píng)論數(shù)據(jù)，同時(shí)測(cè)試模型的魯棒性和可解釋性，全面評(píng)估模型的可信能力。

　　中文情感可信數(shù)據(jù)集DuTrust數(shù)據(jù)樣例

　　以上述評(píng)論數(shù)據(jù)為例，DuTrust首先為每個(gè)樣例對(duì)應(yīng)標(biāo)注一個(gè)擾動(dòng)樣本，并且標(biāo)注原始樣本和擾動(dòng)樣本的情感類別，通過計(jì)算模型在原始樣例和擾動(dòng)樣例上預(yù)測(cè)的準(zhǔn)確率（Accuracy）作為模型魯棒性的評(píng)估指標(biāo)。

　　此外，DuTrust還分別為原始樣例以及擾動(dòng)樣例人工標(biāo)注了情感的判斷依據(jù)，在可解釋性評(píng)估時(shí)，需要用戶同時(shí)給出模型的情感判別依據(jù)，最終通過計(jì)算其與人工標(biāo)注結(jié)果在字粒度上重合度F1值（F1-measure）作為模型可解釋性的評(píng)估指標(biāo)。

　　聯(lián)合發(fā)布業(yè)界最大規(guī)模的中文評(píng)論分析數(shù)據(jù)集ASAP

　　在電商場(chǎng)景下，一般來說情感分析涉及評(píng)論得分預(yù)估和對(duì)象級(jí)情感分類兩個(gè)最基礎(chǔ)的任務(wù)。兩個(gè)任務(wù)之間天然存在很強(qiáng)的關(guān)聯(lián)性，且在商業(yè)應(yīng)用中也通常一起使用。然而現(xiàn)有的中文公開數(shù)據(jù)集大都針對(duì)兩個(gè)任務(wù)分別構(gòu)建，未能將兩類任務(wù)有效聯(lián)系起來。

　　此次“千言”與美團(tuán)聯(lián)合發(fā)布的業(yè)界最大規(guī)模中文評(píng)論分析數(shù)據(jù)集ASAP，首次實(shí)現(xiàn)對(duì)評(píng)論得分預(yù)估和對(duì)象級(jí)情感分類兩個(gè)任務(wù)的聯(lián)合標(biāo)注，數(shù)據(jù)全部源于真實(shí)的電商場(chǎng)景，從數(shù)據(jù)規(guī)模和標(biāo)注質(zhì)量上都遠(yuǎn)超其他數(shù)據(jù)集。

　　中文評(píng)論分析數(shù)據(jù)集ASAP數(shù)據(jù)樣例

　　該數(shù)據(jù)集針對(duì)輸入的評(píng)論文本，人工標(biāo)注整體的評(píng)論得分（1-5分），以及對(duì)應(yīng)不同評(píng)價(jià)對(duì)象的情感類別（積極、消極、中性三種），并且使用準(zhǔn)確率（Accuracy）評(píng)估模型的預(yù)測(cè)效果。

　　發(fā)布面向推薦場(chǎng)景的多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti

　　目前，個(gè)性化推薦技術(shù)迅猛發(fā)展，成為繼搜索引擎之后的又一重要的信息獲取途徑。推薦系統(tǒng)的目的是為用戶提供個(gè)性化的內(nèi)容和服務(wù)，幫助用戶快速高效的獲取個(gè)性化信息。

　　在真實(shí)的應(yīng)用場(chǎng)景中，往往存在大量?jī)?nèi)容題材、質(zhì)量相同，但卻能給用戶帶來不同視覺沖擊和情感感受的資源。針對(duì)這類資源，需要構(gòu)建能夠刻畫用戶不同的視覺和情感感受的完備的標(biāo)簽體系，才能將其更好地應(yīng)用于推薦系統(tǒng)，提升用戶的體驗(yàn)。

　　千言面向推薦場(chǎng)景推出多模態(tài)情感標(biāo)簽數(shù)據(jù)集DuVideoSenti，引入視頻情感泛標(biāo)簽預(yù)測(cè)任務(wù)，構(gòu)建了視頻情感泛標(biāo)簽體系。該體系由人工定義的“文藝清新”、“時(shí)尚炫酷”、“舒適溫馨”等11個(gè)情感泛標(biāo)簽組成，用以刻畫用戶瀏覽視頻后的視覺和情感方面的感受。數(shù)據(jù)集為每個(gè)小視頻標(biāo)注了情感泛標(biāo)簽，并且提供了視頻的標(biāo)題、幀圖特征用于模型的訓(xùn)練和預(yù)測(cè)。在測(cè)試中使用準(zhǔn)確率（Accuracy）用于評(píng)估模型的預(yù)測(cè)效果。本數(shù)據(jù)集聚焦情感分析技術(shù)在個(gè)性化推薦場(chǎng)景中的應(yīng)用，同時(shí)有助于推動(dòng)多模態(tài)學(xué)習(xí)技術(shù)的發(fā)展。

　　多模態(tài)視頻情感標(biāo)簽數(shù)據(jù)集DuVideoSenti數(shù)據(jù)樣例

　　為了進(jìn)一步推動(dòng)情感分析相關(guān)研究，中國(guó)中文信息學(xué)會(huì)情感計(jì)算專業(yè)委員會(huì)與千言開源數(shù)據(jù)集項(xiàng)目組（www.luge.ai）還聯(lián)合舉辦“千言情感分析常規(guī)評(píng)測(cè)比賽”，目前已有來自國(guó)內(nèi)知名企業(yè)及高校超1000位選手報(bào)名參賽。

　　據(jù)悉，本次比賽就以千言-情感分析2.0為核心，全面評(píng)估情感分析模型在多種模態(tài)場(chǎng)景下的預(yù)測(cè)準(zhǔn)確率、模型的魯棒性和可解釋性指標(biāo)。除了有挑戰(zhàn)性的賽題，百度飛槳 AI Studio 將為選手提供免費(fèi)的Tesla V100 GPU算力，千言數(shù)據(jù)集還將為優(yōu)勝團(tuán)隊(duì)頒發(fā)證書，并發(fā)放精美的定制禮品。

　  未來，希望有更多的情感分析領(lǐng)域科研學(xué)者、領(lǐng)域?qū)＜覅⑴c共建千言-情感分析榜單，共同推動(dòng)中文情感分析技術(shù)的進(jìn)步，建設(shè)世界范圍內(nèi)的中文情感分析影響力。