本文介紹了如何利用Hugging Face預(yù)訓(xùn)練語言模型對推文隱藏的情緒進(jìn)行分類。

Hugging Face上有各種基于Transformer的語言模型，專門用于處理語言理解和語言生成任務(wù)，包括但不限于：

• 文本分類
• 命名實(shí)體識別(NER)
• 文本生成
• 問題回答
• 摘要
• 翻譯

文本分類任務(wù)的一個特殊又很常見的案例是情緒分析，其目的是識別給定文本的情緒。“最簡單”的一類情緒分析語言模型經(jīng)過訓(xùn)練后，確定輸入文本(比如客戶對產(chǎn)品的評價)是積極的還是消極的，或者是積極的、消極的還是中立的。這兩個具體問題分別被表述為二元分類任務(wù)或多類分類任務(wù)。

還有一些語言模型雖然仍可以歸為情緒分析模型，但經(jīng)過訓(xùn)練后，可以將文本分類為幾種情緒，比如憤怒、快樂和悲傷等。

這篇基于Python的教程側(cè)重于加載和闡明使用一個Hugging Face預(yù)訓(xùn)練模型來分類與輸入文本相關(guān)的主要情緒。我們將使用在Hugging Face中心上公開可用的情緒數(shù)據(jù)集。這個數(shù)據(jù)集含有成千上萬條用英語寫的推文消息。

加載數(shù)據(jù)集

我們將運(yùn)行以下指令，加載情緒數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)：

!pip install datasets
from datasets import load_dataset
all_data = load_dataset("jeffnyman/emotions")
train_data = all_data["train"]

下面是train_data變量中訓(xùn)練子集所包含內(nèi)容的摘要：

Dataset({
features: ['text', 'label'],
num_rows: 16000
})

情緒數(shù)據(jù)集中的訓(xùn)練內(nèi)容含有16000個與推文消息相關(guān)的實(shí)例。每個實(shí)例有兩個特征：一個輸入特征含有實(shí)際的消息文本，一個輸出特征或標(biāo)簽含有其相關(guān)的情緒(用數(shù)字標(biāo)識符標(biāo)識)。

0：悲傷

1：快樂

2：喜愛

3：憤怒

4：恐懼

5：驚喜

比如說，訓(xùn)練內(nèi)容中的第一個標(biāo)記實(shí)例被歸類為“悲傷”情緒：

train_data [0]

輸出：

{'text': 'i didnt feel humiliated', 'label': 0}

加載語言模型

一旦我們加載了數(shù)據(jù)，下一步就是從Hugging Face加載一個合適的預(yù)訓(xùn)練語言模型，用于我們的目標(biāo)情緒檢測任務(wù)。使用Hugging Face的Transformer庫加載和使用語言模型有兩種主要方法：

• 管道提供了一個非常高的抽象級別，可以準(zhǔn)備加載語言模型，并立即對其執(zhí)行推理，只需很少的代碼行，不過代價是幾乎沒什么可配置性。
• 自動類提供了較低層次的抽象，需要更多的編碼技能，但在調(diào)整模型參數(shù)以及定制文本預(yù)處理步驟(如標(biāo)記化)方面提供了更大的靈活性。

為了方便起見，本教程側(cè)重于使用管道來加載模型。管道要求起碼指定語言任務(wù)的類型，并指定要加載的模型名(可選)。由于情緒檢測是文本分類問題的一種非常特殊的形式，因此在加載模型時使用的任務(wù)參數(shù)應(yīng)該是“text-classification”。

from transformers import pipeline
classifier = pipeline("text-classification", 
model="j-hartmann/emotion-english-distilroberta-base")

另一方面，強(qiáng)烈建議用“model”參數(shù)指定Hugging Face中心中一個特定模型的名稱，該模型能夠解決我們的特定情緒檢測任務(wù)。否則，默認(rèn)情況下，我們可能會為這個特定的6類分類問題加載一個沒有經(jīng)過數(shù)據(jù)訓(xùn)練的文本分類模型。

你可能會問自己：“我怎么知道使用哪個模型名稱?”。答案很簡單：在Hugging Face網(wǎng)站上搜索一番，找到合適的模型，或者根據(jù)特定數(shù)據(jù)集(比如情緒數(shù)據(jù))訓(xùn)練的模型。

下一步是開始進(jìn)行預(yù)測。管道使得這個推理過程非常簡單，只需要調(diào)用我們新實(shí)例化的管道變量，并將輸入文本作為參數(shù)來傳遞：

example_tweet = "I love hugging face transformers!"
prediction = classifier(example_tweet)
print(prediction)

結(jié)果，我們得到一個預(yù)測標(biāo)簽和一個置信度分?jǐn)?shù)：這個分?jǐn)?shù)越接近1，所做的預(yù)測就越“可靠”。

[{'label': 'joy'， 'score': 0.9825918674468994}]

所以，我們的輸入例子“I love hugging face transformers!”明確地傳達(dá)了一種喜悅的情緒。

你可以將多個輸入文本傳遞給管道以同時執(zhí)行幾個預(yù)測，如下所示：

example_tweets = ["I love hugging face transformers!", "I really like coffee 
but it's too bitter..."]
prediction = classifier(example_tweets)
print(prediction)

這個例子中的第二個輸入對于模型執(zhí)行自信分類更具挑戰(zhàn)性：

[{'label': 'joy', 'score': 0.9825918674468994}, {'label': 'sadness', 'score': 
0.38266682624816895}]

最后，我們還可以從數(shù)據(jù)集傳遞一批實(shí)例，比如之前加載的“情緒”數(shù)據(jù)。這個例子將前10個訓(xùn)練輸入傳遞給我們的語言模型管道，對它們的情緒進(jìn)行分類，然后輸出一個含有每個預(yù)測標(biāo)簽的列表，將他們的置信度分?jǐn)?shù)放在一邊：

train_batch = train_data[:10]["text"]
predictions = classifier(train_batch)
labels = [x['label'] for x in predictions]
print(labels)

輸出：

['sadness', 'sadness', 'anger', 'joy', 'anger', 'sadness', 'surprise', 
'fear', 'joy', 'joy']

為了比較，下面是這10個訓(xùn)練實(shí)例的原始標(biāo)簽：

print(train_data[:10]["label"])

輸出：

[0, 0, 3, 2, 3, 0, 5, 4, 1, 2]

如果觀察每個數(shù)字標(biāo)識符所關(guān)聯(lián)的情緒，我們可以看到，10個預(yù)測中有7個與這10個實(shí)例的實(shí)際標(biāo)簽相匹配。

你已知道如何使用Hugging Face transformer模型來檢測文本情緒，何不探究預(yù)訓(xùn)練的語言模型可以提供幫助的其他用例和語言任務(wù)呢?

原文標(biāo)題：Using Hugging Face Transformers for Emotion Detection in Text，作者：Iván Palomares Carrascosa

鏈接：https://www.kdnuggets.com/using-hugging-face-transformers-for-emotion-detection-in-text。