[[200204]]

前言

自然語言處理(簡稱NLP)，是研究計算機(jī)處理人類語言的一門技術(shù)，NLP技術(shù)讓計算機(jī)可以基于一組技術(shù)和理論，分析、理解人類的溝通內(nèi)容。傳統(tǒng)的自然語言處理方法涉及到了很多語言學(xué)本身的知識，而深度學(xué)習(xí)，是表征學(xué)習(xí)(representation learning)的一種方法，在機(jī)器翻譯、自動問答、文本分類、情感分析、信息抽取、序列標(biāo)注、語法解析等領(lǐng)域都有廣泛的應(yīng)用。

2013年末谷歌發(fā)布的word2vec工具，將一個詞表示為詞向量，將文字?jǐn)?shù)字化，有效地應(yīng)用于文本分析。2016年谷歌開源自動生成文本摘要模型及相關(guān)TensorFlow代碼。2016/2017年，谷歌發(fā)布/升級語言處理框架SyntaxNet，識別率提高25%，為40種語言帶來文本分割和詞態(tài)分析功能。2017年谷歌官方開源tf-seq2seq，一種通用編碼器/解碼器框架，實(shí)現(xiàn)自動翻譯。本文主要結(jié)合TensorFlow平臺，講解TensorFlow詞向量生成模型(Vector Representations of Words);使用RNN、LSTM模型進(jìn)行語言預(yù)測;以及TensorFlow自動翻譯模型。

Word2Vec數(shù)學(xué)原理簡介

我們將自然語言交給機(jī)器學(xué)習(xí)來處理，但機(jī)器無法直接理解人類語言。那么首先要做的事情就是要將語言數(shù)學(xué)化，Hinton于1986年提出Distributed Representation方法，通過訓(xùn)練將語言中的每一個詞映射成一個固定長度的向量。所有這些向量構(gòu)成詞向量空間，每個向量可視為空間中的一個點(diǎn)，這樣就可以根據(jù)詞之間的距離來判斷它們之間的相似性，并且可以把其應(yīng)用擴(kuò)展到句子、文檔及中文分詞。

Word2Vec中用到兩個模型，CBOW模型(Continuous Bag-of-Words model)和Skip-gram模型(Continuous Skip-gram Model)。模型示例如下，是三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，包括輸入層，投影層和輸出層。

其中score(wt, h)，表示在的上下文環(huán)境下，預(yù)測結(jié)果是的概率得分。上述目標(biāo)函數(shù)，可以轉(zhuǎn)換為極大化似然函數(shù)，如下所示：

求解上述概率模型的計算成本是非常高昂的，需要在神經(jīng)網(wǎng)絡(luò)的每一次訓(xùn)練過程中，計算每個詞在他的上下文環(huán)境中出現(xiàn)的概率得分，如下所示：

然而在使用word2vec方法進(jìn)行特性學(xué)習(xí)的時候，并不需要計算全概率模型。在CBOW模型和skip-gram模型中，使用了邏輯回歸(logistic regression)二分類方法進(jìn)行的預(yù)測。如下圖CBOW模型所示，為了提高模型的訓(xùn)練速度和改善詞向量的質(zhì)量，通常采用隨機(jī)負(fù)采樣(Negative Sampling)的方法，噪音樣本w1，w2，w3，wk…為選中的負(fù)采樣。

TensorFlow近義詞模型

本章講解使用TensorFlow word2vec模型尋找近義詞，輸入數(shù)據(jù)是一大段英文文章，輸出是相應(yīng)詞的近義詞。比如，通過學(xué)習(xí)文章可以得到和five意思相近的詞有: four, three, seven, eight, six, two, zero, nine。通過對大段英文文章的訓(xùn)練，當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練到10萬次迭代，網(wǎng)絡(luò)Loss值減小到4.6左右的時候，學(xué)習(xí)得到的相關(guān)近似詞，如下圖所示：

下面為TensorFlow word2vec API 使用說明：

構(gòu)建詞向量變量，vocabulary_size為字典大小，embedding_size為詞向量大小

embeddings = tf.Variable(tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0)) 

定義負(fù)采樣中邏輯回歸的權(quán)重和偏置

nce_weights = tf.Variable(tf.truncated_normal 
 
([vocabulary_size, embedding_size], stddev=1.0 / math.sqrt(embedding_size))) 
 
nce_biases = tf.Variable(tf.zeros([vocabulary_size]))  

定義訓(xùn)練數(shù)據(jù)的接入

train_inputs = tf.placeholder(tf.int32, shape=[batch_size]) 
 
train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1])  

定義根據(jù)訓(xùn)練數(shù)據(jù)輸入，并尋找對應(yīng)的詞向量

embed = tf.nn.embedding_lookup(embeddings, train_inputs) 

基于負(fù)采樣方法計算Loss值

loss = tf.reduce_mean( tf.nn.nce_loss 
 
(weights=nce_weights, biases=nce_biases, labels=train_labels, 
 
inputs=embed, num_sampled=num_sampled, num_classes=vocabulary_size))  

定義使用隨機(jī)梯度下降法執(zhí)行優(yōu)化操作，最小化loss值

optimizer = tf.train.GradientDescentOptimizer(learning_rate=1.0).minimize(loss) 

通過TensorFlow Session Run的方法執(zhí)行模型訓(xùn)練

for inputs, labels in generate_batch(...): 
 
feed_dict = {train_inputs: inputs, train_labels: labels} 
 
_, cur_loss = session.run([optimizer, loss], feed_dict=feed_dict)  

TensorFlow語言預(yù)測模型

本章主要回顧RNN、LSTM技術(shù)原理，并基于RNN/LSTM技術(shù)訓(xùn)練語言模型。也就是給定一個單詞序列，預(yù)測最有可能出現(xiàn)的下一個單詞。例如，給定[had, a, general] 3個單詞的LSTM輸入序列，預(yù)測下一個單詞是什么?如下圖所示：

RNN技術(shù)原理

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。和卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積網(wǎng)絡(luò)是適用于處理網(wǎng)格化數(shù)據(jù)(如圖像數(shù)據(jù))的神經(jīng)網(wǎng)絡(luò)，而循環(huán)神經(jīng)網(wǎng)絡(luò)是適用于處理序列化數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。例如，你要預(yù)測句子的下一個單詞是什么，一般需要用到前面的單詞，因為一個句子中前后單詞并不是獨(dú)立的。RNN之所以稱為循環(huán)神經(jīng)網(wǎng)路，即一個序列當(dāng)前的輸出與前面的輸出也有關(guān)。具體的表現(xiàn)形式為網(wǎng)絡(luò)會對前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計算中，即隱藏層之間的節(jié)點(diǎn)不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。如下圖所示：

LSTM技術(shù)原理

RNN有一問題，反向傳播時，梯度也會呈指數(shù)倍數(shù)的衰減，導(dǎo)致經(jīng)過許多階段傳播后的梯度傾向于消失，不能處理長期依賴的問題。雖然RNN理論上可以處理任意長度的序列，但實(shí)習(xí)應(yīng)用中，RNN很難處理長度超過10的序列。為了解決RNN梯度消失的問題，提出了Long Short-Term Memory模塊，通過門的開關(guān)實(shí)現(xiàn)序列上的記憶功能，當(dāng)誤差從輸出層反向傳播回來時，可以使用模塊的記憶元記下來。所以 LSTM 可以記住比較長時間內(nèi)的信息。常見的LSTM模塊如下圖所示：

output gate類似于input gate同樣會產(chǎn)生一個0-1向量來控制Memory Cell到輸出層的輸出，如下公式所示： 

三個門協(xié)作使得 LSTM 存儲塊可以存取長期信息，比如說只要輸入門保持關(guān)閉，記憶單元的信息就不會被后面時刻的輸入所覆蓋。

使用TensorFlow構(gòu)建單詞預(yù)測模型

首先下載PTB的模型數(shù)據(jù)，該數(shù)據(jù)集大概包含10000個不同的單詞，并對不常用的單詞進(jìn)行了標(biāo)注。

首先需要對樣本數(shù)據(jù)集進(jìn)行預(yù)處理，把每個單詞用整數(shù)標(biāo)注，即構(gòu)建詞典索引，如下所示：

讀取訓(xùn)練數(shù)據(jù)

data = _read_words(filename)  
#按照單詞出現(xiàn)頻率，進(jìn)行排序  
counter = collections.Counter(data)  
count_pairs = sorted(counter.items(), key=lambda x: (-x1, x[0]))  
#構(gòu)建詞典及詞典索引  
words, _ = list(zip(*count_pairs))  
word_to_id = dict(zip(words, range(len(words))))  

接著讀取訓(xùn)練數(shù)據(jù)文本，把單詞序列轉(zhuǎn)換為單詞索引序列，生成訓(xùn)練數(shù)據(jù)，如下所示：

讀取訓(xùn)練數(shù)據(jù)單詞，并轉(zhuǎn)換為單詞索引序列

data = _read_words(filename) data = [word_to_id[word] for word in data if word in word_to_id] 

生成訓(xùn)練數(shù)據(jù)的data和label，其中epoch_size為該epoch的訓(xùn)練迭代次數(shù)，num_steps為LSTM的序列長度 

i = tf.train.range_input_producer(epoch_size, shuffle=False).dequeue()  
x = tf.strided_slice(data, [0, i * num_steps], [batch_size, (i + 1) * num_steps])  
x.set_shape([batch_size, num_steps])  
y = tf.strided_slice(data, [0, i * num_steps + 1], [batch_size, (i + 1) * num_steps + 1])  
y.set_shape([batch_size, num_steps])  

構(gòu)建LSTM Cell，其中size為隱藏神經(jīng)元的數(shù)量

lstm_cell = tf.contrib.rnn.BasicLSTMCell(size, 
 
forget_bias=0.0, state_is_tuple=True)  

如果為訓(xùn)練模式，為保證訓(xùn)練魯棒性，定義dropout操作

attn_cell = tf.contrib.rnn.DropoutWrapper(lstm_cell, 
 
output_keep_prob=config.keep_prob)  

根據(jù)層數(shù)配置，定義多層RNN神經(jīng)網(wǎng)絡(luò)

cell = tf.contrib.rnn.MultiRNNCell( [ attn_cell for _ in range(config.num_layers)], 
 
state_is_tuple=True)  

根據(jù)詞典大小，定義詞向量

embedding = tf.get_variable("embedding", 
 
[vocab_size, size], dtype=data_type())  

根據(jù)單詞索引，查找詞向量，如下圖所示。從單詞索引找到對應(yīng)的One-hot encoding，然后紅色的weight就直接對應(yīng)了輸出節(jié)點(diǎn)的值，也就是對應(yīng)的embedding向量。

inputs = tf.nn.embedding_lookup(embedding, input_.input_data) 

定義RNN網(wǎng)絡(luò)，其中state為LSTM Cell的狀態(tài)，cell_output為LSTM Cell的輸出

for time_step in range(num_steps): 
 
if time_step > 0: tf.get_variable_scope().reuse_variables() 
 
(cell_output, state) = cell(inputs[:, time_step, :], state) 
 
outputs.append(cell_output)  

定義訓(xùn)練的loss值就，如下公式所示。

softmax_w = tf.get_variable("softmax_w", [size, vocab_size], dtype=data_type())  
softmax_b = tf.get_variable("softmax_b", [vocab_size], dtype=data_type())  
logits = tf.matmul(output, softmax_w) + softmax_b  

Loss值

loss = tf.contrib.legacy_seq2seq.sequence_loss_by_example([logits], 
 
[tf.reshape(input_.targets, [-1])], [tf.ones([batch_size * num_steps], dtype=data_type())])  

定義梯度及優(yōu)化操作

cost = tf.reduce_sum(loss) / batch_size 
 
tvars = tf.trainable_variables() 
 
grads, _ = tf.clip_by_global_norm(tf.gradients(cost, tvars), config.max_grad_norm) 
 
optimizer = tf.train.GradientDescentOptimizer(self._lr)  

單詞困惑度eloss

perplexity = np.exp(costs / iters) 

TensorFlow語言翻譯模型

本節(jié)主要講解使用TensorFlow實(shí)現(xiàn)RNN、LSTM的語言翻譯模型?；A(chǔ)的sequence-to-sequence模型主要包含兩個RNN網(wǎng)絡(luò)，一個RNN網(wǎng)絡(luò)用于編碼Sequence的輸入，另一個RNN網(wǎng)絡(luò)用于產(chǎn)生Sequence的輸出。基礎(chǔ)架構(gòu)如下圖所示 

上圖中的每個方框表示RNN中的一個Cell。在上圖的模型中，每個輸入會被編碼成固定長度的狀態(tài)向量，然后傳遞給解碼器。2014年，Bahdanau在論文“Neural Machine Translation by Jointly Learning to Align and Translate”中引入了Attention機(jī)制。Attention機(jī)制允許解碼器在每一步輸出時參與到原文的不同部分，讓模型根據(jù)輸入的句子以及已經(jīng)產(chǎn)生的內(nèi)容來影響翻譯結(jié)果。一個加入attention機(jī)制的多層LSTM sequence-to-sequence網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

針對上述sequence-to-sequence模型，TensorFlow封裝成了可以直接調(diào)用的函數(shù)API，只需要幾百行的代碼就能實(shí)現(xiàn)一個初級的翻譯模型。tf.nn.seq2seq文件共實(shí)現(xiàn)了5個seq2seq函數(shù)：

• basic_rnn_seq2seq：輸入和輸出都是embedding的形式;encoder和decoder用相同的RNN cell，但不共享權(quán)值參數(shù);
• tied_rnn_seq2seq：同basic_rnn_seq2seq，但encoder和decoder共享權(quán)值參數(shù);
• embedding_rnn_seq2seq：同basic_rnn_seq2seq，但輸入和輸出改為id的形式，函數(shù)會在內(nèi)部創(chuàng)建分別用于encoder和decoder的embedding矩陣;
• embedding_tied_rnn_seq2seq：同tied_rnn_seq2seq，但輸入和輸出改為id形式，函數(shù)會在內(nèi)部創(chuàng)建分別用于encoder和decoder的embedding矩陣;
• embedding_attention_seq2seq：同embedding_rnn_seq2seq，但多了attention機(jī)制;

embedding_rnn_seq2seq函數(shù)接口使用說明如下：

• encoder_inputs：encoder的輸入
• decoder_inputs：decoder的輸入
• cell：RNN_Cell的實(shí)例
• num_encoder_symbols，num_decoder_symbols：分別是編碼和解碼的大小
• embedding_size：詞向量的維度
• output_projection：decoder的output向量投影到詞表空間時，用到的投影矩陣和偏置項
• feed_previous：若為True, 只有第一個decoder的輸入符號有用，所有的decoder輸入都依賴于上一步的輸出;

outputs, states = embedding_rnn_seq2seq(  
encoder_inputs, decoder_inputs, cell,  
num_encoder_symbols, num_decoder_symbols,  
embedding_size, output_projection=None,  
feed_previous=False)  

TensorFlow官方提供了英語到法語的翻譯示例，采用的是statmt網(wǎng)站提供的語料數(shù)據(jù)，主要包含：giga-fren.release2.fixed.en(英文語料，3.6G)和giga-fren.release2.fixed.fr(法文語料，4.3G)。該示例的代碼結(jié)構(gòu)如下所示：

• seq2seq_model.py：seq2seq的TensorFlow模型采用了embedding_attention_seq2seq用于創(chuàng)建seq2seq模型。
• data_utils.py：對語料數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，根據(jù)語料數(shù)據(jù)生成詞典庫;并基于詞典庫把要翻譯的語句轉(zhuǎn)換成用用詞ID表示的訓(xùn)練序列。如下圖所示：

(點(diǎn)擊放大圖像)

translate.py：主函數(shù)入口，執(zhí)行翻譯模型的訓(xùn)練

執(zhí)行模型訓(xùn)練

python translate.py 
 
--data_dir [your_data_directory] --train_dir [checkpoints_directory] 
 
--en_vocab_size=40000 --fr_vocab_size=40000  

總結(jié)

隨著TensorFlow新版本的不斷發(fā)布以及新模型的不斷增加，TensorFlow已成為主流的深度學(xué)習(xí)平臺。本文主要介紹了TensorFlow在自然語言處理領(lǐng)域的相關(guān)模型和應(yīng)用。首先介紹了Word2Vec數(shù)學(xué)原理，以及如何使用TensorFlow學(xué)習(xí)詞向量;接著回顧了RNN、LSTM的技術(shù)原理，講解了TensorFlow的語言預(yù)測模型;最后實(shí)例分析了TensorFlow sequence-to-sequence的機(jī)器翻譯 API及官方示例。