自然語(yǔ)言處理[1]是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的另一個(gè)重要方向，其中很重要的一點(diǎn)就是語(yǔ)音識(shí)別（speech recognition）、機(jī)器翻譯、智能機(jī)器人。
與語(yǔ)言相關(guān)的技術(shù)可以應(yīng)用在很多地方。例如，日本的富國(guó)生命保險(xiǎn)公司花費(fèi)170萬(wàn)美元安裝人工智能系統(tǒng)，把客戶(hù)的語(yǔ)言轉(zhuǎn)換為文本，并分析這些詞是正面的還是負(fù)面的。這些自動(dòng)化工作將幫助人類(lèi)更快地處理保險(xiǎn)業(yè)務(wù)。除此之外，現(xiàn)在的人工智能公司也在把智能客服作為重點(diǎn)的研究方向。

與圖像識(shí)別不同，在自然語(yǔ)言處理中輸入的往往是一段語(yǔ)音或者一段文字，輸入數(shù)據(jù)的長(zhǎng)短是不確定的，并且它與上下文有很密切的關(guān)系，所以常用的是循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型。

在本節(jié)里，我們將分別介紹自然語(yǔ)言模型的選擇、神經(jīng)機(jī)器翻譯的原理，最后，用200余行PaddlePaddle代碼手把手帶領(lǐng)大家做一個(gè)英法翻譯機(jī)。

自然語(yǔ)言處理模型的選擇

下面我們就來(lái)介紹使用不同輸入和不同數(shù)據(jù)時(shí)，分別適用哪種模型以及如何應(yīng)用。

在下圖中，每一個(gè)矩形是一個(gè)向量，箭頭則表示函數(shù)（如矩陣相乘）。最下面一行為輸入向量，最上面一行為輸出向量，中間一行是RNN的狀態(tài)。

圖中從左到右分別表示以下幾種情況。

（1）一對(duì)一：沒(méi)有使用RNN，如Vanilla模型，從固定大小的輸入得到固定大小輸出（應(yīng)用在圖像分類(lèi)）。

（2）一對(duì)多：以序列輸出（應(yīng)用在圖片描述，輸入一張圖片輸出一段文字序列，這種往往需要CNN和RNN相結(jié)合，也就是圖像和語(yǔ)言相結(jié)合，詳見(jiàn)第12章）。

 

圖

（3）多對(duì)一：以序列輸入（應(yīng)用在情感分析，輸入一段文字，然后將它分類(lèi)成積極或者消極情感，如淘寶下某件商品的評(píng)論分類(lèi)），如使用LSTM。

（4）多對(duì)多：異步的序列輸入和序列輸出（應(yīng)用在機(jī)器翻譯，如一個(gè)RNN讀取一條英文語(yǔ)句，然后將它以法語(yǔ)形式輸出）。

（5）多對(duì)多：同步的序列輸入和序列輸出（應(yīng)用在視頻分類(lèi)，對(duì)視頻中每一幀打標(biāo)記）。

我們注意到，在上述講解中，因?yàn)橹虚gRNN的狀態(tài)的部分是固定的，可以多次使用，所以不需要對(duì)序列長(zhǎng)度進(jìn)行預(yù)先特定約束。更詳細(xì)的討論參見(jiàn)Andrej Karpathy的文章《The Unreasonable Effectiveness of Recurrent Neural Networks》[2]。

自然語(yǔ)言處理通常包括語(yǔ)音合成（將文字生成語(yǔ)音）、語(yǔ)音識(shí)別、聲紋識(shí)別（聲紋鑒權(quán)），以及它們的一些擴(kuò)展應(yīng)用，以及文本處理，如分詞、情感分析、文本挖掘等。

神經(jīng)機(jī)器翻譯原理

機(jī)器翻譯的作用就是將一個(gè)源語(yǔ)言的序列（如英文Economic growth has slowed down in recent years）轉(zhuǎn)化成目標(biāo)語(yǔ)言序列（如法文La croissance economique sest ralentie ces dernieres annees）。其中翻譯機(jī)器是需要利用已有的語(yǔ)料庫(kù)（Corpora）來(lái)進(jìn)行訓(xùn)練。

所謂的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯就是利用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)上述的翻譯機(jī)器?；谏窠?jīng)網(wǎng)絡(luò)的很多技術(shù)都是從Bengio的那篇開(kāi)創(chuàng)性論文[3]衍生出來(lái)的。這里我們介紹在機(jī)器翻譯中最常用的重要技術(shù)及演進(jìn)。

自然語(yǔ)言處理模型演進(jìn)概覽

我們知道正如卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的演進(jìn)從LeNet到AlexNet，再到VggNet、GoogLeNet，最后到ResNet，演進(jìn)的方式有一定規(guī)律，并且也在ImageNet LSVRC競(jìng)賽上用120萬(wàn)張圖片、1000類(lèi)標(biāo)記上取得了很好的成績(jī)。循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）的演進(jìn)從vanilla RNN到隱藏層結(jié)構(gòu)精巧的GRU和LSTM，再到雙向和多層的Deep Bidirectional RNN，都有一些結(jié)構(gòu)和演化脈絡(luò)，下面我們就首先來(lái)探討。

Original LSTM

1997年Hochreiter和Schmidhuber首先提出了LSTM的網(wǎng)絡(luò)結(jié)構(gòu)，解決了傳統(tǒng)RNN對(duì)于較長(zhǎng)的序列數(shù)據(jù)，訓(xùn)練過(guò)程中容易出現(xiàn)梯度消失或爆炸的現(xiàn)象。Original LSTM的結(jié)構(gòu)如下：

 

圖

Standard LSTM

但是，傳統(tǒng)的LSTM存在一個(gè)問(wèn)題：隨著時(shí)間序列的增多，LSTM網(wǎng)絡(luò)沒(méi)有重置機(jī)制（比如兩句話合成一句話作為輸入的話，希望是在第一句話結(jié)束的時(shí)候進(jìn)行重置），從而導(dǎo)致cell state容易發(fā)生飽和；另一方面輸出h趨近于1，導(dǎo)致cell的輸出近似等于output gate的輸出，意味著網(wǎng)絡(luò)喪失了memory的功能。相比于簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM增加了記憶單元、輸入門(mén)、遺忘門(mén)及輸出門(mén)。這些門(mén)及記憶單元組合起來(lái)大大提升了循環(huán)神經(jīng)網(wǎng)絡(luò)處理長(zhǎng)序列數(shù)據(jù)的能力。

Standard LSTM的結(jié)構(gòu)如下：

 

圖[4]

GRU[5]

相比于簡(jiǎn)單的RNN，LSTM增加了記憶單元（memory cell）、輸入門(mén)（input gate）、遺忘門(mén)（forget gate）及輸出門(mén)（output gate），這些門(mén)及記憶單元組合起來(lái)大大提升了RNN處理遠(yuǎn)距離依賴(lài)問(wèn)題的能力。

GRU是Cho等人在LSTM上提出的簡(jiǎn)化版本，也是RNN的一種擴(kuò)展，如下圖所示。GRU單元只有兩個(gè)門(mén)：

- 重置門(mén)（reset gate）：如果重置門(mén)關(guān)閉，會(huì)忽略掉歷史信息，即歷史不相干的信息不會(huì)影響未來(lái)的輸出。

- 更新門(mén)（update gate）：將LSTM的輸入門(mén)和遺忘門(mén)合并，用于控制歷史信息對(duì)當(dāng)前時(shí)刻隱層輸出的影響。如果更新門(mén)接近1，會(huì)把歷史信息傳遞下去。

 

 

GRU（門(mén)控循環(huán)單元）

一般來(lái)說(shuō)，具有短距離依賴(lài)屬性的序列，其重置門(mén)比較活躍；相反，具有長(zhǎng)距離依賴(lài)屬性的序列，其更新門(mén)比較活躍。GRU雖然參數(shù)更少，但是在多個(gè)任務(wù)上都和LSTM有相近的表現(xiàn)。

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

雙向循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的目的是輸入一個(gè)序列，得到其在每個(gè)時(shí)刻的特征表示，即輸出的每個(gè)時(shí)刻都用定長(zhǎng)向量表示到該時(shí)刻的上下文語(yǔ)義信息。

具體來(lái)說(shuō)，該雙向循環(huán)神經(jīng)網(wǎng)絡(luò)分別在時(shí)間維以順序和逆序——即前向（forward）和后向（backward）——依次處理輸入序列，并將每個(gè)時(shí)間步RNN的輸出拼接成為最終的輸出層。這樣每個(gè)時(shí)間步的輸出節(jié)點(diǎn)，都包含了輸入序列中當(dāng)前時(shí)刻完整的過(guò)去和未來(lái)的上下文信息。

下圖展示的是一個(gè)按時(shí)間步展開(kāi)的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含一個(gè)前向和一個(gè)后向RNN，其中有六個(gè)權(quán)重矩陣：輸入到前向隱層和后向隱層的權(quán)重矩陣（W1,W3W1,W3），隱層到隱層自己的權(quán)重矩陣（W2,W5W2,W5），前向隱層和后向隱層到輸出層的權(quán)重矩陣（W4,W6W4,W6）。注意，該網(wǎng)絡(luò)的前向隱層和后向隱層之間沒(méi)有連接。

 

 

圖 按時(shí)間步展開(kāi)的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

seq2seq+Attention

seq2seq模型是一個(gè)翻譯模型，主要是把一個(gè)序列翻譯成另一個(gè)序列。它的基本思想是用兩個(gè)RNNLM，一個(gè)作為編碼器，另一個(gè)作為解碼器，組成RNN編碼器-解碼器。

在文本處理領(lǐng)域，我們常用編碼器-解碼器（encoder-decoder）框架，如圖所示。

 

圖

這是一種適合處理由一個(gè)上下文（context）生成一個(gè)目標(biāo)（target）的通用處理模型。因此，對(duì)于一個(gè)句子對(duì)<X, Y>，當(dāng)輸入給定的句子X(jué)，通過(guò)編碼器-解碼器框架來(lái)生成目標(biāo)句子Y。X和Y可以是不同語(yǔ)言，這就是機(jī)器翻譯；X和Y可以是對(duì)話的問(wèn)句和答句，這就是聊天機(jī)器人；X和Y可以是圖片和這個(gè)圖片的對(duì)應(yīng)描述（看圖說(shuō)話）。

X由x1、x2等單詞序列組成，Y也由y1、y2等單詞序列組成。編碼器對(duì)輸入的X進(jìn)行編碼，生成中間語(yǔ)義編碼C，然后解碼器對(duì)中間語(yǔ)義編碼C進(jìn)行解碼，在每個(gè)i時(shí)刻，結(jié)合已經(jīng)生成的y1, y2,…, yi-1的歷史信息生成Yi。但是，這個(gè)框架有一個(gè)缺點(diǎn)，就是生成的句子中每一個(gè)詞采用的中間語(yǔ)義編碼是相同的，都是C。因此，在句子比較短的時(shí)候，還能比較貼切，句子長(zhǎng)時(shí)，就明顯不合語(yǔ)義了。

在實(shí)際實(shí)現(xiàn)聊天系統(tǒng)的時(shí)候，一般編碼器和解碼器都采用RNN模型以及RNN模型的改進(jìn)模型LSTM。當(dāng)句子長(zhǎng)度超過(guò)30以后，LSTM模型的效果會(huì)急劇下降，一般此時(shí)會(huì)引入Attention模型，對(duì)長(zhǎng)句子來(lái)說(shuō)能夠明顯提升系統(tǒng)效果。

Attention機(jī)制是認(rèn)知心理學(xué)層面的一個(gè)概念，它是指當(dāng)人在做一件事情的時(shí)候，會(huì)專(zhuān)注地做這件事而忽略周?chē)钠渌?。例如，人在?zhuān)注地看這本書(shū)，會(huì)忽略旁邊人說(shuō)話的聲音。這種機(jī)制應(yīng)用在聊天機(jī)器人、機(jī)器翻譯等領(lǐng)域，就把源句子中對(duì)生成句子重要的關(guān)鍵詞的權(quán)重提高，產(chǎn)生出更準(zhǔn)確的應(yīng)答。

增加了Attention模型的編碼器-解碼器框架如下圖所示。

現(xiàn)在的中間語(yǔ)義編碼變成了不斷變化的Ci，能夠生產(chǎn)更準(zhǔn)確的目標(biāo)Yi。

 

圖

目標(biāo)結(jié)果展示[6]

以中英翻譯（中文翻譯到英文）的模型為例，當(dāng)模型訓(xùn)練完畢時(shí)，如果輸入如下已分詞的中文句子：

這些 是 希望 的 曙光 和 解脫 的 跡象 .

如果設(shè)定顯示翻譯結(jié)果的條數(shù)為3，生成的英語(yǔ)句子如下：

0 -5.36816 These are signs of hope and relief . <e>

1 -6.23177 These are the light of hope and relief . <e>

2 -7.7914 These are the light of hope and the relief of hope . <e>

左起第一列是生成句子的序號(hào)；左起第二列是該條句子的得分（從大到小），分值越高越好；左起第三列是生成的英語(yǔ)句子。 另外有兩個(gè)特殊標(biāo)志：<e>表示句子的結(jié)尾，<unk>表示未登錄詞（unknown word），即未在訓(xùn)練字典中出現(xiàn)的詞。

PaddlePaddle最佳實(shí)踐[7]

下面我們就來(lái)用200余行代碼構(gòu)建一個(gè)英法文翻譯機(jī)。

數(shù)據(jù)集及數(shù)據(jù)預(yù)處理

本次實(shí)踐使用WMT-14[8]數(shù)據(jù)集中的bitexts(after selection)作為訓(xùn)練集，dev+test data作為測(cè)試集和生成集。

數(shù)據(jù)集格式如下：

bitexts.selected數(shù)據(jù)集，共12075604行，有大量的并行數(shù)據(jù)的英文/法文對(duì)，約850M法文單詞。這個(gè)數(shù)據(jù)是相當(dāng)嘈雜的，是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的一大挑戰(zhàn)。因此，官方已經(jīng)執(zhí)行了數(shù)據(jù)選擇來(lái)提取最合適的數(shù)據(jù)。

“pc”之后的數(shù)字表示百分比。 一般我們基于短語(yǔ)的基準(zhǔn)系統(tǒng)僅在這些數(shù)據(jù)上進(jìn)行訓(xùn)練。

ep7_pc45 Europarl版本7 （27.8M）

nc9 新聞評(píng)論版本9 （5.5M）

2008年至2011年的dev08_11舊開(kāi)發(fā)數(shù)據(jù) （0.3M）

抓取常見(jiàn)抓取數(shù)據(jù) （90M）

ccb2_pc30 10 ^ 9平行語(yǔ)料庫(kù) （81M）

un2000_pc34 聯(lián)合國(guó)語(yǔ)料庫(kù) （143M）
下載后的數(shù)據(jù)文件如下：

 

我們打開(kāi)Europarl版本7（ep7_pc45）數(shù)據(jù)一探究竟。

less ep7_pc45.en

 

可以看到，英文版本的第8行：Me ？

less ep7_pc45.fr

 

可以看到，對(duì)應(yīng)法文版本的第8行Moi ？

因?yàn)橥暾臄?shù)據(jù)集數(shù)據(jù)量較大，為了驗(yàn)證訓(xùn)練流程，PaddlePaddle接口paddle.dataset.wmt14中默認(rèn)提供了一個(gè)經(jīng)過(guò)預(yù)處理的較小規(guī)模的數(shù)據(jù)集（wmt14）。該數(shù)據(jù)集有193319條訓(xùn)練數(shù)據(jù)，6003條測(cè)試數(shù)據(jù)，詞典長(zhǎng)度為30000。我們可以在這個(gè)數(shù)據(jù)集上對(duì)模型進(jìn)行實(shí)驗(yàn)；但真正需要訓(xùn)練，還是建議采用原始數(shù)據(jù)集。

我們對(duì)這個(gè)較小規(guī)模的數(shù)據(jù)集進(jìn)行預(yù)處理。預(yù)處理后的文件如下：

 

預(yù)處理流程包括3步：

1.將每個(gè)源語(yǔ)言到目標(biāo)語(yǔ)言的平行語(yǔ)料庫(kù)文件合并為一個(gè)文件；

2.合并每個(gè)XXX.src和XXX.trg文件為XXX。 - XXX中的第i行內(nèi)容為XXX.src中的第i行和XXX.trg中的第i行連接，用'\t'分隔。 如train和test中處理后如下，下圖每一行是一句法文和英文的平行語(yǔ)料，紅框處代表兩句之間用’\t’的分隔：

 

3.創(chuàng)建訓(xùn)練數(shù)據(jù)的“源字典”和“目標(biāo)字典”。每個(gè)字典都有DICTSIZE個(gè)單詞，包括：語(yǔ)料中詞頻最高的（DICTSIZE - 3）個(gè)單詞，和3個(gè)特殊符號(hào)<s>（序列的開(kāi)始）、<e>（序列的結(jié)束）和<unk>（未登錄詞）。得到的src.dict（法文詞典）和trg.dict（英文詞典）分別如下：

 

最佳實(shí)踐[9]

數(shù)據(jù)處理好后，接下來(lái)我們就開(kāi)始編寫(xiě)代碼搭建神經(jīng)網(wǎng)絡(luò)及訓(xùn)練。[10]

paddle初始化

首先，進(jìn)行paddle的初始化，直接導(dǎo)入Python版本的Paddle庫(kù)，和TensorFlow很相似。

# 加載 paddle的python包

import sys

import paddle.v2 as paddle

# 配置只使用cpu，并且使用一個(gè)cpu進(jìn)行訓(xùn)練

paddle.init(use_gpu=False, trainer_count=1)

# 訓(xùn)練模式False，生成模式True

is_generating = False

全局變量及超參數(shù)定義

這里，因?yàn)槲覀儗?duì)數(shù)據(jù)預(yù)處理做了30000維的數(shù)據(jù)字典，所以在全局變量中也填寫(xiě)對(duì)應(yīng)的值。

dict_size = 30000 # 字典維度

source_dict_dim = dict_size # 源語(yǔ)言字典維度

target_dict_dim = dict_size # 目標(biāo)語(yǔ)言字典維度

word_vector_dim = 512 # 詞向量維度

encoder_size = 512 # 編碼器中的GRU隱層大小

decoder_size = 512 # 解碼器中的GRU隱層大小

beam_size = 3 # 柱寬度

max_length = 250 # 生成句子的最大長(zhǎng)度

構(gòu)建模型

首先，構(gòu)建編碼器框架：

輸入是一個(gè)文字序列，被表示成整型的序列。序列中每個(gè)元素是文字在字典中的索引。所以，我們定義數(shù)據(jù)層的數(shù)據(jù)類(lèi)型為integer_value_sequence（整型序列），序列中每個(gè)元素的范圍是[0, source_dict_dim]。

src_word_id = paddle.layer.data(

name='source_language_word',

type=paddle.data_type.integer_value_sequence(source_dict_dim))

將上述編碼映射到低維語(yǔ)言空間的詞向量s。

src_embedding = paddle.layer.embedding(

input=src_word_id, size=word_vector_dim)

用雙向GRU編碼源語(yǔ)言序列，拼接兩個(gè)GRU的編碼結(jié)果得到h。

src_forward = paddle.networks.simple_gru(

input=src_embedding, size=encoder_size)

src_backward = paddle.networks.simple_gru(

input=src_embedding, size=encoder_size, reverse=True)

encoded_vector = paddle.layer.concat(input=[src_forward, src_backward])

接著，構(gòu)建基于注意力機(jī)制的解碼器框架：

對(duì)源語(yǔ)言序列編碼后的結(jié)果（即上面的encoded_vector），過(guò)一個(gè)前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Neural Network），得到其映射。

encoded_proj = paddle.layer.fc(

act=paddle.activation.Linear(),

size=decoder_size,

bias_attr=False,

input=encoded_vector)

構(gòu)造解碼器RNN的初始狀態(tài)。

backward_first = paddle.layer.first_seq(input=src_backward)

decoder_boot = paddle.layer.fc(

size=decoder_size,

act=paddle.activation.Tanh(),

bias_attr=False,

input=backward_first)

定義解碼階段每一個(gè)時(shí)間步的RNN行為。

def gru_decoder_with_attention(enc_vec, enc_proj, current_word):

decoder_mem = paddle.layer.memory(

name='gru_decoder', size=decoder_size, boot_layer=decoder_boot)

context = paddle.networks.simple_attention(

encoded_sequence=enc_vec,

encoded_proj=enc_proj,

decoder_state=decoder_mem)

decoder_inputs = paddle.layer.fc(

act=paddle.activation.Linear(),

size=decoder_size * 3,

bias_attr=False,

input=[context, current_word],

layer_attr=paddle.attr.ExtraLayerAttribute(

error_clipping_threshold=100.0))

gru_step = paddle.layer.gru_step(

name='gru_decoder',

input=decoder_inputs,

output_mem=decoder_mem,

size=decoder_size)

out = paddle.layer.mixed(

size=target_dict_dim,

bias_attr=True,

act=paddle.activation.Softmax(),

input=paddle.layer.full_matrix_projection(input=gru_step))

return out

那在訓(xùn)練模式下的解碼器如何調(diào)用呢？

首先，將目標(biāo)語(yǔ)言序列的詞向量trg_embedding，直接作為訓(xùn)練模式下的current_word傳給gru_decoder_with_attention函數(shù)。

其次，使用recurrent_group函數(shù)循環(huán)調(diào)用gru_decoder_with_attention函數(shù)。

接著，使用目標(biāo)語(yǔ)言的下一個(gè)詞序列作為標(biāo)簽層lbl，即預(yù)測(cè)目標(biāo)詞。

最后，用多類(lèi)交叉熵?fù)p失函數(shù)classification_cost來(lái)計(jì)算損失值。

代碼如下:

if not is_generating:

trg_embedding = paddle.layer.embedding(

input=paddle.layer.data(

name='target_language_word',

type=paddle.data_type.integer_value_sequence(target_dict_dim)),

size=word_vector_dim,

param_attr=paddle.attr.ParamAttr(name='_target_language_embedding'))

group_inputs.append(trg_embedding)

# For decoder equipped with attention mechanism, in training,

# target embeding (the groudtruth) is the data input,

# while encoded source sequence is accessed to as an unbounded memory.

# Here, the StaticInput defines a read-only memory

# for the recurrent_group.

decoder = paddle.layer.recurrent_group(

name=decoder_group_name,

step=gru_decoder_with_attention,

input=group_inputs)

lbl = paddle.layer.data(

name='target_language_next_word',

type=paddle.data_type.integer_value_sequence(target_dict_dim))

cost = paddle.layer.classification_cost(input=decoder, label=lbl)

那生成（預(yù)測(cè)）模式下的解碼器如何調(diào)用呢？

首先，在序列生成任務(wù)中，由于解碼階段的RNN總是引用上一時(shí)刻生成出的詞的詞向量，作為當(dāng)前時(shí)刻的輸入，

其次，使用beam_search函數(shù)循環(huán)調(diào)用gru_decoder_with_attention函數(shù)，生成出序列id。

if is_generating:

# In generation, the decoder predicts a next target word based on

# the encoded source sequence and the previous generated target word.

# The encoded source sequence (encoder's output) must be specified by

# StaticInput, which is a read-only memory.

# Embedding of the previous generated word is automatically retrieved

# by GeneratedInputs initialized by a start mark <s>.

trg_embedding = paddle.layer.GeneratedInput(

size=target_dict_dim,

embedding_name='_target_language_embedding',

embedding_size=word_vector_dim)

group_inputs.append(trg_embedding)

beam_gen = paddle.layer.beam_search(

name=decoder_group_name,

step=gru_decoder_with_attention,

input=group_inputs,

bos_id=0,

eos_id=1,

beam_size=beam_size,

max_length=max_length)

訓(xùn)練模型

1.構(gòu)造數(shù)據(jù)定義

我們獲取wmt14的dataset reader。

if not is_generating:

wmt14_reader = paddle.batch(

paddle.reader.shuffle(

paddle.dataset.wmt14.train(dict_size=dict_size), buf_size=8192),

batch_size=5)

2.構(gòu)造trainer

根據(jù)優(yōu)化目標(biāo)cost,網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和模型參數(shù)來(lái)構(gòu)造出trainer用來(lái)訓(xùn)練，在構(gòu)造時(shí)還需指定優(yōu)化方法，這里使用最基本的SGD方法。

if not is_generating:

optimizer = paddle.optimizer.Adam(

learning_rate=5e-5,

regularization=paddle.optimizer.L2Regularization(rate=8e-4))

trainer = paddle.trainer.SGD(cost=cost,

parameters=parameters,

update_equation=optimizer)

3.構(gòu)造event_handler

可以通過(guò)自定義回調(diào)函數(shù)來(lái)評(píng)估訓(xùn)練過(guò)程中的各種狀態(tài)，比如錯(cuò)誤率等。下面的代碼通過(guò)event.batch_id % 2 == 0 指定每2個(gè)batch打印一次日志，包含cost等信息。

if not is_generating:

def event_handler(event):

if isinstance(event, paddle.event.EndIteration):

if event.batch_id % 2 == 0:

print "\nPass %d, Batch %d, Cost %f, %s" % (

event.pass_id, event.batch_id, event.cost, event.metrics)

4.啟動(dòng)訓(xùn)練

if not is_generating:

trainer.train(

reader=wmt14_reader, event_handler=event_handler, num_passes=2)

隨后，就可以開(kāi)始訓(xùn)練了。訓(xùn)練開(kāi)始后，可以觀察到event_handler輸出的日志如下：

Pass 0, Batch 0, Cost 148.444983, {'classification_error_evaluator': 1.0}

.........

Pass 0, Batch 10, Cost 335.896802, {'classification_error_evaluator': 0.9325153231620789}

.........

預(yù)測(cè)模型

我們加載預(yù)訓(xùn)練的模型，然后從wmt14生成集中讀取樣本，試著生成結(jié)果。

1.加載預(yù)訓(xùn)練的模型

if is_generating:

parameters = paddle.dataset.wmt14.model()

2. 數(shù)據(jù)定義

從wmt14的生成集中讀取前3個(gè)樣本作為源語(yǔ)言句子。

if is_generating:

gen_creator = paddle.dataset.wmt14.gen(dict_size)

gen_data = []

gen_num = 3

for item in gen_creator():

gen_data.append((item[0], ))

if len(gen_data) == gen_num:

break

3. 構(gòu)造infer

根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和模型參數(shù)構(gòu)造出infer用來(lái)生成，在預(yù)測(cè)時(shí)還需要指定輸出域field，這里使用生成句子的概率prob和句子中每個(gè)詞的id。

if is_generating:

beam_result = paddle.infer(

output_layer=beam_gen,

parameters=parameters,

input=gen_data,

field=['prob', 'id'])

4.打印生成結(jié)果

根據(jù)源/目標(biāo)語(yǔ)言字典，將源語(yǔ)言句子和beam_size個(gè)生成句子打印輸出。

if is_generating:

# load the dictionary

src_dict, trg_dict = paddle.dataset.wmt14.get_dict(dict_size)

gen_sen_idx = np.where(beam_result[1] == -1)[0]

assert len(gen_sen_idx) == len(gen_data) * beam_size

# -1 is the delimiter of generated sequences.

# the first element of each generated sequence its length.

start_pos, end_pos = 1, 0

for i, sample in enumerate(gen_data):

print(" ".join([src_dict[w] for w in sample[0][1:-1]]))

for j in xrange(beam_size):

end_pos = gen_sen_idx[i * beam_size + j]

print("%.4f\t%s" % (beam_result[0][i][j], " ".join(

trg_dict[w] for w in beam_result[1][start_pos:end_pos])))

start_pos = end_pos + 2

print("\n")

生成開(kāi)始后，可以觀察到輸出的日志如下：

日志的第一行為源語(yǔ)言的句子。下面的三行分別是分?jǐn)?shù)由高到低排列的生成的英文翻譯結(jié)果。

總結(jié)

這里我們著重講解了自然語(yǔ)言處理當(dāng)中神經(jīng)機(jī)器翻譯的原理，以及如何用200余行PaddlePaddle代碼做一個(gè)英法翻譯機(jī)。更多的，PaddlePaddle在

線性回歸、識(shí)別數(shù)字、圖像分類(lèi)、詞向量、個(gè)性化推薦、情感分析、語(yǔ)義角色標(biāo)注等各個(gè)領(lǐng)域也有非常成熟的應(yīng)用和簡(jiǎn)潔易上手示例，期待和大家一起探討。

1.廣義的自然語(yǔ)言處理包含語(yǔ)音處理及文本處理，狹義的單指理解和處理文本。這里指廣義的概念。 ↑

2.http://karpathy.github.io/2015/05/21/rnn-effectiveness/ ↑

3.《A Neural Probabilistic Language Model》 ↑

4.https://github.com/PaddlePaddle/book/blob/develop/06.understand_sentiment/README.cn.md ↑

5.http://staging.paddlepaddle.org/docs/develop/book/08.machine_translation/index.cn.html#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE ↑

6.http://staging.paddlepaddle.org/docs/develop/book/08.machine_translation/index.cn.html#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE ↑

7.http://staging.paddlepaddle.org/docs/develop/book/08.machine_translation/index.cn.html#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE ↑

8.http://www-lium.univ-lemans.fr/~schwenk/cslm_joint_paper/ ↑

9.http://staging.paddlepaddle.org/docs/develop/book/08.machine_translation/index.cn.html#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE ↑

10.https://github.com/PaddlePaddle/book/blob/develop/08.machine_translation/train.py ↑