說到Transformer，就不能不提它的好搭檔——Layer Normalization（LayerNorm），簡(jiǎn)稱LN。你可能要問，為啥Transformer要用LN而不是Batch Normalization（BN）呢？這背后可是有大學(xué)問的。

在聊“二選一”的問題前，我們先介紹下什么是Layer Normalization？什么是Batch Normalization?

Layer Normalization（層規(guī)范化）

Layer Normalization（簡(jiǎn)稱LN），是一種在深度學(xué)習(xí)中使用的規(guī)范化技術(shù)，由Jimmy Lei Ba和Jamie Ryan Kiros等人在2016年提出。它的主要目的是幫助神經(jīng)網(wǎng)絡(luò)更快、更穩(wěn)定地收斂。Layer Normalization與其它規(guī)范化技術(shù)，如Batch Normalization和Group Normalization，有著相似的目的，但操作方式略有不同。

工作原理：

1. 操作對(duì)象：Layer Normalization在單個(gè)樣本的層級(jí)上進(jìn)行操作，而非在批量（Batch）的層級(jí)。這意味著它對(duì)每個(gè)樣本獨(dú)立計(jì)算規(guī)范化參數(shù)（均值和標(biāo)準(zhǔn)差），而不是在整個(gè)批量的基礎(chǔ)上。

2. 計(jì)算方式：對(duì)于給定的樣本，在其所有特征（或通道）上計(jì)算均值和標(biāo)準(zhǔn)差。然后，使用這些統(tǒng)計(jì)數(shù)據(jù)來規(guī)范化該樣本的每個(gè)特征。

具體步驟包括：

1. 計(jì)算均值和標(biāo)準(zhǔn)差。

2. 使用計(jì)算得到的均值和標(biāo)準(zhǔn)差來規(guī)范化每個(gè)特征。

3. 引入兩個(gè)可學(xué)習(xí)的參數(shù)：縮放因子（scale factor）γ和偏移因子（shift factor）β。這兩個(gè)參數(shù)允許模型學(xué)習(xí)規(guī)范化數(shù)據(jù)的最佳表示。

 LN的適用場(chǎng)景

Layer Normalization特別適用于處理序列數(shù)據(jù)，如自然語言處理（NLP）任務(wù)中的文本數(shù)據(jù)，以及循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

• 序列數(shù)據(jù)處理LN對(duì)每個(gè)樣本獨(dú)立進(jìn)行歸一化，不受批次大小和序列長(zhǎng)度的影響，這使得它在處理變長(zhǎng)序列時(shí)表現(xiàn)更加穩(wěn)定。
• 數(shù)據(jù)支持在一項(xiàng)針對(duì)機(jī)器翻譯任務(wù)的研究中，使用LN的Transformer模型在處理不同長(zhǎng)度的輸入序列時(shí)，比使用BN的模型取得了更好的性能。

LN的優(yōu)點(diǎn)

Layer Normalization在Transformer模型中相較于Batch Normalization具有多個(gè)顯著優(yōu)點(diǎn)。

• 不受批量大小影響LN不依賴于批量數(shù)據(jù)的統(tǒng)計(jì)信息，因此即使在小批量或單個(gè)樣本的情況下也能保持穩(wěn)定的歸一化效果。
• 數(shù)據(jù)支持一項(xiàng)實(shí)驗(yàn)表明，在小批量大?。ㄈ?）的情況下，使用LN的模型性能下降幅度遠(yuǎn)小于使用BN的模型。
• 適應(yīng)性強(qiáng)LN能夠適應(yīng)不同長(zhǎng)度的輸入序列，這對(duì)于Transformer模型在處理NLP任務(wù)時(shí)尤為重要。
• 減少過擬合LN作為一種正則化手段，能夠在一定程度上減少模型的過擬合現(xiàn)象。
• 數(shù)據(jù)支持在一項(xiàng)針對(duì)文本分類任務(wù)的研究中，使用LN的模型在驗(yàn)證集上的錯(cuò)誤率比使用BN的模型低1.5%，顯示出更好的泛化能力。

Batch Normalization（批量規(guī)范化）

Batch Normalization（簡(jiǎn)稱BN），是另一種在深度學(xué)習(xí)中廣泛使用的規(guī)范化技術(shù)，尤其在卷積神經(jīng)網(wǎng)絡(luò)（CNN）和全連接網(wǎng)絡(luò)中。它通過規(guī)范化層的輸入來減少內(nèi)部協(xié)變量偏移，加速深度網(wǎng)絡(luò)的訓(xùn)練，并且有助于提高模型的穩(wěn)定性和性能。

工作原理：

1. 操作對(duì)象：Batch Normalization在批量（Batch）的層級(jí)上進(jìn)行操作，即對(duì)整個(gè)小批量數(shù)據(jù)的同一個(gè)特征進(jìn)行歸一化。

2. 計(jì)算方式：計(jì)算小批量數(shù)據(jù)的每個(gè)特征的均值和方差，然后利用這些統(tǒng)計(jì)數(shù)據(jù)來規(guī)范化該特征的所有數(shù)據(jù)點(diǎn)。

具體步驟包括：

1. 計(jì)算小批量數(shù)據(jù)的均值和方差。

2. 使用計(jì)算得到的均值和方差來規(guī)范化小批量中的每個(gè)數(shù)據(jù)點(diǎn)。

3. 同樣引入兩個(gè)可學(xué)習(xí)的參數(shù)：縮放因子γ和偏移因子β，以允許模型學(xué)習(xí)規(guī)范化數(shù)據(jù)的最佳表示。

BN的適用場(chǎng)景

Batch Normalization主要適用于批量大小較大的情況，尤其是在圖像處理任務(wù)中。BN能夠有效地減少內(nèi)部協(xié)變量偏移，加速模型的訓(xùn)練過程，并提高模型的泛化能力。

• 圖像分類任務(wù)在圖像分類任務(wù)中，BN被廣泛應(yīng)用于卷積層和全連接層之后，激活函數(shù)之前，以穩(wěn)定訓(xùn)練過程并提高性能。
• 數(shù)據(jù)支持在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，使用BN的網(wǎng)絡(luò)在測(cè)試集上的錯(cuò)誤率比不使用BN的網(wǎng)絡(luò)低2.5%。

Layer Normalization與Batch Normalization的區(qū)別

1.計(jì)算方式大不同

首先，得說說這倆兄弟的計(jì)算方式。BN是在一個(gè)小批量（batch）的數(shù)據(jù)上計(jì)算均值和方差的，這意味著它依賴于每個(gè)批次的數(shù)據(jù)。而LN呢，它是對(duì)每個(gè)樣本的所有特征進(jìn)行歸一化的，不依賴于批次大小。這就像是，BN需要一幫朋友一起開派對(duì)，而LN則是一個(gè)人也能玩得很開心。

2.應(yīng)對(duì)序列數(shù)據(jù)的能力

接下來，我們得聊聊它們應(yīng)對(duì)序列數(shù)據(jù)的能力。BN因?yàn)槭窃谂紊嫌?jì)算的，所以它不太適合處理那些長(zhǎng)度不一的序列數(shù)據(jù)，比如我們說話時(shí)的句子，有時(shí)候長(zhǎng)有時(shí)候短。而LN就不同了，它能夠很好地處理這種變長(zhǎng)序列，因?yàn)樗灰蕾囉谂沃衅渌麡颖镜男畔?，每個(gè)樣本都是獨(dú)立的。

3.靈活性和穩(wěn)定性

再來說說靈活性和穩(wěn)定性。LN因?yàn)槭窃诿總€(gè)樣本上單獨(dú)歸一化的，所以它在處理位置上更加靈活，不會(huì)因?yàn)榕蔚淖兓绊懩Ｐ偷谋憩F(xiàn)。

4.訓(xùn)練效率和泛化能力

最后，我們得提提訓(xùn)練效率和泛化能力。LN因?yàn)闇p少了內(nèi)部協(xié)變量偏移，所以能夠幫助模型更快地學(xué)習(xí)，加速訓(xùn)練過程。同時(shí)，LN還能提高模型的泛化能力，因?yàn)樗屇Ｐ筒粫?huì)過分依賴于某些特定的特征，這樣在面對(duì)新的數(shù)據(jù)時(shí)，模型也能表現(xiàn)得更好。

Transformer模型特點(diǎn)

聊完LN核BN，再來看看Transformer模型特點(diǎn)。

1.處理序列數(shù)據(jù)

Transformer模型之所以在處理序列數(shù)據(jù)方面表現(xiàn)出色，主要得益于其獨(dú)特的架構(gòu)設(shè)計(jì)。

• 變長(zhǎng)序列處理：Transformer模型不限制輸入序列的長(zhǎng)度，這在自然語言處理任務(wù)中尤為重要，因?yàn)槲谋緮?shù)據(jù)的長(zhǎng)度是高度可變的。

2.自注意力機(jī)制

Transformer模型的核心是自注意力機(jī)制（Self-Attention），它允許模型在處理序列時(shí)同時(shí)考慮輸入序列的所有位置，而不是像傳統(tǒng)遞歸結(jié)構(gòu)（如LSTM、GRU）那樣逐步處理序列。

• 全局依賴捕捉：自注意力機(jī)制使得Transformer能夠捕捉序列中任意兩個(gè)位置之間的依賴關(guān)系，無論它們之間的距離有多遠(yuǎn)。這種全局依賴捕捉能力是Transformer在處理長(zhǎng)距離依賴任務(wù)時(shí)表現(xiàn)優(yōu)異的關(guān)鍵因素。一項(xiàng)研究顯示，在使用自注意力機(jī)制的Transformer模型中，長(zhǎng)距離依賴的準(zhǔn)確率比使用傳統(tǒng)RNN結(jié)構(gòu)的模型高出約5%。
• 并行計(jì)算優(yōu)勢(shì)：與傳統(tǒng)的序列處理模型（如RNN）相比，Transformer的自注意力機(jī)制可以并行處理序列中的所有位置，這大大加快了模型的訓(xùn)練速度。一項(xiàng)實(shí)驗(yàn)表明，Transformer模型的訓(xùn)練速度比傳統(tǒng)的RNN模型快3倍以上。

為什么Transformer選擇LayerNorm

1.LayerNorm的獨(dú)立性

首先，咱們得聊聊LN的一個(gè)超級(jí)棒的特性——獨(dú)立性。LayerNorm對(duì)每個(gè)樣本的所有特征進(jìn)行歸一化，這意味著它不依賴于批次的大小。這對(duì)于Transformer來說，就像是量身定做的一樣。因?yàn)門ransformer處理的是序列數(shù)據(jù)，這些數(shù)據(jù)的長(zhǎng)度可以變化，而且每個(gè)詞的位置信息非常重要。如果使用BN，它可能會(huì)因?yàn)榕未笮〉淖兓茐倪@些寶貴的位置信息。但LN就不會(huì)有這個(gè)問題，它能夠保持模型的穩(wěn)定性，不管輸入序列有多長(zhǎng)。

2.LayerNorm的靈活性

接下來，我們得說說LN的靈活性。在Transformer中，每個(gè)詞都能獨(dú)立地關(guān)注到其他所有詞，這種機(jī)制需要模型在每個(gè)位置上都能獨(dú)立地處理信息。LN正好滿足了這個(gè)需求，因?yàn)樗试S模型在每個(gè)位置上獨(dú)立地進(jìn)行歸一化，而不受批次中其他樣本的干擾。這種靈活性讓Transformer能夠更好地捕捉序列數(shù)據(jù)中的長(zhǎng)距離依賴關(guān)系。

3.LayerNorm的穩(wěn)定性和效率

再來看看穩(wěn)定性和效率。在訓(xùn)練深度網(wǎng)絡(luò)時(shí)，LN可以幫助加速收斂，因?yàn)樗鼫p少了內(nèi)部協(xié)變量偏移。這意味著模型可以在訓(xùn)練過程中更快地學(xué)習(xí)。而且，LN在處理不同長(zhǎng)度的序列時(shí)更加穩(wěn)定，因?yàn)樗粫?huì)受到批次大小的影響。這對(duì)于Transformer來說至關(guān)重要，因?yàn)樗枰幚砀鞣N長(zhǎng)度的文本。

4.LayerNorm與Transformer的默契配合

最后，我們得聊聊LN和Transformer之間的默契配合。LayerNorm和Transformer就像是一對(duì)默契的搭檔，它們一起在NLP的世界里大展拳腳。LN的獨(dú)立性和靈活性與Transformer的自注意力機(jī)制相得益彰，使得模型能夠更好地處理序列數(shù)據(jù)，捕捉到句子中每個(gè)詞之間的關(guān)系。

總之，LayerNorm之所以成為Transformer的首選，是因?yàn)樗莫?dú)特優(yōu)勢(shì)和Transformer的需求完美匹配。雖然BatchNorm在其他領(lǐng)域也有出色的表現(xiàn)，但在Transformer的世界里，LayerNorm才是那個(gè)最佳拍檔。

本文轉(zhuǎn)載自?? 智駐未來??，作者： 小智