位置編碼（Postitional Encoding）是Transformer架構(gòu)中的關(guān)鍵技術(shù)之一。不同于卷積神經(jīng)網(wǎng)絡(luò)利用局部感受野、共享權(quán)重和池化操作等機制，可以自然地感受輸入數(shù)據(jù)的空間位置信息，也不同于循環(huán)神經(jīng)網(wǎng)絡(luò)憑借循環(huán)結(jié)構(gòu)和隱藏狀態(tài)的記憶與更新機制，能夠隱式地捕捉輸入序列中的時間順序信息，Tranformer架構(gòu)并未顯式地建模輸入序列中的絕對或相對位置信息，故需通過位置編碼技術(shù)顯式地注入位置信息，以使模型能更好地理解序列中不同位置間的依賴關(guān)系。

1.位置編碼技術(shù)的發(fā)展

位置編碼技術(shù)的發(fā)展從Transformer模型最初使用的利用序列中元素的絕對位置的絕對位置編碼（Absolute Positional Encoding）技術(shù)開始，到可以捕捉序列中元素之間的相對位置關(guān)系的相對位置編碼（Relative Positional Encoding）技術(shù)，再到結(jié)合了前二者優(yōu)點的旋轉(zhuǎn)位置編碼（Rotary Position Embedding, RoPE）技術(shù)的提出，在DeepSeek等大語言模型中得到了廣泛且有效的使用。

本文主要針對Transformer模型最初提出的絕對位置編碼技術(shù)進行深入探究，包括技術(shù)原理、優(yōu)缺點及基于Pytorch的代碼實現(xiàn)和效果可視化展示。（全文近1700字，感興趣可點贊、推薦、轉(zhuǎn)發(fā)、關(guān)注，將持續(xù)更新?。。。?/p>

2.Transformer中的絕對位置編碼

3.絕對位置編碼的優(yōu)點與局限性

（1）優(yōu)點：絕對位置編碼在 Transformer 模型中具有簡單易實現(xiàn)、顯式順序信息和計算效率高等優(yōu)點，特別適用于短文本處理任務(wù)。

（2）局限性：絕對位置編碼是基于固定長度的序列設(shè)計的，無法適應(yīng)模型推理階段序列長度變化的情況，這種缺乏外推性的問題限制了模型在處理不同長度序列時的靈活性。同時，無法捕捉序列中元素之間的相對位置關(guān)系，使模型對長距離依賴的捕捉能力有限。

4.絕對位置?編碼的實現(xiàn)

（3）可視化位置編碼效果：由下圖可見，每一行代表輸入序列中一個token的位置信息編碼，具有明顯不同且連續(xù)的模式，能夠幫助Transformer區(qū)分輸入序列中不同位置的元素。

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏