Transformer模型的時間復(fù)雜度主要由其核心模塊自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)決定，其中自注意力機(jī)制的計算復(fù)雜度占主導(dǎo)地位。

本文將從單個矩陣乘法的時間復(fù)雜度計算出發(fā)，分析自注意力機(jī)制、多頭注意力機(jī)制、前饋神經(jīng)網(wǎng)絡(luò)的時間復(fù)雜度，從而得到整個Transformer模型的時間復(fù)雜度，并說明優(yōu)化方法。

1.單個矩陣乘法的時間復(fù)雜度

2.自注意力機(jī)制的時間復(fù)雜度

3.多頭自注意力機(jī)制的時間復(fù)雜度

4.前饋神經(jīng)網(wǎng)絡(luò)的時間復(fù)雜度

5.Transformer模型的時間復(fù)雜度

6.時間復(fù)雜度優(yōu)化

本文轉(zhuǎn)載自??南夏的算法驛站??，作者：趙南夏