探索Transformer在算術(shù)問題中的局限性

在近年來的自然語言處理領(lǐng)域，基于Transformer的大型語言模型（LLMs）取得了顯著的成就。然而，當(dāng)這些模型被應(yīng)用到看似簡單的算術(shù)問題上時，它們常常表現(xiàn)出意外的掙扎，尤其是在處理基本的整數(shù)乘法任務(wù)時。例如，盡管GPT-4等現(xiàn)代LLM在多種任務(wù)中表現(xiàn)出色，但在執(zhí)行簡單的整數(shù)乘法時卻遇到了困難。這種明顯的能力差異引發(fā)了人們對于這些模型安全和倫理使用的擔(dān)憂，并阻礙了它們的廣泛應(yīng)用。

本文旨在通過探索和解釋Transformer在整數(shù)乘法任務(wù)中的不足，來深入理解這些模型在算術(shù)問題上的局限性。我們通過對一個標(biāo)準(zhǔn)Transformer模型在n位整數(shù)乘法任務(wù)中的表現(xiàn)進行全面分析，揭示了模型在處理連續(xù)進位和緩存中間結(jié)果時的困難，并通過實驗驗證了這些推論。基于這些發(fā)現(xiàn)，我們提出了改進措施，以提升Transformer在乘法任務(wù)上的性能。這些改進不僅增強了模型的解釋性，還通過嚴(yán)格的測試和數(shù)學(xué)建模得到了驗證，例如，在5位整數(shù)乘法任務(wù)上，我們實現(xiàn)了超過99.9%的準(zhǔn)確率，超過了GPT-4等大型語言模型。

論文標(biāo)題：Dissecting Multiplication in Transformers: Insights into LLMs

機構(gòu)：

1. Hong Kong University of Science and Technology
2. Hong Kong Polytechnic University

論文鏈接：??https://arxiv.org/pdf/2407.15360.pdf??

通過本研究，我們不僅提升了對Transformer模型在處理復(fù)雜算術(shù)任務(wù)中的理解，也為AI的安全性和可靠性研究提供了新的視角和方法論，推動了可解釋AI（XAI）的發(fā)展，幫助構(gòu)建了對大型語言模型的信任，并促進了它們在關(guān)鍵應(yīng)用中的采用。

Transformer模型在算術(shù)任務(wù)中的表現(xiàn)

Transformer模型在自然語言處理任務(wù)中取得了顯著的成就，但在算術(shù)任務(wù)，尤其是整數(shù)乘法方面，它們的表現(xiàn)卻常常不盡人意。盡管Transformer擁有龐大的模型能力，它在處理簡單的整數(shù)乘法任務(wù)時卻表現(xiàn)出明顯的挑戰(zhàn)。這種能力的不對等引起了人們對其安全和道德使用的關(guān)注，并阻礙了其廣泛的應(yīng)用。

在本文中，我們專注于整數(shù)乘法任務(wù)，探索和解釋Transformer在這一領(lǐng)域的不完美表現(xiàn)。我們對一個基本的Transformer模型進行了全面分析，該模型被訓(xùn)練用于執(zhí)行n位整數(shù)乘法。我們的觀察表明，模型將乘法任務(wù)分解為多個并行的子任務(wù)，每個子任務(wù)針對每個數(shù)字順序優(yōu)化，以完成最終的乘法計算。

基礎(chǔ)乘法分析：單位數(shù)乘法

在對Transformer在m×u（多位數(shù)乘以單位數(shù)）乘法任務(wù)的表現(xiàn)進行分析時，我們發(fā)現(xiàn)Transformer利用幾個基本子任務(wù)來完成乘法計算。這些子任務(wù)包括：

基本乘法（BM）：BM計算兩個單個數(shù)字在每個位置的乘積。根據(jù)是否產(chǎn)生進位到下一個位置，BM可以分為BM（帶進位）和BM（不帶進位）。

使用進位（UC）：UC考慮前一個數(shù)字的進位，并將進位加到當(dāng)前位置的乘積上。

基于上述基本子任務(wù)，Transformer可以將多個子任務(wù)鏈接在一起，實現(xiàn)復(fù)雜的功能，例如使用進位和進一步進位（UCFC），考慮來自前一列的進位，并進一步產(chǎn)生到下一列的進位。

總體分析

我們首先調(diào)查Transformer如何學(xué)習(xí)每個子任務(wù)。通過觀察每個數(shù)字的訓(xùn)練損失，我們發(fā)現(xiàn)Transformer似乎是半獨立地學(xué)習(xí)每個答案數(shù)字的。單位數(shù)字（A0）和最高位數(shù)字（A5）的學(xué)習(xí)速度比其他數(shù)字快，且噪聲更少。這是因為A0的計算不需要考慮進位，從而簡化了計算過程。與A0相比，A5的計算只需要考慮進位。

每個任務(wù)的分析

我們進一步分析每個子任務(wù)的訓(xùn)練數(shù)據(jù)，將訓(xùn)練數(shù)據(jù)分為與每個子任務(wù)對應(yīng)的不重疊子集，并分別展示每個子任務(wù)的每個數(shù)字的損失曲線。從BM（不帶進位）和BM（帶進位）的訓(xùn)練曲線可以看出，所有任務(wù)開始時損失都很高。隨著訓(xùn)練的進行，所有損失曲線都有所下降，但不同任務(wù)之間存在“時間滯后”。BM（不帶進位）的損失下降最快，這是因為它是所有其他任務(wù)的基礎(chǔ)，必須先準(zhǔn)確計算才能進行后續(xù)計算。BM（帶進位）和進位損失的下降速度是第二快的，這兩個子任務(wù)是互補的計算，它們的收斂表明模型能夠準(zhǔn)確計算進位。UC的損失在訓(xùn)練初期表現(xiàn)出顯著的平臺期，這符合我們的預(yù)期，即UC子任務(wù)需要準(zhǔn)確計算進位，因此UC的損失只有在進位任務(wù)收斂后才能下降。UCFC的損失下降最晚，因為UCFC的計算跨越3個數(shù)字，即當(dāng)前數(shù)字的乘積、前一個數(shù)字的進位和向下一個數(shù)字的進位，因此其收斂發(fā)生在所有其他損失收斂之后。

從這些分析中，我們可以看出，盡管Transformer在處理簡單的單位數(shù)乘法任務(wù)時表現(xiàn)出一定的能力，但在更復(fù)雜的多位數(shù)乘法任務(wù)中，其性能急劇下降，顯示出明顯的不足。這些發(fā)現(xiàn)為理解和改進Transformer模型在算術(shù)任務(wù)中的表現(xiàn)提供了寶貴的見解。

多位數(shù)乘法的深入分析

在探討多位數(shù)乘法的處理中，我們發(fā)現(xiàn)轉(zhuǎn)換器（transformer）在執(zhí)行這一任務(wù)時會將其分解為多個子任務(wù)，并行計算。這些子任務(wù)包括基本的數(shù)字乘法（Base Multiply, BM），使用進位（Use Carry, UC），以及進一步的進位處理（Further Carry, UCFC）。通過對這些子任務(wù)的深入分析，我們可以更好地理解轉(zhuǎn)換器在處理多位數(shù)乘法時的行為模式及其局限性。

基本乘法和進位處理

在多位數(shù)乘法中，轉(zhuǎn)換器首先處理基本的數(shù)字乘法，即單個數(shù)字間的乘法。這一步驟相對簡單，但關(guān)鍵在于如何處理和傳遞進位。例如，在乘法??47134 × 9??中，每一位數(shù)字與9相乘后的結(jié)果需要考慮前一位的進位，這增加了計算的復(fù)雜性。轉(zhuǎn)換器在這一過程中展示了分階段學(xué)習(xí)的特點，即先學(xué)習(xí)無需進位的乘法，然后逐漸學(xué)習(xí)如何處理進位。

子任務(wù)的學(xué)習(xí)順序

通過觀察損失曲線，我們發(fā)現(xiàn)轉(zhuǎn)換器在學(xué)習(xí)各個子任務(wù)時存在順序性。基本的乘法（BM）通常是最先被學(xué)習(xí)的，因為它是其他計算的基礎(chǔ)。隨后，轉(zhuǎn)換器學(xué)習(xí)如何處理進位（UC），最后是更復(fù)雜的進位傳遞（UCFC）。這種學(xué)習(xí)順序反映了任務(wù)的內(nèi)在復(fù)雜性和依賴關(guān)系。

提出改進措施

基于上述分析，我們提出以下幾點改進措施，以增強轉(zhuǎn)換器在多位數(shù)乘法任務(wù)上的表現(xiàn)：

1. 反轉(zhuǎn)答案數(shù)字

研究表明，將答案數(shù)字反轉(zhuǎn)（即從低位到高位進行計算）可以顯著提高模型的準(zhǔn)確率。這種方法模仿了人類計算乘法的習(xí)慣，從而使得模型能夠更有效地利用已生成的低位數(shù)字來預(yù)測高位數(shù)字。

2. 增加模型深度

多位數(shù)乘法涉及復(fù)雜的中間步驟和多層次的計算，增加模型的深度可以提供更多的層次來處理這些中間結(jié)果，從而提高準(zhǔn)確性。實驗表明，增加深度能夠顯著提升模型在處理多位數(shù)乘法時的表現(xiàn)。

3. 增加簡單樣本的比例

在訓(xùn)練初期增加簡單樣本（如單一位數(shù)乘法）的比例，可以幫助模型在學(xué)習(xí)更復(fù)雜的多位數(shù)乘法前，先掌握基本的乘法規(guī)則。這種漸進式學(xué)習(xí)策略可以減少學(xué)習(xí)難度，提高模型的整體性能。

通過實施這些改進措施，我們能夠顯著提高轉(zhuǎn)換器在多位數(shù)乘法任務(wù)上的準(zhǔn)確率和效率，從而推動其在更廣泛的應(yīng)用場景中的部署和使用。

實驗驗證與結(jié)果分析

1. 實驗設(shè)計與方法

本研究通過實驗驗證了Transformer在整數(shù)乘法任務(wù)上的性能。我們首先使用單層解碼器僅Transformer模型在m × u（多位數(shù)乘以單位數(shù)）乘法任務(wù)上進行訓(xùn)練，并逐步擴展到多層Transformer模型在m × m（多位數(shù)乘以多位數(shù)）乘法任務(wù)上的訓(xùn)練。實驗中，每個數(shù)字在訓(xùn)練數(shù)據(jù)中獨立采樣自均勻分布{0,1,...,9}。我們使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為1e-4。

2. 實驗結(jié)果

實驗結(jié)果顯示，在m × u乘法任務(wù)上，Transformer模型能夠通過學(xué)習(xí)不同的子任務(wù)（如基礎(chǔ)乘法、使用進位等）逐步提高預(yù)測的準(zhǔn)確性。然而，在擴展到更復(fù)雜的m × m乘法任務(wù)時，模型的準(zhǔn)確率顯著下降。這表明單層Transformer模型在處理包含多個中間步驟的復(fù)雜任務(wù)時存在局限性。

3. 結(jié)果分析

通過對不同子任務(wù)的訓(xùn)練損失進行分析（如圖2所示），我們觀察到不同子任務(wù)的學(xué)習(xí)速度存在顯著差異?；A(chǔ)乘法（BM）任務(wù)的損失下降最快，而涉及多個計算步驟的子任務(wù)（如使用進位和進一步進位的計算）的損失下降較慢。這些觀察結(jié)果支持了我們的假設(shè)，即Transformer在處理復(fù)雜的算術(shù)任務(wù)時，其性能受限于對中間計算結(jié)果的處理能力。

本文轉(zhuǎn)載自???AI論文解讀??