DeepSeek并非完美，訓(xùn)練過程存在“深度詛咒” 精華
高性能大模型在訓(xùn)練的過程中通常需要數(shù)千個GPU，耗費(fèi)數(shù)月甚至更長時間才能完成一次訓(xùn)練。這種巨大的資源投入使得模型的每一層都必須高效訓(xùn)練，才能確保算力資源最大化利用。
但大連理工、西湖大學(xué)、牛津大學(xué)等研究人員對DeepSeek、Qwen、Llama和Mistral研究發(fā)現(xiàn)，這些模型的深層在訓(xùn)練過程中表現(xiàn)并不好，甚至可以被完全剪枝而不會影響模型性能。
例如，研究人員對DeepSeek-7B模型進(jìn)行了逐層剪枝，以評估每一層對模型整體性能的貢獻(xiàn)。結(jié)果顯示，移除模型的深層對性能的影響微乎其微，而移除淺層性能會明顯下降。這表明DeepSeek模型的深層在訓(xùn)練過程中未能有效學(xué)習(xí)到有用的特征，而淺層則承擔(dān)了大部分的特征提取任務(wù)。
這種現(xiàn)象稱為“深度詛咒”（Curse of Depth），同時研究人員也提出了一種有效的解決方法——LayerNorm Scaling（層歸一化縮放）。
深度詛咒介紹
“深度詛咒”現(xiàn)象的根源在于Pre-LN的特性。Pre-LN是一種在Transformer架構(gòu)模型中廣泛使用的歸一化技術(shù)，它在每一層的輸入上進(jìn)行歸一化，而不是在輸出上。這種歸一化方式雖然能夠穩(wěn)定模型的訓(xùn)練過程，但也帶來了一個嚴(yán)重的問題，隨著模型深度的增加，Pre-LN的輸出方差會呈指數(shù)級增長。
這種方差的爆炸性增長導(dǎo)致深層的Transformer塊的導(dǎo)數(shù)接近于單位矩陣，使得這些層在訓(xùn)練過程中幾乎不貢獻(xiàn)任何有效的信息
。換句話說，深層在訓(xùn)練過程中變成了單位映射，無法學(xué)習(xí)到有用的特征。
“深度詛咒”的存在對大語言模型的訓(xùn)練和優(yōu)化帶來了嚴(yán)重的挑戰(zhàn)。首先，深層的訓(xùn)練不足導(dǎo)致了資源的浪費(fèi)。在訓(xùn)練大語言模型時，通常需要大量的計算資源和時間。由于深層未能有效學(xué)習(xí)到有用的特征，算力資源在很大程度上被浪費(fèi)了。
深層的無效性限制了模型性能的進(jìn)一步提升。盡管淺層能夠承擔(dān)大部分的特征提取任務(wù)，但深層的無效性使得模型無法充分利用其深度優(yōu)勢。
此外，“深度詛咒”還對模型的可擴(kuò)展性帶來了難題。隨著模型規(guī)模的增加，深層的無效性愈發(fā)突出，這使得模型的訓(xùn)練和優(yōu)化變得更加困難。例如，在訓(xùn)練超大型模型時，深層的訓(xùn)練不足可能導(dǎo)致模型的收斂速度變慢，甚至無法收斂。
解決方法——LayerNorm Scaling
LayerNorm Scaling 的核心思想是對Pre-LN輸出方差的精準(zhǔn)控制。在一個多層的 Transformer 模型中，每一層的層歸一化輸出都會被乘以一個特定的縮放因子。這個縮放因子與當(dāng)前層的深度密切相關(guān)，是層深度平方根的倒數(shù)。
為大家舉個簡單易懂的例子，大模型就像一座高樓，每一層都是其中的一層樓，而 LayerNorm Scaling 就是給每一層樓的 “能量輸出” 進(jìn)行了精細(xì)調(diào)節(jié)。
對于較低的樓層（淺層），縮放因子相對較大，這意味著它們的輸出被調(diào)整的幅度較小，能夠保持相對較強(qiáng)的 “能量”；對于較高的樓層（深層），縮放因子較小，這樣就有效地降低了深層輸出的“能量強(qiáng)度”，避免了方差的過度積累。
通過這種方式，整個模型的輸出方差得到了有效控制，不會再出現(xiàn)深層方差爆炸的情況。（整個計算過程比較復(fù)雜，有興趣的小伙伴可以直接看論文）
從模型訓(xùn)練的視角來看，在傳統(tǒng)的 Pre-LN 模型訓(xùn)練中，由于深層方差的不斷增大，梯度在反向傳播過程中會受到很大干擾。深層的梯度信息變得不穩(wěn)定，這就像在傳遞接力棒時，接力棒在后面幾棒的傳遞過程中總是掉落，導(dǎo)致信息傳遞不暢。
使得深層在訓(xùn)練時難以學(xué)習(xí)到有效的特征，模型的整體訓(xùn)練效果大打折扣。而 LayerNorm Scaling通過控制方差，穩(wěn)定了梯度流。
在反向傳播過程中，梯度能夠更加順暢地從模型的輸出層傳遞到輸入層，每一層都能接收到準(zhǔn)確而穩(wěn)定的梯度信號，從而能夠更有效地進(jìn)行參數(shù)更新和學(xué)習(xí)。
實(shí)驗結(jié)果
為了驗證LayerNorm Scaling的有效性，研究人員在不同規(guī)模的模型上進(jìn)行了廣泛的實(shí)驗。實(shí)驗涵蓋了從1.3億參數(shù)到10億參數(shù)的模型。
實(shí)驗結(jié)果顯示，LayerNorm Scaling在預(yù)訓(xùn)練階段顯著提升了模型性能，與傳統(tǒng)的Pre-LN相比，降低了困惑度，并減少了訓(xùn)練所需的token數(shù)量。
例如，在LLaMA-130M模型上，LayerNorm Scaling將困惑度從26.73降低到25.76，而在10億參數(shù)的LLaMA-1B模型上，困惑度從17.02降低到15.71。這些結(jié)果表明，LayerNorm Scaling不僅能夠有效控制深層的方差增長，還能夠顯著提升模型的訓(xùn)練效率和性能。
研究人員對LayerNorm Scaling在監(jiān)督微調(diào)階段的表現(xiàn)進(jìn)行了評估。實(shí)驗結(jié)果顯示，LayerNorm Scaling在多個下游任務(wù)上均優(yōu)于其他歸一化技術(shù)。
例如，在LLaMA-250M模型上，LayerNorm Scaling在ARC-e任務(wù)上的性能提升了3.56%，在所有任務(wù)上的平均性能提升了1.80%。這表明，LayerNorm Scaling不僅在預(yù)訓(xùn)練階段表現(xiàn)出色，在微調(diào)階段也能夠顯著提升模型的性能。
此外，研究人員將DeepSeek-7B模型的歸一化方法從傳統(tǒng)的Pre-LN替換為LayerNorm Scaling。在整個訓(xùn)練過程中，深層塊的學(xué)習(xí)能力得到了顯著提升，能夠積極地參與到模型的學(xué)習(xí)過程中，為模型的性能提升貢獻(xiàn)力量。困惑度下降的幅度更為明顯，下降速度也更穩(wěn)定。
論文地址：https://arxiv.org/abs/2502.05795
本文轉(zhuǎn)載自??AIGC開放社區(qū)??
