23年9月國(guó)防科大、京東和北理工的論文“Deep Model Fusion: A Survey”。

深度模型融合/合并是一種新興技術(shù)，它將多個(gè)深度學(xué)習(xí)模型的參數(shù)或預(yù)測(cè)合并為一個(gè)模型。它結(jié)合了不同模型的能力來(lái)彌補(bǔ)單個(gè)模型的偏差和錯(cuò)誤，以獲得更好的性能。然而，大規(guī)模深度學(xué)習(xí)模型（例如LLM和基礎(chǔ)模型）上的深度模型融合面臨著一些挑戰(zhàn)，包括高計(jì)算成本、高維參數(shù)空間、不同異構(gòu)模型之間的干擾等。本文將現(xiàn)有的深度模型融合方法分為四類：（1）“模式連接”，通過(guò)一條損失減少的路徑將權(quán)重空間中的解連接起來(lái)，以獲得更好的模型融合初始化；（2）“對(duì)齊”，匹配神經(jīng)網(wǎng)絡(luò)之間的單元，為融合創(chuàng)造更好的條件；(3)“權(quán)重平均”是一種經(jīng)典的模型融合方法，將多個(gè)模型的權(quán)重進(jìn)行平均，以獲得更接近最優(yōu)解、更準(zhǔn)確的結(jié)果。（4）“集成學(xué)習(xí)”結(jié)合了不同模型的輸出，這是提高最終模型準(zhǔn)確性和魯棒性的基礎(chǔ)技術(shù)。此外，分析深度模型融合面臨的挑戰(zhàn)，并提出了未來(lái)模型融合可能的研究方向。

由于數(shù)據(jù)隱私和實(shí)際資源節(jié)省問題，深度模型融合引起了越來(lái)越多的興趣。盡管深度模型融合的發(fā)展帶來(lái)了許多技術(shù)突破，但也產(chǎn)生了一系列挑戰(zhàn)，例如計(jì)算負(fù)載高、模型異構(gòu)性以及組合優(yōu)化對(duì)齊速度慢等[133, 204]，讓一些方法在具體的場(chǎng)景受到限制[227, 254]，這激發(fā)了科學(xué)家研究不同情況下模型融合的原理。

不過(guò)，有些工作只關(guān)注單一視角（例如特征融合等）[45, 195]和特定場(chǎng)景[213]的模型融合，或者不同方式的信息融合（多模態(tài)融合[1, 103] ]）而不是參數(shù)的融合。加上最近的進(jìn)展和代表性應(yīng)用，例如聯(lián)邦學(xué)習(xí)（FL）[160]和微調(diào)[29]等，本文根據(jù)內(nèi)部機(jī)制和目的分為四類，如圖所示整個(gè)模型融合流程示意圖，以及各種方法的分類和連接。

對(duì)于獨(dú)立訓(xùn)練且彼此不相鄰的模型，“模式連接”和“對(duì)齊”使解決方案更加接近，從而 以獲得更好的平均原始條件。對(duì)于權(quán)值空間存在一定差異的相似模型，“權(quán)重平均（WA）”傾向于直接對(duì)模型進(jìn)行平均，在損失函數(shù)值較低的參數(shù)空間區(qū)域中獲得更接近最優(yōu)點(diǎn)的解 [118]。此外，對(duì)于現(xiàn)有模型的預(yù)測(cè)，“集成學(xué)習(xí)”整合了模型的不同形式的預(yù)測(cè)，以獲得更好的結(jié)果。

模型融合作為一種提高深度模型精度和魯棒性的技術(shù)，促進(jìn)了許多應(yīng)用領(lǐng)域的改進(jìn)?！奥?lián)邦學(xué)習(xí)[160]”是一種在中央服務(wù)器上聚合客戶端模型的應(yīng)用程序，使各方能夠?yàn)楹瘮?shù)的計(jì)算（例如各種統(tǒng)計(jì)數(shù)據(jù)、分類器[177]）貢獻(xiàn)數(shù)據(jù)，而不會(huì)帶來(lái)隱私暴露的風(fēng)險(xiǎn)?！拔⒄{(diào)”對(duì)預(yù)訓(xùn)練的模型進(jìn)行小幅調(diào)整，與模型融合相結(jié)合，以降低訓(xùn)練成本并適應(yīng)特定任務(wù)或領(lǐng)域的需求。模型融合還涉及到“蒸餾”。即結(jié)合多個(gè)復(fù)雜模型（教師）的軟目標(biāo)知識(shí)，訓(xùn)練一個(gè)針對(duì)特定需求的小模型。“基礎(chǔ)/LLM上的模型融合”包括大型基礎(chǔ)模型或大型語(yǔ)言模型（LLM）的工作，例如視覺Transformer（ViT）[79]和GPT[17]等。模型融合的應(yīng)用幫助開發(fā)人員適應(yīng)各種任務(wù)和領(lǐng)域的需求，促進(jìn)深度學(xué)習(xí)的發(fā)展。

為了確定訓(xùn)練網(wǎng)絡(luò)的結(jié)果對(duì)于 SGD 噪聲是否穩(wěn)定，損失屏障（誤差屏障）被定義為兩點(diǎn)損失線性插值與兩點(diǎn)線性連接損失之間的最大差[50]。損失屏障說(shuō)明，沿著 W1 和 W2 之間的路徑優(yōu)化圖 [56, 61] ，誤差是恒定的還是增加的。如果兩個(gè)網(wǎng)絡(luò)之間存在一條隧道，其屏障約等于0，則相當(dāng)于模式連接[46,59,60]。也就是說(shuō)，SGD得到的局部極小值可以通過(guò)一條最大損失最小化的路徑 φ 連接起來(lái)。

基于梯度的優(yōu)化得到的解可以在權(quán)重空間中通過(guò)沒有屏障的路徑（連接器）連接起來(lái)，這被稱為模式連接[46, 50]?？梢匝刂蛽p失路徑獲得更適合模型融合的其他模型。根據(jù)路徑的數(shù)學(xué)形式和連接器所在的空間，分為三個(gè)部分“線性模式連接（LMC）[66]”、“非線性模式連接”和“子空間的模式連接” ”。

模式連接可以解決訓(xùn)練過(guò)程中的局部?jī)?yōu)化問題。模式連接路徑的幾何關(guān)系 [61, 162] 也可用于加速隨機(jī)梯度下降 (SGD) 等優(yōu)化過(guò)程的收斂性、穩(wěn)定性和準(zhǔn)確性。總之，模式連接為解釋和理解模型融合的行為提供了新的視角[66]。但計(jì)算復(fù)雜度和參數(shù)調(diào)整的困難應(yīng)該得到解決，特別是在大型數(shù)據(jù)集上訓(xùn)練模型時(shí)。下表是線性模式連接（LMC） 和非線性模式連接的標(biāo)準(zhǔn)訓(xùn)練流程總結(jié)。

如圖是二維損失圖和其他維度子空間中的模式連接示意圖。左：兩個(gè)盆地最小值的線性插值導(dǎo)致高損失屏障[46]。較低的兩個(gè)最佳值遵循接近恒定的低損失路徑（例如貝塞爾曲線、多邊框鏈等）[66]。π(W2)是W2的排列對(duì)稱性的等價(jià)模型，與W1位于同一盆地。Re-Basin 通過(guò)為各個(gè)流域提供解決方案來(lái)合并模型 [3]。右圖：低損失路徑連接子空間中的多個(gè)最小值（例如，由 d-維 楔形組成的低損失流形 [56]）等）。

下表是在不同局部最小值之間尋找隧道的方法。

總之，模式連接為深度模型融合提供了更新、更靈活的視角。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練容易陷入局部最優(yōu)，從而導(dǎo)致性能下降。在模型連接的基礎(chǔ)上，可以找到性能更好的其他模型，并將其作為進(jìn)一步優(yōu)化和融合的起點(diǎn)?？梢岳靡呀?jīng)訓(xùn)練的模型在參數(shù)空間中移動(dòng)來(lái)達(dá)到新的目標(biāo)模型，這樣可以節(jié)省時(shí)間和計(jì)算開銷，適合數(shù)據(jù)有限的情況。然而，在連接不同模型時(shí)，可能會(huì)引入額外的復(fù)雜性和靈活性，從而增加過(guò)度擬合的風(fēng)險(xiǎn)。因此，應(yīng)仔細(xì)控制相關(guān)的超參數(shù)和變化程度。此外，模式連接需要微調(diào)或參數(shù)更改，這可能會(huì)增加訓(xùn)練時(shí)間和資源消耗。綜上所述，模型連通性在模型融合方面具有諸多優(yōu)勢(shì)，包括幫助克服局部最優(yōu)問題、提供解釋網(wǎng)絡(luò)行為的新視角等。未來(lái)，模式連接有望幫助理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部機(jī)制并提供指導(dǎo) 以便將來(lái)進(jìn)行更高效的深度模型融合設(shè)計(jì)。

由于來(lái)自不同網(wǎng)絡(luò)的通道和組件的隨機(jī)性，網(wǎng)絡(luò)的活動(dòng)組件相互干擾[204]。因此，未對(duì)齊的加權(quán)平均值可能會(huì)忽略不同模型中單位之間的對(duì)應(yīng)關(guān)系并損壞有用信息。例如，不同模型中的兩個(gè)神經(jīng)元之間存在一種關(guān)系，它們可能完全不同但功能相似。對(duì)齊是將不同模型的單元進(jìn)行匹配，從而為深度模型融合獲得更好的初始條件。其目的是使多個(gè)模型的差異更小，從而增強(qiáng)深度模型融合效果。此外，對(duì)齊本質(zhì)上可以被視為組合優(yōu)化問題。一種代表性機(jī)制“Re-basin”，它為各個(gè)流域提供解決方案，合并具有更好原始條件的模型。根據(jù)對(duì)齊目標(biāo)是否是數(shù)據(jù)驅(qū)動(dòng)的，對(duì)齊分為“激活匹配”和“權(quán)重匹配”兩種類型，如表所示。

一般來(lái)說(shuō)，即使對(duì)于淺層神經(jīng)網(wǎng)絡(luò)，鞍點(diǎn)和局部最優(yōu)的數(shù)量也會(huì)隨著參數(shù)數(shù)量呈指數(shù)增長(zhǎng)[10, 66]。研究發(fā)現(xiàn)，訓(xùn)練中存在不變性，導(dǎo)致這些局部最優(yōu)中的某些點(diǎn)具有相同的表示形式 [22,81,140]。具體來(lái)說(shuō)，如果通過(guò)排列交換隱藏層的單元，則網(wǎng)絡(luò)的功能不會(huì)改變，這稱為排列對(duì)稱性[43, 50]。

這些不變性帶來(lái)的排列對(duì)稱性有助于更好地理解損失圖的結(jié)構(gòu) [22, 66]。不變性也可以被視為損失圖中鞍點(diǎn)的來(lái)源[14]。[68]研究神經(jīng)網(wǎng)絡(luò)中對(duì)稱性的代數(shù)結(jié)構(gòu)以及這種結(jié)構(gòu)如何在損失圖幾何中表現(xiàn)出來(lái)。[14]在高維平臺(tái)引入排列點(diǎn)，在該點(diǎn)可以交換神經(jīng)元，而不會(huì)增加損失或參數(shù)跳躍。對(duì)損失進(jìn)行梯度下降，調(diào)整神經(jīng)元m和n的參數(shù)向量θm和θn，直到向量到達(dá)排列點(diǎn)。

基于排列對(duì)稱性，權(quán)空間中不同區(qū)域的解可以生成等價(jià)解。等效解位于與原始解相同的區(qū)域，具有低損失屏障（盆地），稱為“Re-basin”[3]。與模式連接相比，Re-basin傾向于通過(guò)排列而不是低損失隧道的方式將點(diǎn)傳輸?shù)脚璧刂?。目前，?duì)齊是Re-basin的代表性方法[3, 178]。然而，如何高效地搜索排列對(duì)稱性的所有可能性，使得所有解都指向同一個(gè)盆地是當(dāng)前的挑戰(zhàn)。

如圖是【14】引入排列點(diǎn)交換神經(jīng)元的示意圖。左：一般對(duì)齊過(guò)程，模型A參考模型B轉(zhuǎn)化為模型Ap，然后Ap和B的線性組合產(chǎn)生C。右：調(diào)整不同隱藏層兩個(gè)神經(jīng)元的參數(shù)向量θm和θn接近排列點(diǎn)，在排列點(diǎn)[14]θ′m = θ′n，兩個(gè)神經(jīng)元計(jì)算相同的函數(shù)，這意味著兩個(gè)神經(jīng)元可以交換。

對(duì)齊通過(guò)調(diào)整模型的參數(shù)使模型更加相似，可以提高模型之間的信息共享，從而提高融合模型的泛化能力。此外，對(duì)齊有助于提高模型在復(fù)雜任務(wù)上的性能和魯棒性。然而，對(duì)齊方法面臨著組合優(yōu)化速度慢的問題。對(duì)齊需要額外的計(jì)算開銷來(lái)調(diào)整模型的參數(shù)，這可能導(dǎo)致更復(fù)雜且耗時(shí)的訓(xùn)練過(guò)程，特別是在大深度模型中[142, 204]。

綜上所述，對(duì)齊可以提高不同模型之間的一致性和整體效果。隨著DL應(yīng)用場(chǎng)景的多樣化，對(duì)齊將成為優(yōu)化深度模型融合、提高泛化能力的關(guān)鍵方法之一。未來(lái)，對(duì)齊可以在遷移學(xué)習(xí)、域自適應(yīng)[63]、知識(shí)蒸餾等領(lǐng)域發(fā)揮作用。例如，對(duì)齊可以減少遷移學(xué)習(xí)中源域和目標(biāo)域之間的差異，提高對(duì)新域的學(xué)習(xí) 。

由于神經(jīng)網(wǎng)絡(luò)參數(shù)的高度冗余，不同神經(jīng)網(wǎng)絡(luò)的權(quán)值之間通常不存在一一對(duì)應(yīng)的關(guān)系。因此，通常不能保證權(quán)重平均（WA） 在默認(rèn)情況下表現(xiàn)良好。對(duì)于權(quán)重差異較大的訓(xùn)練網(wǎng)絡(luò)，普通平均值表現(xiàn)不佳[204]。從統(tǒng)計(jì)的角度來(lái)看，WA允許控制模型中的各個(gè)模型參數(shù)，從而減少最終模型的方差，從而對(duì)正則化屬性和輸出結(jié)果產(chǎn)生可靠的影響[77, 166]。

下表是WA的代表性方法：

受快速幾何集成 (FGE) [66] 和檢查點(diǎn)平均 [149] 的啟發(fā)，[99]利用恒定或周期性學(xué)習(xí)率對(duì)SGD軌跡的多個(gè)點(diǎn)進(jìn)行平均，這被視為隨機(jī)權(quán)重平均（SWA）。SWA 改進(jìn)了一系列重要基線的訓(xùn)練，提供了更好的時(shí)間可擴(kuò)展性。SWA 不是訓(xùn)練一組收集的模型（如普通融合），而是訓(xùn)練單個(gè)模型來(lái)找到比 SGD 更平滑的解決方案。在下表中列出了與 SWA 相關(guān)的方法。此外，SWA 可以應(yīng)用于任何架構(gòu)或數(shù)據(jù)集，并展示出比快照集成 (SSE) [91] 和 FGE 更好的性能。在每個(gè)周期結(jié)束時(shí)，對(duì)新獲得的權(quán)重與現(xiàn)有權(quán)重進(jìn)行平均來(lái)更新 SWA 模型。

然而SWA只能對(duì)局部最優(yōu)點(diǎn)附近的點(diǎn)進(jìn)行平均，最終得到一個(gè)相對(duì)最小值，而不能準(zhǔn)確逼近最優(yōu)值。另外，由于某些因素（如前期收斂性差、學(xué)習(xí)率大、權(quán)重變化率快等），最終的輸入樣本偏差可能較大或不充分，導(dǎo)致整體效果不佳。大量工作往往會(huì)改變 SWA 的采樣方法。

如圖不同SWA相關(guān)方法的采樣和學(xué)習(xí)率安排比較。(a) SWA：恒定學(xué)習(xí)率。(b)SWA：周期性學(xué)習(xí)率。(c)SWAD：密集采樣。(d)HWA：利用在線和離線WA，以不同的同步周期采樣，滑動(dòng)窗口長(zhǎng)度為h。

模型湯[239]是指對(duì)用不同超參微調(diào)的模型進(jìn)行平均的方法。它簡(jiǎn)單但有效，在 ImageNet-1K 上實(shí)現(xiàn)了 90.94% 的準(zhǔn)確率，超過(guò)了之前在 CoAtNet-7 (90.88%) [38] 和 ViT-G (90.45%) [255] 上的工作。如表總結(jié)了不同的模型湯方法。

在 多任務(wù)學(xué)習(xí)（MTL ）中，預(yù)訓(xùn)練模型和任務(wù)向量（即 τi = Wft ? Wpre，預(yù)訓(xùn)練模型和微調(diào)模型之間的差異）相結(jié)合，在所有任務(wù)上獲得更好的性能?；谶@一觀察，任務(wù)算術(shù)[94]通過(guò)加法和線性組合微調(diào)任務(wù)向量來(lái)提高模型在任務(wù)上的性能，這已成為直接編輯預(yù)訓(xùn)練模型的靈活高效的方法，如圖所示：采用任務(wù)算術(shù)和LoraHub（Low-rank adaptations Hub）。

另外，子空間中的模型融合將訓(xùn)練軌跡限制在低維子空間中，可減少負(fù)載和難度。

WA 通過(guò)平均不同深度模型的權(quán)重來(lái)獲得最終模型，無(wú)需額外的計(jì)算復(fù)雜性或訓(xùn)練過(guò)程[109, 159]。一般來(lái)說(shuō)，如果隨機(jī)模型在表示能力、結(jié)構(gòu)或訓(xùn)練數(shù)據(jù)方面存在顯著差異，則融合的結(jié)果可能無(wú)法達(dá)到預(yù)期的性能。使用相同的超參配置但具有不同的數(shù)據(jù)順序從頭開始對(duì)模型進(jìn)行線性插值甚至不如隨機(jī)模型有效[59]。因此，大量提出的方法旨在以其他數(shù)學(xué)方式優(yōu)化 WA 過(guò)程。

此外，當(dāng)模型共享其優(yōu)化軌跡的一部分（例如，檢查點(diǎn)平均、尾部平均、SWA [99, 149] 等）或在相同的預(yù)訓(xùn)練模型上進(jìn)行微調(diào)時(shí)（例如，模型湯 [239] 等），插值模型的準(zhǔn)確性表現(xiàn)更好[167]。此外，模型湯[239]對(duì)具有不同超參配置的模型進(jìn)行平均以獲得最終結(jié)果。此外，在模型平均值中選擇適當(dāng)?shù)臋?quán)重也可能是一個(gè)挑戰(zhàn)，這通常充滿主觀性。更復(fù)雜的權(quán)重選擇機(jī)制可能需要大量復(fù)雜的試驗(yàn)和交叉驗(yàn)證。

WA是深度學(xué)習(xí)中一種很有前景的技術(shù)，未來(lái)可以作為模型優(yōu)化技術(shù)，減少不同迭代之間的權(quán)值波動(dòng)，提高穩(wěn)定性和收斂速度。WA可以改進(jìn)聯(lián)邦學(xué)習(xí)（FL）的聚合階段，以更好地保護(hù)隱私并降低未來(lái)的通信成本。此外，通過(guò)在終端設(shè)備上實(shí)施網(wǎng)絡(luò)壓縮，有望減少模型在資源受限設(shè)備上的存儲(chǔ)空間和計(jì)算開銷[250]。簡(jiǎn)而言之，WA是一種有前途且具有成本效益的DL技術(shù)，可以應(yīng)用于FL等領(lǐng)域，以提高性能并減少存儲(chǔ)開銷。

集成學(xué)習(xí)，或多分類器系統(tǒng)，是一種集成多個(gè)單一模型來(lái)生成最終預(yù)測(cè)的技術(shù)，包括投票、平均[195]等。它提高了整體性能并減少了模型的方差，解決了諸如過(guò)擬合、 不穩(wěn)定，數(shù)據(jù)量有限。

基于現(xiàn)有的預(yù)訓(xùn)練源模型，模型重用[266]提供了應(yīng)用于新任務(wù)所需的模型，而無(wú)需從頭開始重新訓(xùn)練新模型。它可以節(jié)省時(shí)間和計(jì)算資源，并在資源有限的情況下提供更好的性能[249]。另外，由于遷移學(xué)習(xí)的重點(diǎn)是解決目標(biāo)域上的預(yù)測(cè)任務(wù)，因此模型重用可以視為遷移學(xué)習(xí)的一種。但遷移學(xué)習(xí)需要源域和目標(biāo)域的標(biāo)記數(shù)據(jù)，而在模型重用中，只能收集未標(biāo)記的數(shù)據(jù)，而不能使用源域的數(shù)據(jù)[153]。

與多分類器集成學(xué)習(xí)不同，大多數(shù)當(dāng)前方法重用現(xiàn)有的特征、標(biāo)簽或模態(tài)來(lái)獲得最終預(yù)測(cè)[176, 266]，而不存儲(chǔ)大量訓(xùn)練數(shù)據(jù)[245]。模型重用的另一個(gè)關(guān)鍵挑戰(zhàn)是從一組針對(duì)給定學(xué)習(xí)任務(wù)的預(yù)訓(xùn)練模型中識(shí)別有用的模型。

使用單一模型進(jìn)行模型重用會(huì)產(chǎn)生過(guò)多的同質(zhì)信息（例如，在一個(gè)域訓(xùn)練的模型可能不適合另一域的數(shù)據(jù)），并且很難找到完全適合目標(biāo)域的單一預(yù)訓(xùn)練模型 。一般來(lái)說(shuō)，用一組相似的模型來(lái)產(chǎn)生比單個(gè)模型更好的性能，這被表示為多模型重用（MMR）[153]。

下表比較不同復(fù)用方法的特點(diǎn)，簡(jiǎn)而言之，模型復(fù)用可以顯著減少使用預(yù)訓(xùn)練模型所需的數(shù)據(jù)量，解決不同端之間傳輸數(shù)據(jù)時(shí)消耗大量帶寬的問題。多模型復(fù)用也有廣泛的應(yīng)用，例如語(yǔ)音識(shí)別、安全隱私交互系統(tǒng)、數(shù)字視網(wǎng)膜[64]等。

與聯(lián)邦學(xué)習(xí)[88,89,160]等對(duì)模型參數(shù)和規(guī)模有一定要求的相關(guān)模型融合算法相比，集成學(xué)習(xí)方法利用預(yù)測(cè)來(lái)組合多個(gè)異構(gòu)弱分類器，沒有這樣的限制。另外，集成方法中不同架構(gòu)的網(wǎng)絡(luò)會(huì)比WA有更明顯的比較效果。然而，集成方法需要維護(hù)和運(yùn)行多個(gè)經(jīng)過(guò)訓(xùn)練的模型，并在測(cè)試時(shí)將它們一起運(yùn)行?？紤]到深度學(xué)習(xí)模型的規(guī)模和復(fù)雜性，這種方法不適合計(jì)算資源和成本有限的應(yīng)用程序[204]。

由于集成學(xué)習(xí)框架的多樣性，可以實(shí)現(xiàn)模型多樣性并增強(qiáng)泛化能力。將來(lái)，這對(duì)于處理數(shù)據(jù)變化和對(duì)抗性攻擊非常重要。深度學(xué)習(xí)中的集成學(xué)習(xí)有望為模型預(yù)測(cè)提供置信度估計(jì)和不確定性測(cè)量，這對(duì)于決策支持系統(tǒng)、自動(dòng)駕駛[74]、醫(yī)療診斷等的安全性和可靠性至關(guān)重要。

近年來(lái)，深度模型融合領(lǐng)域出現(xiàn)了大量的新研究，也推動(dòng)了相關(guān)應(yīng)用領(lǐng)域的發(fā)展。

聯(lián)邦學(xué)習(xí)

為了解決數(shù)據(jù)存儲(chǔ)的安全性和集中化挑戰(zhàn)，聯(lián)邦學(xué)習(xí)（FL） [160, 170]允許許多參與模型協(xié)作訓(xùn)練共享的全局模型，同時(shí)保護(hù)數(shù)據(jù)隱私，而無(wú)需將數(shù)據(jù)集集中在中央服務(wù)器上。它也可以被視為多-方學(xué)習(xí)問題[177]。特別是，聚合是 FL 的一個(gè)重要過(guò)程，它包含了由各方（例如設(shè)備、組織或個(gè)人）訓(xùn)練的模型或參數(shù)更新。如圖演示了集中式和分散式 FL 中的兩種不同聚合方法。，左：中央服務(wù)器和客戶端終端之間的集中式聯(lián)邦學(xué)習(xí)，遷移模型或梯度，最終聚合在服務(wù)器上。右：分散式聯(lián)合學(xué)習(xí)在客戶端終端之間傳輸和聚合模型，無(wú)需中央服務(wù)器。

下表是聯(lián)邦學(xué)習(xí)的不同聚合方法：

簡(jiǎn)而言之，F(xiàn)L 中聚合步驟的本質(zhì)是一種模型融合技術(shù)。選擇合理的模型融合方法可以減少特定參與者或個(gè)體數(shù)據(jù)對(duì)最終模型的影響，從而提高模型在全局范圍內(nèi)的泛化能力和適應(yīng)性。今后良好的聚合方法有望有助于應(yīng)對(duì)聯(lián)邦學(xué)習(xí)中的一系列挑戰(zhàn)。高質(zhì)量且可擴(kuò)展的聚合方法預(yù)計(jì)將面臨FL的一系列挑戰(zhàn)，例如客戶端異構(gòu)性、非獨(dú)立同分布異構(gòu)數(shù)據(jù)、有限的計(jì)算資源[141]等。FL有望展現(xiàn)其潛力在更多領(lǐng)域中，例如自然語(yǔ)言處理、推薦系統(tǒng)[146]、醫(yī)學(xué)圖像分析[144]等。

微調(diào)

微調(diào)是一個(gè)基本模式（例如預(yù)訓(xùn)練模型），是調(diào)整模型以執(zhí)行下游任務(wù)的有效方法 [23, 41]，這可以使用更少的標(biāo)記數(shù)據(jù)獲得更好的泛化和更準(zhǔn)確的輸出。與隨機(jī)初始化相比，預(yù)訓(xùn)練模型是通過(guò)相對(duì)一組特定于任務(wù)的數(shù)據(jù)來(lái)訓(xùn)練的，這始終是更好的訓(xùn)練標(biāo)準(zhǔn)起點(diǎn)。盡管如此。現(xiàn)有微調(diào)模型 [28, 29] 的平均值甚至是比普通預(yù)訓(xùn)練模型更好的基礎(chǔ)模型，用于對(duì)下游任務(wù)進(jìn)行微調(diào)。

此外，最近有大量將 WA 與微調(diào)相結(jié)合的工作，如圖所示，例如 model soup [239]、DiWA [190] 等。微調(diào)提高了目標(biāo)分布的準(zhǔn)確性，但往往導(dǎo)致分布變化的穩(wěn)健性下降。對(duì)微調(diào)模型進(jìn)行平均的策略可能很簡(jiǎn)單，但它們沒有充分利用每個(gè)微調(diào)模型之間的連接。因此，在目標(biāo)任務(wù)訓(xùn)練之前先進(jìn)行中間任務(wù)訓(xùn)練可以探索基礎(chǔ)模型的能力[180,185,224]。受相互訓(xùn)練策略 [185] 的啟發(fā)，[188]微調(diào)輔助任務(wù)的模型，利用不同的輔助任務(wù)并提高分布外（OOD）泛化能力。

微調(diào)模型的平均值減少了實(shí)現(xiàn)目標(biāo)所需的訓(xùn)練時(shí)間[28]，并生成更準(zhǔn)確和更好的泛化模型。本質(zhì)上，不同的微調(diào)方式（例如，凍結(jié)層微調(diào)、頂層微調(diào)等）也會(huì)對(duì)最終的精度和分布偏移產(chǎn)生一定的影響[240]。然而，WA和微調(diào)的結(jié)合是昂貴的開銷，對(duì)具體應(yīng)用有一定的限制。此外，它可能面臨保存檢查點(diǎn)爆炸或?yàn)?zāi)難性遺忘的問題[121]，特別是應(yīng)用于遷移學(xué)習(xí)。

知識(shí)蒸餾

知識(shí)蒸餾（KD）[83]是集成多個(gè)模型的重要方法，涉及以下兩類模型。教師模型是指在大規(guī)模數(shù)據(jù)上訓(xùn)練的大型且強(qiáng)大的模型，具有較高的預(yù)測(cè)能力和表達(dá)能力。學(xué)生模型是一個(gè)相對(duì)較小的模型，具有較少的參數(shù)和計(jì)算資源 [18, 199]。利用教師的知識(shí)（例如輸出概率分布、隱藏層表示等）指導(dǎo)訓(xùn)練，學(xué)生可以用更少的資源和更快的速度達(dá)到接近大型模型的預(yù)測(cè)能力[2, 119, 124 ，221]。考慮到多個(gè)教師或?qū)W生的表現(xiàn)預(yù)計(jì)比單個(gè)模型[6]更好，根據(jù)聚合目標(biāo)將 KD 分為兩類，如圖所示。

第一類方法是合并多個(gè)教師模型并直接提取學(xué)生模型，如表所示。目前，最近的工作主要集成教師的輸出（例如，logits [6,49,252]或特征） 基礎(chǔ)知識(shí) [143, 241] 等）。

另一種方法是使用教師模型提取多個(gè)學(xué)生，然后合并這些學(xué)生模型。然而，合并多學(xué)生也存在一些問題，例如計(jì)算資源需求大、解釋性差以及過(guò)度依賴原始模型等。

基礎(chǔ)模型/LLMs的模型融合

基礎(chǔ)模型在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出強(qiáng)大的性能和突現(xiàn)能力，大型基礎(chǔ)模型的特點(diǎn)是其龐大的規(guī)模，包含數(shù)十億個(gè)參數(shù)，幫助學(xué)習(xí)數(shù)據(jù)中的復(fù)雜模式。特別是，隨著最近新的LLM [200, 264]的出現(xiàn)，如GPT-3 [17, 172]，T5 [187]，BERT [41]，Megatron-LM，WA的應(yīng)用[154, 212, 256] ] LLM引起了更多關(guān)注。

此外，最近的工作 [120, 256] 傾向于設(shè)計(jì)更好的框架和模塊來(lái)適應(yīng)應(yīng)用LLM。由于高性能和低計(jì)算資源，對(duì)大型基礎(chǔ)模型進(jìn)行微調(diào)可以提高分布變化的魯棒性[240]。