一文讀懂大模型協(xié)作策略：Merge、Ensemble、Cooperate！
大型語言模型（LLMs）時代協(xié)作策略是一個新興研究領(lǐng)域，協(xié)作策略可以分為三種主要方法：合并（Merging）、集成（Ensemble）和合作（Cooperation）。
每個模型都有其獨特的優(yōu)勢，這種多樣性促進了這些模型之間的合作研究
盡管LLMs通過ICL和指令跟隨在各種任務(wù)上表現(xiàn)出強大的多樣性，但不同的LLMs在訓(xùn)練語料庫和模型架構(gòu)上的差異導(dǎo)致它們在不同任務(wù)上有不同的優(yōu)勢和劣勢，有效的協(xié)作可以發(fā)揮它們的綜合潛力。
對大型語言模型（LLM）協(xié)作的主要分類
LLMs協(xié)作方法的分類：
- 合并（Merging）：在參數(shù)空間中整合多個LLMs，創(chuàng)建一個統(tǒng)一的、更強大的模型。
- 集成（Ensemble）：結(jié)合不同模型的輸出以獲得一致的結(jié)果。
- 合作（Cooperation）：利用不同LLMs的多樣化能力來實現(xiàn)特定目標(biāo)，如高效計算或知識轉(zhuǎn)移。
不同協(xié)作策略的示意圖，圖中的每種動物代表一個不同的大型語言模型（LLM）
合并（Merging）方法
合并策略旨在通過在參數(shù)空間中整合多個模型來創(chuàng)建一個統(tǒng)一的、更強大的模型：
- 合并的目的：合并方法旨在解決單一模型可能存在的限制，如信息缺失、陷入局部最優(yōu)或缺乏多任務(wù)能力。
- 合并為相對最優(yōu)解（M-ROS）：
- 描述了深度學(xué)習(xí)模型在訓(xùn)練過程中可能無法達到精確最優(yōu)解的現(xiàn)象。
- 提出了通過合并多個模型的參數(shù)來獲得更好的相對最優(yōu)解的方法，包括簡單平均和加權(quán)平均兩種方法。
- 基本M-ROS方法：
- 簡單平均：將多個微調(diào)模型的參數(shù)以相等的系數(shù)進行平均，以創(chuàng)建一個更強的模型。
- 加權(quán)平均：根據(jù)模型的重要性或質(zhì)量分配不同的系數(shù)，以實現(xiàn)更好的合并。
- 合并以增強多任務(wù)能力（M-MTC）：
- 通過合并具有不同能力的模型來構(gòu)建具有多任務(wù)能力的統(tǒng)一模型的嘗試。
- 介紹了基于加權(quán)平均、基于任務(wù)屬性和基于增量訓(xùn)練的方法來解決模型參數(shù)空間中的分歧問題。
- 基于任務(wù)屬性的合并方法：
- 定義了任務(wù)向量τt，這是一個指定預(yù)訓(xùn)練模型參數(shù)空間中方向的向量，該方向的移動可以提高特定任務(wù)的性能。
- 解決參數(shù)沖突的方法，包括參數(shù)沖突解決、減少參數(shù)方法和工具包（Toolkit）。
- 基于增量訓(xùn)練的方法：
- 提出了通過增量學(xué)習(xí)技術(shù)來恢復(fù)原始性能的方法，如尋找模型參數(shù)空間中的共享低維子空間以最小化任務(wù)干擾。
- 合并方法的局限性：
- 當(dāng)前模型合并方法僅適用于具有相同架構(gòu)和參數(shù)空間的模型，對于參數(shù)不兼容的模型，如LLaMA和QWen，當(dāng)前的合并技術(shù)是無效的。?
集成（Ensemble）方法
集成方法是一種通過結(jié)合多個模型的輸出來提高整體性能的策略，探討了在推理前、推理中和推理后進行集成的不同方法，以及它們?nèi)绾斡绊懲评硭俣取⒓闪６群兔媾R的限制。
在推理之前（a）、推理期間（b）和推理之后（c）的大型語言模型（LLM）集成方法的示意圖。
- 集成學(xué)習(xí)的重要性：與傳統(tǒng)的分類任務(wù)不同，LLMs通常通過文本生成來解決各種任務(wù)，因此它們的輸出更加靈活和自然。這要求為LLMs設(shè)計特定的集成方法。
- LLM集成方法論：
- 根據(jù)集成發(fā)生的時間點，將集成方法分為三類：推理前（Before Inference）、推理中（During Inference）和推理后（After Inference）。
- 推理前的集成（Before Inference）：
- 這類方法在推理前選擇最適合特定輸入樣本的LLM，例如通過訓(xùn)練外部路由器來選擇最優(yōu)的LLM。
- 推理中的集成（During Inference）：
- 在推理期間，LLMs自回歸地生成令牌。這類方法在每個解碼步驟中執(zhí)行集成，以減少早期錯誤隨時間累積的影響。
- 推理后的集成（After Inference）：
- 這類方法在推理后結(jié)合生成的輸出，例如構(gòu)建LLM級聯(lián)以減少僅使用大型LLMs的推理成本，或者從多個LLMs生成的候選中選擇最佳輸出。?
- 推理速度：
- 集成方法通常會降低推理速度，尤其是在推理期間和推理后的集成方法。
- 集成粒度：
- 推理前和推理后的集成方法通常在示例級別工作，提供粗粒度集成；而推理中的集成方法在令牌級別工作，提供細粒度集成。?
合作（Cooperation）方法
在大型語言模型（LLMs）的時代，協(xié)作策略不僅僅局限于簡單的合并或集成。越來越多的研究正專注于通過LLMs之間的合作來解決各種問題或特定任務(wù)的更廣泛方法，根據(jù)目標(biāo)可以分為不同合作策略：
- 高效計算：通過輸入壓縮和推測性解碼來加速模型推理。
大型語言模型（LLMs）與壓縮模塊合作進行輸入壓縮
大型語言模型（LLMs）與草稿生成器合作進行推測性解碼
- 知識轉(zhuǎn)移：通過合作在推理階段轉(zhuǎn)移知識，而不是涉及訓(xùn)練。
- 知識轉(zhuǎn)移的重要性：由于直接訓(xùn)練大型模型獲取新知識既困難又成本高昂，因此通過合作轉(zhuǎn)移知識或能力成為一個重要的研究方向。
- 知識轉(zhuǎn)移的方法：
- 幾種主要的方法，包括減少錯誤知識（Mitigating Incorrect Knowledge）、加強正確知識（Strengthening Correct Knowledge）和提供新知識（Supplying New Knowledge）。
- 減少錯誤知識：
- LLMs在生成文本時可能出現(xiàn)的幻覺（hallucinations）和偏見（bias）問題，并提出了對比解碼（Contrastive Decoding, CD）等方法來減少這些問題。
- 加強正確知識：
- 如何通過額外的模型來增強解碼輸出的忠實度，例如使用屬性控制文本生成（attribute-controlled text generation）和驗證方法來提高輸出與輸入或指令的一致性。
- 提供新知識：
- 觀察到輸出邏輯的變化反映了LLMs能力的變化，并提出了調(diào)整輸出邏輯來為大型模型提供從小模型中提取的新能力的方法。?
- 補償性合作：引入額外的控制器來補償LLMs的不足，如檢測器和檢索器。
- 聯(lián)邦合作：通過聯(lián)邦學(xué)習(xí)和聯(lián)邦提示工程來保護用戶隱私并有效執(zhí)行命令。
大型語言模型（LLMs）在聯(lián)邦學(xué)習(xí)中與客戶端模型合作
https://arxiv.org/abs/2407.06089
Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models本文轉(zhuǎn)載自??PaperAgent??
