大語言模型（LLMs）在自然語言處理（NLP）領(lǐng)域取得了顯著的進(jìn)步，為廣泛的應(yīng)用提供了一種非常有用的、與任務(wù)無關(guān)的基礎(chǔ)。然而，直接應(yīng)用 LLMs 去解決特定領(lǐng)域的復(fù)雜問題會遇到許多障礙，這些障礙源于領(lǐng)域數(shù)據(jù)的異質(zhì)性、領(lǐng)域知識的復(fù)雜性、領(lǐng)域目標(biāo)的獨(dú)特性以及約束的多樣性（例如不同的社會規(guī)范、倫理標(biāo)準(zhǔn)、宗教信仰等）。領(lǐng)域?qū)I(yè)化是讓 LLMs 在許多應(yīng)用中實際投入使用的關(guān)鍵甚至是前提。因此，隨著 LLMs 開始應(yīng)用在越來越多的領(lǐng)域中的，領(lǐng)域?qū)I(yè)化的技術(shù)在近期獲得了加速發(fā)展和關(guān)注，而一份全面且系統(tǒng)的回顧能更好地總結(jié)和引導(dǎo)這一領(lǐng)域的持續(xù)工作。

在這篇文章中，我們提供了關(guān)于大型語言模型領(lǐng)域?qū)I(yè)化技術(shù)的全面概覽，這是大型語言模型應(yīng)用的一個關(guān)鍵的新興方向。

• 首先，我們提出了一個系統(tǒng)的分類法，根據(jù)對 LLMs 的訪問性將 LLMs 的領(lǐng)域?qū)I(yè)化技術(shù)進(jìn)行分類，并總結(jié)了所有子類別的框架以及它們之間的關(guān)系和差異。
• 其次，我們討論了一系列可以從 LLMs 專業(yè)化中獲得巨大利益的關(guān)鍵應(yīng)用領(lǐng)域，并討論了它們的實際意義和開放性挑戰(zhàn)。
• 最后，我們提供了對這個領(lǐng)域當(dāng)前研究狀態(tài)和未來趨勢的洞察。如更詳細(xì)的內(nèi)容請參考原文。

圖片

文章地址：https://arxiv.org/abs/2305.18703

大語言模型的背景及挑戰(zhàn)

基于自注意力機(jī)制和 Transformer 框架的預(yù)訓(xùn)練語言模型（PLMs）在過去幾年出現(xiàn)并迅速得到普及。PLMs 能夠以無監(jiān)督的方式從大規(guī)模數(shù)據(jù)中學(xué)習(xí)通用語言表征，可以在不用重新訓(xùn)練新模型的情況下幫助到許多下游的 NLP 任務(wù)。隨著硬件能力的快速增長，研究人員發(fā)現(xiàn)增大 PLMs 的參數(shù)和訓(xùn)練數(shù)據(jù)規(guī)?？梢詭砀蟮男阅芴嵘＿@類大規(guī)模的預(yù)訓(xùn)練語言模型被稱為大語言模型（LLMs），如 GPT-3（175 billion），LLaMA（65 billion），和 PaLM（540 billion）。LLMs 在理解和生成自然語言方面展現(xiàn)出極高的水平，為諸多特定領(lǐng)域（如法律，教育，公共醫(yī)療）提供了基礎(chǔ)任務(wù)的處理方案。

然而，對于很多領(lǐng)域的特定任務(wù)和問題，直接使用預(yù)訓(xùn)練的 LLMs 會遇到許多難題。首先，不同領(lǐng)域的任務(wù)和語言風(fēng)格有顯著差異，像醫(yī)藥處方到法律法案。獲取這些能力和經(jīng)驗甚至需要人類多年的培訓(xùn)，而且大部分是專業(yè)化的實踐操作。此外，不同領(lǐng)域、機(jī)構(gòu)和團(tuán)隊有自己的 “業(yè)務(wù)模式”，一個沒有定制的通用 LLM 也不能直接替代領(lǐng)域?qū)＜?。更重要的是，專業(yè)級別的使用也需要非常深入、實時且準(zhǔn)確的領(lǐng)域知識，這些都不是預(yù)訓(xùn)練的 LLMs 能輕易做到的。許多領(lǐng)域知識資源是組織的專有資產(chǎn)和核心競爭力，這些是永遠(yuǎn)不可能泄露給通用 LLMs 的。最后，語言受社會規(guī)范、宗教信仰、法律要求和道德實踐的約束，所有這些都是在不同的地區(qū)、人口、種族等變化的參數(shù)，使得通用 LLMs 無法成為一個一體適應(yīng)所有情況的解決方案。以上難題都導(dǎo)致了 “將 LLMs 專業(yè)化到不同領(lǐng)域” 的強(qiáng)大需求和必然趨勢。

將通用 LLMs 專業(yè)化到不同領(lǐng)域需要結(jié)合領(lǐng)域知識來理解上下文語意，通過領(lǐng)域特定任務(wù)目標(biāo)優(yōu)化，并受到領(lǐng)域約束的調(diào)節(jié)。更具體來說，將通用 LLMs 專業(yè)化面臨著以下挑戰(zhàn)：

保持 LLMs 與最新知識同步：LLMs 的力量主要?dú)w功于它們龐大的訓(xùn)練語料庫。然而，這也表明 LLMs 往往存在知識斷層（即，LLMs 無法獲取最新的信息、事件或發(fā)現(xiàn)）。在許多專業(yè)領(lǐng)域，新的發(fā)現(xiàn)、規(guī)定和最佳實踐結(jié)果持續(xù)出現(xiàn)，而通常離線的 LLMs 難以處理這些不在自身語料庫的信息。

在一個 LLM 中應(yīng)用不同領(lǐng)域的專業(yè)知識：LLMs 默認(rèn)具有廣泛主題的通用知識，并可能已經(jīng)看到并獲得了大部分領(lǐng)域的特定知識。然而，更受歡迎的主題可能被過度表示，而某些特定領(lǐng)域的主題可能被低估，這使得它們難以被有效地提取用于特定領(lǐng)域的任務(wù)。此外，領(lǐng)域特定的任務(wù)通常涉及復(fù)雜的概念、專業(yè)術(shù)語和不同實體之間的復(fù)雜關(guān)系。沒有適當(dāng)?shù)闹笇?dǎo)，LLMs 可能會生成聽起來合理但實際有誤的回答（hallucination）。

模型復(fù)雜性與微調(diào)所需的大量計算資源：為了更好地適應(yīng)特定領(lǐng)域的應(yīng)用，微調(diào)歷來是專門化語言模型的常用方法。然而，微調(diào) LLM 需要大量的高質(zhì)量、領(lǐng)域特定的數(shù)據(jù)以進(jìn)行有效的微調(diào)。此外，微調(diào) LLMs 的海量計算資源也是不可忽視的一大難題。

領(lǐng)域?qū)I(yè)化技術(shù)

圖 1：將 LLMs 專門化到不同領(lǐng)域任務(wù)的方法分類。

主要技術(shù)概要和關(guān)系

為了解決上文中提到的領(lǐng)域?qū)I(yè)化的挑戰(zhàn) 1、2 和 3，LLM 領(lǐng)域?qū)I(yè)化的方法可以被分類為三種對應(yīng)的方法：外部增強(qiáng)（External Augmentation）、提示語制作（Prompt Crafting）和模型微調(diào)（Model Fine-tuning），如圖 1 所示。這些類別對應(yīng)于對 LLM 的不同訪問級別，即無訪問權(quán)限（黑箱 Black-Box）、部分訪問權(quán)限（灰箱 Grey-Box）和全訪問權(quán)限（白箱 White-Box）。我們進(jìn)一步在圖 2 對每類方法進(jìn)行了概述。首先，Black-Box 類方法通常只能訪問 LLMs 的 API，不知道任何模型和訓(xùn)練信息，只知道生成的輸出。這類方法不一定需要訪問 LLM 的內(nèi)部參數(shù)空間，使其對資源有限的用戶（例如，計算資源、領(lǐng)域特定數(shù)據(jù)）十分友好。如圖 2（b）所示，通過使用外部資源或工具，將領(lǐng)域特定的知識納入 LLM 的輸入，生成的輸出或兩者，來有效地調(diào)整 LLM 的性能，而不改變其內(nèi)部結(jié)構(gòu)。Grey-Box 表示我們有限的信息（例如，GPT-3 API 中生成 token 的概率），這些信息可以指導(dǎo)我們設(shè)計一個合適的 prompt 以更好地引出領(lǐng)域知識（圖 2.c）；而 White-Box 表示我們可以完全訪問 LLM（例如，完全開源的大語言模型 LLaMA 及其變體），包括參數(shù)設(shè)置、訓(xùn)練數(shù)據(jù)和完整的模型架構(gòu)。這類方法要求最多的訪問和資源，因為它涉及更新 LLM 的參數(shù)，將領(lǐng)域特定知識直接納入模型中（圖 2.d）。

圖 2：為特定領(lǐng)域任務(wù)定制 LLM 的不同方法。

不同類別方法之間的關(guān)系

• 不同級別的專業(yè)化：每種方法在不同級別的專業(yè)化（即，Black-Box、Grey-Box 和 White-Box）上進(jìn)行操作。例如用 External Augmentation 提供了領(lǐng)域特定信息的集中注入，而 Prompt Crafting 在 LLM 輸入級別上進(jìn)行操作，塑造模型的推斷過程。Model Fine-tuning 修改 LLM 的內(nèi)部參數(shù)，導(dǎo)致模型行為產(chǎn)生更深刻的變化。
• 權(quán)衡：這些方法不同在計算成本、實施的簡易性和泛化能力方面。用 External Augmentation 和 Prompt Crafting 通常比 LLMs 的 Model Fine-tuning 計算成本低，但可能無法獲得相同級別的性能改進(jìn)。Model Fine-tuning 可以提供更大的性能提升，但可能更難實現(xiàn)，如果出現(xiàn)過擬合，可能會降低泛化能力。
• 互補(bǔ)性：這三種方法可以獨(dú)立使用，也可以組合使用，以在領(lǐng)域特定的任務(wù)上實現(xiàn)更好的性能。例如，可以將 External Augmentation 與 LLM Model Fine-tuning 集成，以利用專業(yè)知識和優(yōu)化參數(shù)。同樣，精心設(shè)計的 Prompt 可以與 Model Fine-tuning 一起使用，以指導(dǎo)模型的輸出，同時利用新學(xué)到的領(lǐng)域特定知識。

主要技術(shù)詳述

外部增強(qiáng) – External Augmentation

External Augmentation 旨在通過從外部源檢索或調(diào)用領(lǐng)域特定信息來增強(qiáng) LLMs，而無需微調(diào)模型參數(shù)。主要有兩個類別：（1）領(lǐng)域知識增強(qiáng)（Domain Knowledge Augmentation），其中 LLMs 從外部知識源獲得領(lǐng)域特定的上下文，和（2）領(lǐng)域工具增強(qiáng)（Domain Tool Augmentation），將 LLMs 與外部系統(tǒng)或工具集成，通常通過 APIs。

Domain Knowledge Augmentation 通過外部信息補(bǔ)充模型的響應(yīng)，而 Domain Tool Augmentation 則擴(kuò)展了模型對其無法執(zhí)行的任務(wù)的能力。領(lǐng)域知識增強(qiáng)了特定領(lǐng)域內(nèi)的深度和準(zhǔn)確性，而領(lǐng)域工具則使模型能夠執(zhí)行超出其固有能力的任務(wù)。本節(jié)討論了這兩種方法，它們的局限性和優(yōu)勢。

Domain Knowledge Augmentation：領(lǐng)域知識廣義上是對特定領(lǐng)域或主題區(qū)域的全面理解。它包括對特定領(lǐng)域特有的概念、原則、事實和模式的理解。知識可以以各種形式表示，包括一組文檔、特定領(lǐng)域的知識圖或包含參數(shù)領(lǐng)域知識的神經(jīng)網(wǎng)絡(luò)。Domain Knowledge Augmentation 在 LLM 專業(yè)化中指的是通過結(jié)合領(lǐng)域知識的附加信息來豐富 LLM 在特定領(lǐng)域的性能的過程。如圖 3 所示，在一個問答任務(wù)中，我們可以在外部數(shù)據(jù)庫或知識圖譜中檢索與問題相關(guān)的領(lǐng)域知識，然后把這些知識結(jié)合到原問題中以達(dá)到讓 LLMs 更清楚相關(guān)問題的目的。通常有兩類外部知識可以幫助 LLMs 在其領(lǐng)域?qū)I(yè)化：顯式知識指的是明確定義、易于表達(dá)并以可以直接理解和利用的方式結(jié)構(gòu)化的知識；而隱式知識指的是未直接陳述或不易表達(dá)的知識，但它嵌入在數(shù)據(jù)或系統(tǒng)中，通常以潛在、非顯而易見的形式存在。

圖 3: 通過檢索和問題相關(guān)領(lǐng)域信息，LLM 可以得到領(lǐng)域相關(guān)知識來更好的作出回答。

Domain Tool Augmentation：領(lǐng)域工具指的是專門為特定領(lǐng)域開發(fā)的專用軟件、庫或框架。例如，用于基因組問題回答的 API，用于數(shù)學(xué)證明的自動形式定理證明器，用于社會行為模擬的沙盒環(huán)境等。這些工具被設(shè)計用來有效處理領(lǐng)域特定的任務(wù)、數(shù)據(jù)或知識，它們常常結(jié)合了針對該領(lǐng)域獨(dú)特要求的算法、技術(shù)或數(shù)據(jù)結(jié)構(gòu)。然而，使用這些領(lǐng)域工具常常需要嚴(yán)格遵守輸入格式或大量訓(xùn)練，這使得它們對一般用戶的可訪問性較低。另一方面，LLMs 表現(xiàn)出在廣泛任務(wù)和領(lǐng)域智能以及認(rèn)知能力中的人工通用智能模型。盡管它們具有多功能性，但當(dāng)前的 LLMs 在需要領(lǐng)域?qū)I(yè)化的任務(wù)中受到限制。這些限制包括：(1) 根據(jù)隨機(jī)種子、生成超參數(shù)和輸入內(nèi)容，結(jié)果格式可能不穩(wěn)定；(2) 無法獲取最新信息的能力，因為 LLMs 只能從其訓(xùn)練數(shù)據(jù)中獲取信息；(3) 研究人員觀察到傾向于制造事實的趨勢；(4) 在某些任務(wù)（如算術(shù)）中缺乏精度。因此，研究者們提出了一種協(xié)作集成方法，以克服僅使用領(lǐng)域工具或 LLMs 處理復(fù)雜領(lǐng)域特定任務(wù)的限制。這種方法結(jié)合了兩者的優(yōu)勢，利用工具的領(lǐng)域特定知識、算法和功能，同時通過 LLMs 提供用戶友好的界面。這種協(xié)作優(yōu)化了領(lǐng)域特定資源的使用，并通過允許 LLMs 直接指導(dǎo)外部工具（如圖 4），簡化了用戶參與。

圖 4: LLM 不直接解答用戶的問題，而是把問題轉(zhuǎn)化為 Python 代碼調(diào)用外部程序求解。

提示語制作 – Prompt Crafting

雖然在大規(guī)模語料庫上訓(xùn)練的 LLMs 很強(qiáng)大，但在 Prompt 上進(jìn)行進(jìn)一步的預(yù)訓(xùn)練可以增強(qiáng)它們遵循用戶意圖并生成更準(zhǔn)確回應(yīng)的能力。Prompt，或者是為了引出特定模型回應(yīng)而設(shè)計的任務(wù)特定輸入文本，有助于引導(dǎo) LLMs 的內(nèi)容生成過程，并設(shè)定期望的輸出。

方法通常分為兩類：（1）離散提示（Discrete Prompt）涉及創(chuàng)建任務(wù)特定的自然語言指令來提示 LLMs，從它們的參數(shù)空間中引出領(lǐng)域特定的知識；（2）連續(xù)提示（Continuous Prompt）使用可學(xué)習(xí)的向量來提示 LLMs，消除了手動設(shè)計文本指令的需要。本節(jié)深入討論了這兩種方法以及領(lǐng)域?qū)I(yè)化的優(yōu)點和限制。

Discrete Prompt：允許 LLMs 通過 Discrete Prompt 去快速適應(yīng)未見過的領(lǐng)域，GPT-3 是首個介紹如何使用 LLM 通過 Discrete Prompt 執(zhí)行未見過的任務(wù)，而不更新 LLM 的內(nèi)部參數(shù)的工作。我們在下面給出了 Discrete Prompt 框架的正式定義。給定一個 LLM其中表示預(yù)訓(xùn)練的模型參數(shù)，任務(wù)是通過一個 Discrete Prompt和一個測試問句 (testing query)，即 在凍結(jié) 的情況下從 LLM 中引出期望的輸出。值得注意的是，, ??和??都是表征序列（即，自然語言句子）。使用 Discrete Prompt 的理由是，它們可以作為引出 LLM 的推理能力的指令。通過遵循這樣的指令，LLM 可以執(zhí)行它們沒有被專門訓(xùn)練的領(lǐng)域特定任務(wù)。這種方法允許 LLMs 展示他們將先前學(xué)習(xí)的知識應(yīng)用于新的和多樣化情況的能力，從而提高他們的整體有效性和實用性。值得一提的是，Discrete Prompt 可以被進(jìn)一步分成兩個分支：零樣本提示（Zero-shot Prompt）只允許 Prompt包含任務(wù)信息；而少樣本提示 (Few-shot Prompt) 允許 Prompt 包括任務(wù)描述和一些說明性的例子。我們在原文深入討論了這兩種方法在領(lǐng)域?qū)I(yè)化的優(yōu)點和限制。

Continuous Prompt：Continuous Prompt 是一個擬與輸入句子相連的標(biāo)記序列，用額外的知識指導(dǎo) LLM，但可以通過 Continuous Prompt 的調(diào)整（Tuning）從下游數(shù)據(jù)集中學(xué)習(xí)。在這種情況下，Continuous Prompt 作為一種軟參數(shù)化的 Prompt，而不是作為離散語言短語的硬編碼指令。Continuous Prompt Tuning 是為了優(yōu)化 Prompt，使 LLM 適應(yīng)定制的任務(wù)或領(lǐng)域，同時保持 LLM 的一般語言理解能力。圖 5 總結(jié)了 Continuous Prompt Tuning 的一般框架。在這里，我們可以只更新與 Prompt 有關(guān)的參數(shù)，這些參數(shù)的數(shù)量大約只占 LLM 參數(shù)總數(shù)的 0.01%，而在微調(diào)階段凍結(jié) LLM 本身。連續(xù)提示優(yōu)化可以被進(jìn)一步分為兩類：(1) 任務(wù)依賴型提示優(yōu)化（Task-dependent Prompt Tuning）和 (2) 實例依賴型提示優(yōu)化（Instance-dependent Prompt Tuning）。Continuous Prompt Tuning 提供了一種參數(shù)高效、完全可控的調(diào)整方法，使大規(guī)模預(yù)訓(xùn)練語言模型能夠更定制化地適應(yīng)。

圖 5: Continuous Prompt Tuning 的一般框架：火圖標(biāo)模塊可以被調(diào)整，冰圖標(biāo)

模型微調(diào) – Model Finetuning

盡管 LLMs 在廣泛的通用文本數(shù)據(jù)上接受了訓(xùn)練，但它們可能未能對特定任務(wù)或領(lǐng)域的知識進(jìn)行充分的編碼。在這種情況下，對模型在較小的領(lǐng)域特定數(shù)據(jù)集上進(jìn)行微調(diào)可以增強(qiáng)其在特定區(qū)域內(nèi)的性能。這種微調(diào)可以分為兩種主要方法：（1）基于適配器的微調(diào)（Adapter-based Fine-tuning）和（2）面向任務(wù)的微調(diào)（Task-oriented Fine-tuning）。這兩種方法通過不同程度的更新 LLMs 模型參數(shù)以適應(yīng)特定的任務(wù)或領(lǐng)域，提供了處理專業(yè)應(yīng)用的靈活性和效率。

圖 6: 基于特定領(lǐng)域知識對 LLM 進(jìn)行微調(diào)的兩種方法，其中藍(lán)色矩形表示 LLM 的參數(shù)集。(a) Adapter-based Fine-tuning 旨在通過少量的額外參數(shù)（即 Adapter - 適配器）對特定領(lǐng)域的 LLM 進(jìn)行微調(diào)；以及 (b) Task-oriented Fine-tuning 旨在根據(jù)具體的任務(wù)對 LLM 總體參數(shù)進(jìn)行微調(diào)。

Adapter-based Fine-tuning：如圖 6 (a) 所示，這種方法采用神經(jīng)適配器（Neural Adapter）或模塊化組件來增強(qiáng) LLMs 在領(lǐng)域特定任務(wù)上的性能，而不對 LLMs 的內(nèi)部參數(shù)進(jìn)行大的修改。這些 Adapters 通常集成到現(xiàn)有的 LLM 架構(gòu)中，允許進(jìn)行任務(wù)特定的學(xué)習(xí)以指導(dǎo)語言模型適應(yīng)目標(biāo)領(lǐng)域或任務(wù)，同時保持原始模型的完整性。為模型增加額外模塊的優(yōu)點包括：(1) 參數(shù)數(shù)量少且簡單；(2) 可擴(kuò)展到原始的語言模型；(3) 在每個特定領(lǐng)域的序貫訓(xùn)練上具有靈活性。大部分具有上述優(yōu)點的策略都是基于 Adapter 的，屬于參數(shù)高效微調(diào)的范疇。常用的適配器類型有：參數(shù)化的普通 Adapter，具有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的 Adapter，低秩適配器（low-rank Adapter），和一個集合的適配器框架（Adapter Framework）。

Task-oriented Fine-tuning：從根本上提高模型性能，超越少量任務(wù)信息和輔助 Adapter，仍然需要在大量高質(zhì)量的特定領(lǐng)域數(shù)據(jù)集上更新 LLMs 的內(nèi)部參數(shù)。然而，對 LLM 進(jìn)行特定任務(wù)的微調(diào)會帶來兩個挑戰(zhàn)：1) 更新 LLM 的全局知識可能會因過度擬合、災(zāi)難性遺忘和任務(wù)特定偏差等原因破壞其情境學(xué)習(xí)能力。2) 由于參數(shù)空間大且模型架構(gòu)深度高，LLM Model Fine-tuning 在計算上成本很高?，F(xiàn)如今更新 LLMs 內(nèi)部參數(shù)主要可分為兩個領(lǐng)域：基于指令的微調(diào)（Instruction-based Fine-tuning）和部分知識更新（Partial Knowledge Update），以分別應(yīng)對這兩個挑戰(zhàn)。如圖 6 (b) 所示，該方法側(cè)重于修改 LLM 的內(nèi)部參數(shù)以提高與特定任務(wù)的對齊度。然而，完全更新 LLM 的所有參數(shù)可能因硬件限制和潛在的性能下降而不切實際。因此，研究人員面臨的挑戰(zhàn)在于確定在廣闊的參數(shù)空間中需要修改哪些參數(shù)，或者有效地更新這些參數(shù)的一個子集。

領(lǐng)域?qū)I(yè)化的應(yīng)用，挑戰(zhàn)，以及未來研究方向

在這篇綜述文章中，我們探討了 LLMs 在一系列領(lǐng)域特定任務(wù)中的應(yīng)用，這些領(lǐng)域包括社會科學(xué)（例如，教育，金融，法律），自然科學(xué)（例如，生物醫(yī)學(xué)，地球科學(xué)），以及形式科學(xué)（例如，人機(jī)交互，軟件工程，和網(wǎng)絡(luò)安全）。為了在這些多樣化領(lǐng)域中實現(xiàn) LLMs 的領(lǐng)域?qū)I(yè)化，讀者可以采用各種技術(shù)，如外部增強(qiáng)，指導(dǎo)制定，以及模型微調(diào)。這些方法可以幫助將 LLMs 定制到每個領(lǐng)域的特定任務(wù)和挑戰(zhàn)中，從而實現(xiàn)更準(zhǔn)確、更相關(guān)和更有效的應(yīng)用。雖然每個領(lǐng)域都有其獨(dú)特的挑戰(zhàn)和要求，但這些領(lǐng)域中都共享了一些專業(yè)化 LLMs 的通用應(yīng)用如（1）從領(lǐng)域特定的文本中識別實體、關(guān)系和事件，比如識別生物醫(yī)學(xué)文獻(xiàn)中的基因，或者檢測合同中的法律條款；（2）它們可以生成高質(zhì)量的領(lǐng)域特定內(nèi)容，并創(chuàng)建復(fù)雜領(lǐng)域特定文本的準(zhǔn)確摘要；（3）它們可以分析領(lǐng)域特定的數(shù)據(jù)以進(jìn)行預(yù)測和提供推薦，比如預(yù)測金融趨勢或建議個性化的醫(yī)療治療方案；（4）它們可以基于自然語言描述生成或分析代碼，識別錯誤，或者建議改進(jìn)。

領(lǐng)域?qū)ｉT化的特殊挑戰(zhàn)

在探索了當(dāng)前大型語言模型領(lǐng)域?qū)I(yè)化的方法后，必須承認(rèn)，盡管這個領(lǐng)域已經(jīng)取得了重大進(jìn)展，但仍存在一些開放的挑戰(zhàn)。這些挑戰(zhàn)進(jìn)入到所有類別的模型中，不論它們的可訪問性或用于專業(yè)化的具體技術(shù)如何。當(dāng)我們努力創(chuàng)建可以有效理解和生成領(lǐng)域特定內(nèi)容的 LLMs 時，正是這些挑戰(zhàn)將決定這個領(lǐng)域研究的未來走向。

• 領(lǐng)域復(fù)雜性：每個領(lǐng)域都有其獨(dú)特且復(fù)雜的特性，如專業(yè)詞匯、術(shù)語及知識結(jié)構(gòu)。如法律或醫(yī)學(xué)領(lǐng)域，其語言及術(shù)語十分特定，遵循一定的語法規(guī)則。這種復(fù)雜性擴(kuò)展到領(lǐng)域內(nèi)不同實體和概念之間的關(guān)系。準(zhǔn)確地理解和建模這種錯綜復(fù)雜的領(lǐng)域知識對所有類型的模型都是一個重大的挑戰(zhàn)。
• 平衡一般知識和領(lǐng)域知識：LLM 在需要理解特定領(lǐng)域特點的同時，也需要保持其一般知識以提供上下文適當(dāng)?shù)捻憫?yīng)。如果一個模型過度專業(yè)化，它可能在目標(biāo)領(lǐng)域內(nèi)表現(xiàn)出色，但無法理解或生成與該領(lǐng)域外的提示相關(guān)的連貫響應(yīng)。相反，保留太多的一般知識可能會稀釋領(lǐng)域特定的響應(yīng)。在一般知識和領(lǐng)域知識之間尋找平衡是一項復(fù)雜的任務(wù)。
• 適應(yīng)領(lǐng)域演化：領(lǐng)域并不是靜態(tài)的；隨著新術(shù)語、概念和趨勢的出現(xiàn)，它們會隨著時間的推移而演化。例如，正在進(jìn)行的 COVID-19 大流行引入了一系列新的醫(yī)學(xué)術(shù)語和概念。因此，專門針對某一領(lǐng)域的 LLM 必須不斷適應(yīng)這些變化以保持相關(guān)性和有效性。設(shè)計能夠跟上其專業(yè)領(lǐng)域不斷演變的模型是一項具有挑戰(zhàn)性的任務(wù)。
• 可擴(kuò)展性：領(lǐng)域?qū)I(yè)化通常涉及使用領(lǐng)域特定數(shù)據(jù)對 LLM 進(jìn)行訓(xùn)練或微調(diào)，編制特定提示，或使用其他領(lǐng)域特定資源。雖然這對一些領(lǐng)域來說可能是可行的，但將這個過程擴(kuò)展到覆蓋廣泛的領(lǐng)域，或處理大型、復(fù)雜的領(lǐng)域是一個重大的挑戰(zhàn)。它不僅涉及到計算資源，還涉及到領(lǐng)域特定數(shù)據(jù)和專業(yè)知識的可用性。挑戰(zhàn)在于創(chuàng)建能夠擴(kuò)展到覆蓋許多不同領(lǐng)域的領(lǐng)域?qū)I(yè)化的有效和有效的方法。

未來研究方向

當(dāng)我們在繪制大型語言模型專業(yè)化的前沿時，不僅需要構(gòu)建并改進(jìn)現(xiàn)有的黑箱、灰箱和白箱方法，還需要預(yù)見并探索有可能超越這些傳統(tǒng)方法的創(chuàng)新和開創(chuàng)性的技術(shù)。利用 AI 技術(shù)的快速發(fā)展和對 LLMs 的深入理解，我們可以設(shè)想到未來會出現(xiàn)新的技術(shù)，推動領(lǐng)域?qū)I(yè)化可能的邊界，提供更高的性能，更大的靈活性，以及資源的更高效利用。以下是一些關(guān)鍵的方向：

• 混合方法：這可能涉及根據(jù)階段或特定需求組合多種方法。例如，一個模型可能以黑箱方法開始，利用外部資源來增強(qiáng) input Prompt，然后進(jìn)一步利用梯度或損失值來改進(jìn)提示的灰箱方法，最后采用 White-Box 方法根據(jù)已學(xué)習(xí)的策略和反饋來對模型進(jìn)行微調(diào)。這種混合方法可以平衡資源需求和模型性能，并且在處理稀缺領(lǐng)域特定數(shù)據(jù)時可能特別有效。
• 元學(xué)習(xí)或 AutoML 技術(shù)：AutoML 或元學(xué)習(xí)策略可以用來自動化選擇領(lǐng)域?qū)I(yè)化的最佳策略的過程。例如，一個元學(xué)習(xí)方法可能會學(xué)習(xí)一種策略來選擇微調(diào)的最佳數(shù)據(jù)，最佳的提示工程技術(shù)，或者對于給定領(lǐng)域來說最佳的微調(diào)層次，這都是基于以前對類似領(lǐng)域的經(jīng)驗。從而大大減少領(lǐng)域?qū)I(yè)化所需的資源和專業(yè)知識，并可能導(dǎo)致更有效的方法。
• 加入更明確的世界知識：未來的 LLMs 可能不僅依賴于基于文本的預(yù)訓(xùn)練，而是利用結(jié)構(gòu)化的知識源，如知識圖譜，來增強(qiáng)它們對領(lǐng)域的理解。這可能涉及操作圖結(jié)構(gòu)數(shù)據(jù)的圖神經(jīng)網(wǎng)絡(luò)或注意力機(jī)制等技術(shù)。例如，一個醫(yī)學(xué) LLM 可以從醫(yī)學(xué)本體圖譜中獲得知識，以更好地理解各種醫(yī)學(xué)術(shù)語和概念之間的關(guān)系。在那些可以獲得明確結(jié)構(gòu)化知識的領(lǐng)域，這可能會導(dǎo)致輸出更準(zhǔn)確和更具信息性。
• 人在循環(huán)中的學(xué)習(xí)：這涉及從人類用戶或?qū)＜夷抢镞M(jìn)行持續(xù)的互動和反饋，以指導(dǎo)模型的學(xué)習(xí)過程。例如，一個法律 LLM 可以根據(jù)使用模型的法律專業(yè)人員的反饋進(jìn)行持續(xù)的更新。這種反饋可以以額外的訓(xùn)練數(shù)據(jù)的形式加入，或者作為強(qiáng)化學(xué)習(xí)框架中模型的獎勵函數(shù)的改變，或者對模型的提示進(jìn)行修改。這可能會導(dǎo)致一個更動態(tài)、更適應(yīng)的模型，可以隨著用戶的需求和知識的進(jìn)步而進(jìn)化。

小結(jié)

LLMs 的快速發(fā)展已經(jīng)引發(fā)了在各種自然和社科領(lǐng)域利用其潛力來解決領(lǐng)域特定任務(wù)的重大興趣。然而，一些挑戰(zhàn)，如有限的領(lǐng)域特定專業(yè)知識，知識誘導(dǎo)和模型復(fù)雜性，阻礙了在這些領(lǐng)域直接應(yīng)用 LLMs。這篇綜述系統(tǒng)地分類和總結(jié)了現(xiàn)有的領(lǐng)域?qū)I(yè)化技術(shù)，這些技術(shù)基于對 LLMs 的訪問級別，同時提供了一個全面的概述，說明哪些應(yīng)用領(lǐng)域可以從專業(yè)化的 LLMs 中受益。通過提供不同技術(shù)和領(lǐng)域的優(yōu)點、缺點和關(guān)系的詳細(xì)分析，這篇綜述旨在幫助領(lǐng)域?qū)＜易R別適合他們目標(biāo)問題設(shè)置的技術(shù)，并提供了對各種應(yīng)用領(lǐng)域?qū)嶋H意義和開放挑戰(zhàn)的清晰理解。此外，本文強(qiáng)調(diào)了這個領(lǐng)域的研究現(xiàn)狀，闡明了未來的趨勢和跨學(xué)科合作的可能途徑。