隨著最近應用迅速普及開來、人工智能（AI）得到廣泛采用，大語言模型（LLM）已變得備受廣大公司企業(yè)、開發(fā)人員和非開發(fā)人員的歡迎，因為它們?yōu)橛脩籼峁┝酥T多好處。它們幫助開發(fā)人員調試代碼并生成代碼片段，還幫助澄清看似復雜的編程概念和任務，從而提高生產(chǎn)力。

只要用于訓練的數(shù)據(jù)集涵蓋主題，使用LLM的非開發(fā)人員就可以受益于對問題做出快速且定制的響應和答復。

LLM簡介

大語言模型（LLM）是能夠理解和生成文本以及處理其他任務的AI模型。它們使用龐大的數(shù)據(jù)集加以訓練，所以它們被稱為“大語言模型”。

Transformer算法是訓練LLM所使用的主要算法。LLM高度依賴數(shù)據(jù)，模型的質量與用于訓練模型的數(shù)據(jù)的質量成正比。

LLM的實際應用

LLM被廣泛應用于各種應用領域，包括但不限于：

• 客戶支持服務

LLM被公司企業(yè)用來以自然流暢的方式為客戶的常見問題提供量身定制的回答。由于具有多語言功能，LLM可以理解和回答使用不同語言的查詢，這可以惠及不同國籍的客戶。

• 內容生成

LLM具有生成能力。它們可以根據(jù)用戶提示或輸入生成文本內容，比如詩歌、商業(yè)提案和電子郵件等。然而，一些生成的內容可能不正確、過時或不道德。始終建議對LLM生成的內容進行驗證。

• 情緒分析

LLM可以分析文本的情感和語氣。企業(yè)以多種方式使用這種能力。比如說，它們對客戶反饋進行情緒分析，以確定滿意度。

• 幫助研究

LLM可以幫助用戶研究新的課程或概念，生成學習路線圖，并在遇到挑戰(zhàn)時解釋低級概念。

• 醫(yī)療保健

LLM用于醫(yī)療保健管理、衛(wèi)生人員支持、研究用途以及在沒有醫(yī)療人員在場的情況下對患者提供虛擬幫助。用于醫(yī)療保健領域的這些LLM使用經(jīng)過驗證的龐大醫(yī)療數(shù)據(jù)集、文獻甚至新的發(fā)現(xiàn)成果加以訓練。

• 搜索引擎

傳統(tǒng)的搜索引擎基于關鍵字算法，這使得它們在處理拼寫錯誤以及理解人類語言、上下文和意圖方面的效率略低于LLM。然而隨著LLM目前被用于搜索引擎，這種情況已發(fā)生了變化，搜索引擎能夠更有效地返回搜索結果。

在現(xiàn)有軟件系統(tǒng)中集成LLM的方法

明確目的是成功地將LLM集成到現(xiàn)有軟件系統(tǒng)中的關鍵；這樣，可以實施正確的方法來克服挑戰(zhàn)，又不會造成額外的開銷。

以下是將LLM集成到現(xiàn)有軟件系統(tǒng)中的建議步驟：

1. 選擇合適的LLM或API提供商

根據(jù)業(yè)務需求、技術團隊具備的技能、時間限制以及針對某些技術的熟悉程度，可以選擇合適的預訓練模型進行集成。在選擇要集成到項目中的模型時，還應該考慮其他因素，比如模型的準確性、模型延遲、可擴展性以及運行模型的成本。

下面列出了一些可用的選項和相關鏈接：

• OpenAI API提供了對GPT-3和GPT-4模型的訪問：??https://platform.openai.com/docs/models??
• Azure認知服務：??https://azure.microsoft.com/en-us/services/cognitive-services/openai-service/??
• Facebook的LlaMA：??https://ai.meta.com/blog/large-language-model-llama-meta-ai/??
• 谷歌的BERT：??https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/??
• Hugging Face
• 自定義訓練LLM（這可以通過使用PyTorch、TensorFlow或Hugging Face的Transformers等框架使用可用數(shù)據(jù)集以訓練模型來實現(xiàn)）。

2. 選擇所需的集成機制

LLM可以通過針對公開可用的模型、托管的微調模型或任何滿足你需求的模型進行API調用加以集成。通過針對公共模型的API調用加以集成始終是更容易的選擇。

你只需要操心通過API密鑰獲得訪問的成本，不必擔心基礎設施或軟件更新；LLM API提供商會為你處理所有這一切。

托管自定義LLM便于你微調和利用滿足特定業(yè)務需求的模型。托管你的自定義模型可以讓你控制成本和性能，并且與公共API服務相比，它還提供了隱私。

在托管自定義模型時，你需要做以下工作：

• 從Hugging Face之類的存儲庫選擇并下載公開可用的或開源的預訓練LLM，比如GPT2、GPT3、BERT甚至T5。
• 根據(jù)你的特定數(shù)據(jù)集對模型進行微調，以便與你的用例或應用場景保持一致；這樣，響應針對特定領域進行定制，從而使模型更有效（可選步驟）。

3. 搭建基礎設施

如果你決定自行托管自定義模型而不是使用公共API服務，這個步驟必不可少。托管LLM需要擁有強大算力的硬件，因此最好使用搭載GPU的硬件以獲得更好的性能。

可用于托管LLM的兩個選項是：

• 自托管（本地）
• 云托管

4. 服務模型

Flask或FastApi是連接和服務LLM模型最常用的兩種后端框架。你可以使用其中任何一種與LLM交互并返回響應。

如果你不想處理硬件購買、冷卻、維護、軟件升級及其他相關任務，可以選擇云托管這個選項。這涉及使用基于云GPU的虛擬機來部署LLM。Azure、AWS或谷歌云等云提供商提供了良好的服務。

5. 處理數(shù)據(jù)

確保發(fā)送到LLM的數(shù)據(jù)得到正確的清理和標記，以便更好地理解模型并提高響應質量。

6. 錯誤處理

建立允許“優(yōu)雅退化”的機制。無論何時發(fā)生錯誤，都可以返回默認響應，而不是讓整個應用程序崩潰。

7. 安全/隱私方面的考量

模型在進行推理時不能暴露敏感信息，因此必須采取措施以保證重要信息的隱蔽性。

將LLM集成到軟件系統(tǒng)中的缺點

盡管將LLM集成到現(xiàn)有軟件中有諸多優(yōu)點，但也有一些缺點值得注意和考慮。

• 由于嚴重依賴高端GPU和TPU，訓練模型和模型推理期間需要計算成本。
• 頻繁調用API可能成本高昂，對于高流量應用而言更是如此。
• 如果將敏感數(shù)據(jù)發(fā)送到LLM，敏感數(shù)據(jù)可能會加以處理、存儲和暴露給另一個用戶，特別是當所使用的LLM可供公眾訪問時。
• 除了適當微調的自定義模型外，大多數(shù)LLM只能提供開放式和通用的響應，而無法提供專業(yè)領域知識。
• 訓練LLM需要消耗大量能源，這可能導致碳排放量高和環(huán)境污染。

結論

如果操作得當，將LLM集成到現(xiàn)有軟件系統(tǒng)中大有助益，Meta、谷歌和X等許多知名的科技公司已經(jīng)這么做了。它使軟件智能化，能夠解決當代的復雜任務。

在將現(xiàn)有的軟件與LLM集成之前，你必須先定義希望它解決的問題和具體用例，然后選擇合適的模型，并采用集成機制。

原文標題：??Integrating Language Models into Existing Software Systems??，作者：Shittu Olumide