譯者 | 布加迪

審校 | 重樓

微服務(wù)架構(gòu)便于創(chuàng)建邊界明確定義的靈活獨(dú)立服務(wù)。這種可擴(kuò)展的方法使開發(fā)人員能夠在不影響整個(gè)應(yīng)用程序的情況下單獨(dú)維護(hù)和完善服務(wù)。然而，若要充分發(fā)揮微服務(wù)架構(gòu)的潛力、特別是針對(duì)基于人工智能的聊天應(yīng)用程序，需要與最新的大語言模型（LLM，比如Meta LLama V2和OpenAI的ChatGPT）以及基于各種應(yīng)用程序用例發(fā)布的其他經(jīng)過微調(diào)的LLM進(jìn)行強(qiáng)大的集成，從而為多樣化的解決方案提供多模型方法。

LLM是大規(guī)模模型，可以基于不同數(shù)據(jù)訓(xùn)練生成類似人類的文本。通過從互聯(lián)網(wǎng)上數(shù)十億的單詞中學(xué)習(xí)，LLM了解上下文并生成不同領(lǐng)域的調(diào)整后內(nèi)容。然而，由于需要獨(dú)特的接口、訪問端點(diǎn)和每個(gè)模型的特定載荷，將各種LLM集成到單個(gè)應(yīng)用程序中常常帶來挑戰(zhàn)。因此，擁有可以處理各種模型的單一集成服務(wù)就能改進(jìn)架構(gòu)設(shè)計(jì)，并加大獨(dú)立服務(wù)的規(guī)模。

本教程將介紹使用Node.js和Express在微服務(wù)架構(gòu)中針對(duì)LLama V2和ChatGPT的IntelliNode集成。

聊天機(jī)器人集成選項(xiàng)

以下是IntelliNode提供的幾個(gè)聊天集成選項(xiàng)：

1. LLama V2：您可以通過Replicate的API集成LLama V2模型，以實(shí)現(xiàn)簡單的流程，也可以通過AWS SageMaker主機(jī)集成LLama V2模型，以實(shí)現(xiàn)額外的控制。

LLama V2是一種功能強(qiáng)大的開源LLM，它已經(jīng)過預(yù)訓(xùn)練，并使用多達(dá)700億個(gè)參數(shù)進(jìn)行了微調(diào)。它擅長處理眾多領(lǐng)域的復(fù)雜推理任務(wù)，包括編程和創(chuàng)意寫作等專業(yè)領(lǐng)域。它的訓(xùn)練方法包括自我監(jiān)督數(shù)據(jù)，并通過從人類反饋中強(qiáng)化學(xué)習(xí)（RLHF）與人類偏好保持對(duì)齊。LLama V2超越了現(xiàn)有的開源模型，在易用性和安全性方面可與ChatGPT和BARD等閉源模型相媲美。

2. ChatGPT：通過簡單地提供OpenAI API密鑰，IntelliNode模塊允許在簡單的聊天界面中與模型集成。您可以通過GPT 3.5或GPT 4模型訪問ChatGPT。這些模型已使用了大量數(shù)據(jù)進(jìn)行訓(xùn)練，并經(jīng)過微調(diào)，以提供與上下文高度相關(guān)的、準(zhǔn)確的響應(yīng)。

逐步集成

不妨從初始化一個(gè)新的Node.js項(xiàng)目開始。打開終端，瀏覽到項(xiàng)目所在目錄，然后運(yùn)行以下命令：

npm init -y

這個(gè)命令將為您的應(yīng)用程序創(chuàng)建一個(gè)新的“package.json”文件。

接下來，安裝Express.js，它將用于處理HTTP請(qǐng)求和響應(yīng)以及用于LLM模型連接的intellinode：

npm install express
npm install intellinode

安裝完成后，在項(xiàng)目的根目錄下創(chuàng)建一個(gè)名為“app.js”的新文件，然后，在“app.js”中添加express初始化代碼。

使用Replicate的API集成LLama V2

通過API密鑰，Replicate提供了與LLama V2快速集成的路徑，IntelliNode提供了聊天機(jī)器人接口，將您的業(yè)務(wù)邏輯與Replicate后端實(shí)現(xiàn)分離，允許您在不同的聊天模型之間切換。

不妨從與托管在Replica后端的LLama集成開始：

從replicate.com獲取試用密鑰以激活集成。

使用AWS SageMaker集成LLama V2

現(xiàn)在介紹通過AWS SageMaker集成LLama V2，提供隱私和額外的控制層。

集成需要從您的AWS帳戶生成API端點(diǎn)，首先我們將在微服務(wù)應(yīng)用程序中設(shè)置集成代碼：

下列步驟是在您的帳戶中創(chuàng)建一個(gè)LLama端點(diǎn)，一旦您設(shè)置了API網(wǎng)關(guān)，復(fù)制用于運(yùn)行“/LLama /aws”服務(wù)的URL。

在您的AWS帳戶中設(shè)置LLama V2端點(diǎn)：

1.SageMaker服務(wù)：從您的AWS帳戶中選擇SageMaker服務(wù)，然后點(diǎn)擊域。

2.創(chuàng)建SageMaker域：先在您的AWS SageMaker上創(chuàng)建一個(gè)新域。這一步為您的SageMaker操作建立了受控空間。

3.部署LLama模型：利用SageMaker JumpStart來部署計(jì)劃集成的LLama模型。建議從2B模型開始，因?yàn)檫\(yùn)行70B模型的每月成本較高。

4.復(fù)制端點(diǎn)名稱：一旦您已部署了模型，確保注意端點(diǎn)名稱，這對(duì)后面的步驟至關(guān)重要。

5.創(chuàng)建Lambda函數(shù)：AWS Lambda允許運(yùn)行后端代碼而無需管理服務(wù)器。創(chuàng)建一個(gè)Node.js lambda函數(shù)，用于集成部署的模型。

6.設(shè)置環(huán)境變量：在Lambda中創(chuàng)建一個(gè)名為LLama_endpoint的環(huán)境變量，附有SageMaker端點(diǎn)的值。

7.Intellinode Lambda導(dǎo)入：您需要導(dǎo)入準(zhǔn)備好的Lambda zip文件，該文件建立到SageMaker LLama部署的連接。這個(gè)導(dǎo)出是一個(gè)zip文件，可以在lambda_LLama_sagemaker目錄中找到。

8.API網(wǎng)關(guān)配置：點(diǎn)擊Lambda函數(shù)頁面上的“添加觸發(fā)器”選項(xiàng)，從可用觸發(fā)器列表中選擇“API網(wǎng)關(guān)”。

9.Lambda函數(shù)設(shè)置：更新Lambda角色以授予訪問SageMaker端點(diǎn)所需的權(quán)限。此外，應(yīng)該延長函數(shù)的超時(shí)時(shí)間以適應(yīng)處理時(shí)間。可以在Lambda函數(shù)的“Configuration”選項(xiàng)卡中進(jìn)行這些調(diào)整。

點(diǎn)擊角色名稱以更新權(quán)限，并提供訪問SageMaker的權(quán)限：

ChatGPT集成

最后，我們將闡述集成Openai ChatGPT、作為微服務(wù)架構(gòu)中另一個(gè)選項(xiàng)的步驟：

從platform.openai.com獲取試用密鑰。

進(jìn)行實(shí)驗(yàn)

先在終端中導(dǎo)出API密鑰，如下所示：

然后運(yùn)行node應(yīng)用程序：

node app.js

在瀏覽器中輸入以下url以測(cè)試chatGPT服務(wù)：

http://localhost:3000/chatgpt?message=hello

我們構(gòu)建了一個(gè)微服務(wù)，基于LLama V2和OpenAI的ChatGPT等LLM具有的功能。這種集成為充分利用基于高級(jí)AI的無數(shù)業(yè)務(wù)場(chǎng)景打開了大門。

通過將機(jī)器學(xué)習(xí)需求轉(zhuǎn)換成解耦的微服務(wù)，您的應(yīng)用程序可以獲得靈活性和可擴(kuò)展性的好處。不用配置您的操作，以適應(yīng)整體式模型的約束，語言模型功能現(xiàn)在可加以單獨(dú)管理和開發(fā)，這有望提高效率，更容易進(jìn)行故障排查和升級(jí)管理。

原文標(biāo)題：Building Microservice for Multi-Chat Backends Using LLama and ChatGPT，作者：Ahmad Albarqawi