本文是AI LLM框架架構(gòu)序列的第二篇：通信模塊

人工智能（AI）框架日益受到歡迎，因?yàn)樗鼈兒?jiǎn)化了智能應(yīng)用和代理的構(gòu)建過程。這些框架的一個(gè)關(guān)鍵組成部分是通信模塊，它允許用戶與AI系統(tǒng)之間的互動(dòng)。

“溝通是人生中最重要的技能。” —— 史蒂芬·R·科維

1、通信模塊 —— AI與外界交流的橋梁

試想你正在和一個(gè)朋友交談。你說話，你的朋友仔細(xì)聽，處理你說的內(nèi)容，思考回應(yīng)，然后大聲回答。

現(xiàn)在想象用一個(gè)人工智能系統(tǒng)來替代你的朋友。AI如何接收你的話并智能地回應(yīng)你呢？這就是通信模塊的作用 —— 它充當(dāng)AI對(duì)外界的橋梁。

通信模塊負(fù)責(zé)無縫地將AI模型與用戶接口相連接。就像兩個(gè)說不同語言的人之間的翻譯一樣，該模塊通過將輸入和輸出轉(zhuǎn)化為雙方都能理解的形式來實(shí)現(xiàn)互動(dòng)。

具體來說，通信模塊承擔(dān)了幾個(gè)關(guān)鍵角色：

• 輸入：模塊從各種形式如文本、聲音、圖像等接收輸入。它可能使用ASR來處理口語，或使用計(jì)算機(jī)視覺算法來解讀照片。
• 理解：接下來，它分析輸入并將其轉(zhuǎn)化為AI模型能夠理解的標(biāo)準(zhǔn)格式，使用諸如自然語言處理的技術(shù)。
• 路由：處理過的輸入被引導(dǎo)至AI模型的相關(guān)部分。
• 生成回應(yīng)：AI模型確定一個(gè)合適的回應(yīng)，并發(fā)送回通信模塊。
• 輸出：回應(yīng)被轉(zhuǎn)化為自然的、人類可讀的語言或其他適當(dāng)?shù)母袷?。這可能依賴于TTS、會(huì)話代理、文本格式化等技術(shù)。
• 合成：最后，通過適當(dāng)?shù)耐ㄐ徘老蛴脩粽故据敵?，例如通過語音助手大聲說出。

通信模塊使AI系統(tǒng)能夠通過我們首選的溝通媒介與人類進(jìn)行實(shí)時(shí)對(duì)話。其在輸入、輸出和集成方面的多方面角色使它成為AI難題中的關(guān)鍵部分。

2、通過實(shí)際例子理解通信模塊

為了更好地理解通信模塊的角色和價(jià)值，讓我們看一些實(shí)際的例子：

AI銷售助手

“這是一個(gè)工具，它時(shí)刻觀察潛在的客戶，分析他們業(yè)務(wù)的具體內(nèi)容，并準(zhǔn)備由決策層批準(zhǔn)的銷售提案。這類AI助手應(yīng)該尋找關(guān)系和聯(lián)系，以實(shí)現(xiàn)首次銷售接觸?！?/p>

管理這樣的助手可以通過兩個(gè)渠道來完成：

• 公司的CRM系統(tǒng)：其中一個(gè)引導(dǎo)機(jī)制將與應(yīng)用和AI助手集成。員工將通過表格和按鈕來處理交互。
• 利用公司的即時(shí)通訊系統(tǒng)上的討論：為與AI助手互動(dòng)而設(shè)立的專用渠道。

AI 知乎討論摘要應(yīng)用

“一個(gè)智能應(yīng)用，應(yīng)能夠分析知乎上的討論，總結(jié)結(jié)論、任務(wù)、負(fù)責(zé)人和下一步的步驟?！?/p>

服務(wù)臺(tái)AI助手

“一個(gè)AI應(yīng)用程序，是處理服務(wù)臺(tái)請(qǐng)求時(shí)的第一級(jí)支持。它可以接收用戶的請(qǐng)求，詢問附加問題，并根據(jù)公司的知識(shí)庫提供答案。如有必要，它可以將消息轉(zhuǎn)發(fā)給員工?！?/p>

在這種情況下，通信通常通過一個(gè)專用的服務(wù)臺(tái)系統(tǒng)進(jìn)行，任務(wù)在其中被創(chuàng)建。對(duì)于通信模塊，新增請(qǐng)求或增加評(píng)論會(huì)通過API生成一個(gè)新消息發(fā)送給應(yīng)用程序，而通過API報(bào)告的回應(yīng)會(huì)是請(qǐng)求者評(píng)論中的回應(yīng)。

網(wǎng)頁實(shí)時(shí)聊天AI應(yīng)用

“近期非常受歡迎的解決方案 —— 放置在網(wǎng)站頁面上的聊天框。在這種情況下，AI可以自動(dòng)化首次接觸，根據(jù)組織的知識(shí)庫和程序提供答案，如有必要，將消息轉(zhuǎn)發(fā)給員工。”

在這種情況下，通信將通過一個(gè)外部系統(tǒng)和通過API的集成進(jìn)行。使用WebSocket或SSE技術(shù)將是有價(jià)值的。

3、與AI應(yīng)用的通信

通信是人工智能（AI）系統(tǒng)運(yùn)作的基石。就像人與人之間的互動(dòng)，AI應(yīng)用理解請(qǐng)求并提供有意義的回應(yīng)的能力完全依賴于所使用的界面。因此，在設(shè)計(jì)一個(gè)AI系統(tǒng)時(shí)，選擇一個(gè)最佳的通信方式是至關(guān)重要的。

“我的語言的極限意味著我的世界的極限?！?—Ludwig Wittgenstein

常見的溝通界面

AI系統(tǒng)中常用的幾種通信界面包括：

• 聊天式 — 支持會(huì)話式互動(dòng)，例如聊天機(jī)器人。這里會(huì)使用NLP技術(shù)。
• 基于文檔 — 使用提供的文檔作為輸入數(shù)據(jù)。
• 基于圖像 — 分析如照片和視頻的視覺輸入。這里會(huì)使用CV技術(shù)。
• 基于文本 — 允許文本消息交換，例如通過聊天。這是一種簡(jiǎn)單直觀的交互方式。
• 基于語音 — 使用語音識(shí)別和合成技術(shù)與用戶進(jìn)行語音交流。
• 用戶界面 — 通過按鈕、菜單等圖形元素進(jìn)行交互。
• API — 允許系統(tǒng)間通信的編程界面。允許與現(xiàn)有系統(tǒng)集成。
• 通信協(xié)議 — 例如 MQTT、AMQP、HTTP、SMTP、IMAP等。這些是為系統(tǒng)互操作性制定的標(biāo)準(zhǔn)協(xié)議。

與現(xiàn)有系統(tǒng)的集成

通信模塊可以與組織現(xiàn)有的IT基礎(chǔ)設(shè)施集成。這使得AI應(yīng)用能夠通過既定的企業(yè)渠道進(jìn)行溝通，如客戶門戶或內(nèi)部聊天平臺(tái)。

4、通信模塊的要求

從之前的例子和關(guān)于通信流程的要求中，我們可以看出通信模塊需要具備一些關(guān)鍵能力：

“簡(jiǎn)單，是最高的巧妙。” — 萊昂納多·達(dá)·芬奇

易于擴(kuò)展

該解決方案應(yīng)使得添加新的通信方式變得簡(jiǎn)單，只需提供必要的接口即可。這樣就能輕易地添加如即時(shí)通訊軟件或智能客服這樣的新通道。

支持多渠道

考慮到現(xiàn)代的多用戶在線服務(wù)模式，這個(gè)模塊應(yīng)能同時(shí)連接不同的通信方式，并為每一種方式提供合適的設(shè)置和登陸信息。

協(xié)議中立

無論是REST APIs、消息隊(duì)列等，該模塊都應(yīng)能與其無縫配合。重要的是，它與特定的協(xié)議之間不應(yīng)有過于緊密的綁定。

5、開放且適用于大企業(yè)

除了滿足基礎(chǔ)需求外，還要能夠針對(duì)大公司的特定場(chǎng)景進(jìn)行定制，如增強(qiáng)的安全性、審計(jì)跟蹤、數(shù)據(jù)分析等。

解耦設(shè)計(jì)

這個(gè)通信模塊應(yīng)當(dāng)能簡(jiǎn)化各種通信方式的細(xì)節(jié)，把它們變得像常規(guī)的交互方式。系統(tǒng)里的其他部分不需要過多擔(dān)心通信的各種小問題。跟渠道交流需要的信息和工具應(yīng)當(dāng)在接收到的消息里都包含有。

異步和可靠

因?yàn)楝F(xiàn)在的語言模型反應(yīng)比較慢，通信要能異步進(jìn)行，不讓用戶等太久。這個(gè)模塊應(yīng)當(dāng)能快速告知用戶消息已收到，并保證消息傳送的靠譜性。

可擴(kuò)展和高性能

雖然一開始的小規(guī)模操作很簡(jiǎn)單，但當(dāng)越來越多人用的時(shí)候，難度就上來了。這個(gè)模塊要能隨時(shí)加大規(guī)模，不僅能應(yīng)對(duì)小應(yīng)用，還能處理大公司的大流量需求。

簡(jiǎn)單說，這個(gè)通信模塊既要簡(jiǎn)單易用，又要能擴(kuò)展功能。同時(shí)也得穩(wěn)定、不過于復(fù)雜，并隨時(shí)準(zhǔn)備上線。細(xì)致的設(shè)計(jì)和異步處理消息是實(shí)現(xiàn)這個(gè)目標(biāo)的關(guān)鍵。

6、總結(jié)

通信模塊就像是人和機(jī)器之間的翻譯員。人與人之間的交流如此重要，同樣，這個(gè)模塊在人和AI之間的交互中也起著關(guān)鍵作用。隨著AI越來越普及，好的通信模塊可以幫助人們更自然、順暢地使用這些智能系統(tǒng)。