導語：大模型技術(shù)正以前所未有的速度與各領(lǐng)域融合，為各行各業(yè)帶來變革，圍繞快手 B 端商業(yè)化的業(yè)務(wù)場景，本文詳細闡述了構(gòu)建基于 LLM 的 Agent 技術(shù)平臺的策略、挑戰(zhàn)及解決方案，為您帶來寶貴的見解與啟示。

一、大模型應用建設(shè)背景

快手商業(yè)化業(yè)務(wù)中臺，作為核心支撐，全面賦能內(nèi)部的一線銷售、運營團隊，以及外部的代理商和服務(wù)商。面對大模型技術(shù)的浪潮，我們精準捕捉智能化轉(zhuǎn)型的先機。面對眾多可選擇的技術(shù)路徑，經(jīng)過我們進行了深入剖析與審慎考量，最終決定將戰(zhàn)略重心聚焦于 RAG 與 Agent 技術(shù)的研發(fā)與應用。

RAG，作為我們的助手，通過檢索、增強與生成三大環(huán)節(jié)的緊密協(xié)作，精準匹配并高效解決用戶查詢，顯著提升信息處理的效率與質(zhì)量。而 Agent 技術(shù)，則扮演著智能體的角色，它不僅具備高度的自主性與交互能力，還能在復雜多變的業(yè)務(wù)環(huán)境中靈活應對，執(zhí)行多樣化的任務(wù)。

在這一過程中，我們果斷舍棄了與當前業(yè)務(wù)場景關(guān)聯(lián)度不高或短期內(nèi)難以產(chǎn)生顯著效益的技術(shù)方向，如 AIGC 的某些特定應用、過于細分的垂直領(lǐng)域探索等，以確保資源能夠集中投入到 RAG 與 Agent 技術(shù)的深耕細作之中。通過此次聚焦，我們能夠加速推動快手商業(yè)化業(yè)務(wù)的智能化進程，為一線團隊提供更加智能、高效、便捷的工作體驗，同時也為公司創(chuàng)造更加卓越的商業(yè)價值與社會效益。

::: hljs-center

快手商業(yè)化 B 端業(yè)務(wù)場景

:::

二、SalesCopilot 技術(shù)平臺的誕生與演進

SalesCopilot 平臺誕生的背景

在當前的商業(yè)環(huán)境中，銷運團隊作為企業(yè)連接市場與客戶的橋梁，面臨著眾多挑戰(zhàn)。然而，隨著業(yè)務(wù)規(guī)模擴大，一系列痛點逐漸顯現(xiàn)，亟待通過產(chǎn)品建設(shè)來加以解決。

• 知識碎片化：業(yè)務(wù)多元化發(fā)展，各類重要產(chǎn)品知識、營銷通案、政策、流程文檔等關(guān)鍵信息，往往未能有效整合零散地分布在不同的團隊或個人手中，進而導致信息獲取不便利。

• 問題解決慢：在日常工作中，銷運團隊需要與多個部門或團隊進行協(xié)作。然而，由于架構(gòu)和人員的變動，當面臨問題時無法快速定位到對接人，加之人工響應的時效性難以保證，這進一步加劇了問題解決效率。

• 銷運支持資源有限：即便增加人力也無法趕上日益增長的業(yè)務(wù)需求，且寶貴的經(jīng)驗與專業(yè)知識難以得到有效傳播與深入交流。

針對上述痛點，快手商業(yè)化團隊急需開發(fā)一款集知識管理、團隊協(xié)作與智能答疑于一體的產(chǎn)品?；诖?，第一個應用銷幫幫智能客服應運而生。在智能化升級的過程中，我們逐步沉淀打造了 SalesCopilot 技術(shù)平臺。在項目的推進過程中，逐漸意識到，通過實踐積累經(jīng)驗，我們有能力并且有責任構(gòu)建一個能夠支撐多元化智能應用的技術(shù)底座。因此，我們采取了雙軌并行的策略：一方面，持續(xù)孵化并優(yōu)化智能客服等應用，另一方面，則為技術(shù)平臺的 SaaS 架構(gòu)布局打下堅實基礎(chǔ)。

SalesCopilot 系統(tǒng)架構(gòu)

下圖為 SalesCopilot 系統(tǒng)架構(gòu)圖，它展現(xiàn)了我們這一愿景的具體實現(xiàn)路徑，其概括為“三橫一縱”。

::: hljs-center

SalesCopilot 技術(shù)平臺

:::

在“三橫”結(jié)構(gòu)中，最底層且最為核心的是 AI 引擎層，這一層是技術(shù)平臺的智慧大腦，集成了 RAG 等前沿技術(shù)，實現(xiàn)了知識的檢索、增強與生成，為上層應用提供了強大的智能支撐。同時，業(yè)務(wù)意圖（Agent）模塊作為橋梁，精準對接業(yè)務(wù)需求與底層 AI 能力，確保系統(tǒng)的靈活性與適應性。此外，效果評測中心及語義向量相關(guān)組件的加入，進一步提升了 AI 引擎的性能與精確度。

第二層是 ChatHub 層，它專注于智能客服場景，提供了一個可擴展的框架，用于集成并優(yōu)化多種智能客服能力。這一設(shè)計既滿足了當前業(yè)務(wù)需求，更為未來功能的拓展預留了充足空間。最上層則是業(yè)務(wù)應用層，它以租戶為核心，實現(xiàn)了數(shù)據(jù)的個性化隔離與業(yè)務(wù)的靈活定制。每個租戶都能在此層構(gòu)建自己的專屬應用，享受定制化的智能服務(wù)。而“一縱”則是指貫穿于整個架構(gòu)的插件框架與多租戶框架。這兩個框架構(gòu)成了 SalesCopilot 平臺化的基石，它們不僅保障了系統(tǒng)的穩(wěn)定性與可擴展性，還使得平臺能夠輕松應對多業(yè)務(wù)、多場景的挑戰(zhàn)，為技術(shù)的長遠發(fā)展奠定了基礎(chǔ)。

深入淺出 AI 引擎的 RAG 技術(shù)

LLM 的局限性

RAG 是在大模型應用后，很快被大家識別和接受的技術(shù)范式，其獨特之處在于對大型語言模型局限性的有效彌補，以下是大模型的局限性：

• 幻覺問題：在自由生成文本時，可能產(chǎn)生與現(xiàn)實不符的“幻覺”內(nèi)容，影響信息的準確性。
• 知識時效性問題：模型訓練成本高昂，且知識庫難以實時更新，導致對新信息的反應滯后。
• 記憶容量局限：無狀態(tài) chat 服務(wù)，prompt 長度有限，當前模型難以保留長記憶。
• 數(shù)據(jù)安全問題：私域數(shù)據(jù)參與訓練存在不可控安全隱患。

::: hljs-center

大模型的優(yōu)勢與局限性

:::

RAG 技術(shù)鏈路

RAG 技術(shù)鏈路分為離線與在線兩大核心部分：

離線鏈路：此部分包括知識構(gòu)建與知識預處理，而知識構(gòu)建與運營是 RAG 運轉(zhuǎn)的基礎(chǔ)。構(gòu)建技術(shù)鏈路只是起點，若缺乏專業(yè)團隊對知識庫進行持續(xù)運營、質(zhì)量把控及規(guī)模擴張，就如同汽車缺乏燃油難以馳騁。知識預處理則包括切片、Embedding 等常規(guī)操作，以及快手特有的知識下鉆能力，該能力能夠深入挖掘知識間的關(guān)聯(lián)，由于快手大部分知識都是以云文檔的格式存在的，且包括對內(nèi)、對外兩種形式，彼此引用與擴展。通過快手自研的知識下鉆技術(shù)，將原本看似獨立的 200 篇文檔擴展至 1000 余篇，極大地豐富了知識庫的廣度和深度。通過 GraphRAG 本地化實踐，融合 LLM 技術(shù)與圖譜技術(shù)，提升了跨 chunk 和跨文檔的全局知識問答效果。離線鏈路還包含多路召回（向量檢索、ES 檢索、GraphRAG）的強語義知識索引建構(gòu)，為在線鏈路的業(yè)務(wù)效果提供索引數(shù)據(jù)支撐。

在線鏈路：作為 RAG 技術(shù)的核心執(zhí)行部分，在線鏈路由檢索（R）、向量召回（A）與生成（G）三大環(huán)節(jié)緊密組成。自多路召回策略上線以來，其效果在向量匹配上已實現(xiàn)了顯著提升，高達 70%的增幅，然而，隨著用戶需求的日益多樣化與復雜化，對 Query 的深入理解與優(yōu)化成為了新的挑戰(zhàn)。用戶提問的隨意性與不可預測性，倒逼我們不斷調(diào)整 Query 解析策略，提升系統(tǒng)對追問、反問等復雜場景的應對能力，而這些能力會慢慢成為引導這個系統(tǒng)進一步發(fā)展的關(guān)鍵點。

::: hljs-center

RAG 技術(shù)鏈路

:::

業(yè)務(wù)中的實際應用

在實際應用中，銷幫幫智能客服在 12 個直客行業(yè)和渠道業(yè)務(wù)部中，銷售人員覆蓋率達到 42.8%。在知識管理方面，更是實現(xiàn)了質(zhì)的飛躍。原本由五人維護的 270 余篇知識文檔，在銷幫幫的助力下，下鉆擴展至 1000 余篇，知識庫的豐富度與深度均得到了明顯提升。此外，機器人的攔截率達到 78%左右。多路召回和精排應用實施后，效果提升非常顯著，在評測階段，知識問答平均分百分比提升了 70.68%。

在業(yè)務(wù)實踐中，不可避免地會遭遇諸多挑戰(zhàn)，這些挑戰(zhàn)可大致歸為以下幾大類：

首先，RAG 系統(tǒng)本身便蘊含著復雜性與深度。用戶的提問往往泛化而不明確，這類提問初看之下或被視為不佳案例（Bad Case），但深入分析后，實則發(fā)現(xiàn)了模型需要增加追問和問題分類理解能力。漏召回與回答準確率的不足，則可通過引入多路召回與精排策略得以有效緩解，進而提升系統(tǒng)性能。最后是領(lǐng)域“黑話”帶來的問題，要求我們在垂直領(lǐng)域內(nèi)深耕細作，積累專業(yè)知識。

大模型雖強，卻也并非無所不能。其總結(jié)能力的不穩(wěn)定性便是一大痛點，需通過精細調(diào)整 Prompt 來優(yōu)化。在此過程中，確保擁有可靠的評測工具至關(guān)重要，它能確保每次調(diào)整都能帶來正面效果，避免在解決一個問題時引入新的問題，導致原本表現(xiàn)良好的案例（Good Case）反遭損害。同時，大模型在處理長上下文時的局限性也需我們關(guān)注，嘗試有限多輪對話的優(yōu)化路徑，以更貼近用戶的真實使用場景。

最后是用戶需求和當前功能的不匹配。我們發(fā)現(xiàn)了一個顯著的趨勢：用戶在與客服交互時，越來越多地采用先圖片后提問的方式。這一現(xiàn)象則揭示了用戶對于多模態(tài)交互的強烈需求。當前功能的局限性與用戶日益增長的多元化需求之間，形成了一道亟待跨越的鴻溝。這要求我們不斷創(chuàng)新，將圖像識別、語音識別等先進技術(shù)融入產(chǎn)品中，以滿足用戶更加豐富的交互需求。

::: hljs-center

業(yè)務(wù)實踐中的挑戰(zhàn)

:::

Agent 技術(shù)的全面解析

Agent 的技術(shù)鏈路
在深入探討我們的 Agent 實踐時，我們已超越了簡單的“tool use”范疇，向著更加智能與全面的方向發(fā)展。Agent 的核心價值，不僅在于其工具性應用的層面，更在于其作為連接業(yè)務(wù)與用戶需求的橋梁角色。它能精準回應用戶期待，高效解決用戶問題，這一過程中，Agent 需緊密集成于系統(tǒng)之中，充分利用業(yè)務(wù)接口、數(shù)據(jù)模型等核心資源。

為了實現(xiàn) Agent 的高效運行，我們構(gòu)建了一套接口與意圖的 schema 體系。在 schema 中，定義了每個業(yè)務(wù)意圖的名稱、詳盡描述及具體示例（即“shot”），這些信息對于大模型而言，是理解 API 邏輯、把握業(yè)務(wù)意圖的關(guān)鍵鑰匙。在實踐初期，大模型在意圖識別上的表現(xiàn)不盡如人意。一方面我們優(yōu)化了 Prompt，將若干意圖 shot 融入其中；另一方面我們升級了 LLM，部署了 qwen2-7b，最后由于 Prompt 長度有限，我們對意圖清單做粗排以支持 300+的意圖識別，之后整體的意圖識別效果得到顯著提升。

::: hljs-center

Agent 的技術(shù)鏈路

:::

Agent 的意圖執(zhí)行

意圖的執(zhí)行策略涵蓋了從簡至繁的多種模式，每種模式都針對特定場景需求而設(shè)計。最基本的是單 Plugin 模式，它實現(xiàn)了意圖與 API 的直接映射。在這種模式下，用戶的簡單需求（如搜索網(wǎng)頁、查詢天氣）能夠迅速轉(zhuǎn)化為 API 調(diào)用，直接返回結(jié)果。

然而，在復雜多變的業(yè)務(wù)場景中，這種模式顯得力不從心。面對復雜的業(yè)務(wù)邏輯，如銷售場景中查詢客戶合同進度，這里可能涉及到這個客戶是不是合法的、簽的是哪個合同、簽了多少錢……，我們需要引入多 Plugin 意圖執(zhí)行能力。這一能力允許我們將復雜的任務(wù)拆解為多個子任務(wù)，每個子任務(wù)由不同的 Plugin 處理。目前，實現(xiàn)這一能力主要有兩種方式：一種是預定義執(zhí)行邏輯，即在明確意圖后，通過人工編排大模型的執(zhí)行路徑；另一種則是大家談得比較多的 ReAct 模式，即讓 AI 在推理過程中動態(tài)決定執(zhí)行步驟。雖然推理+執(zhí)行這個概念特別性感，但穩(wěn)定性不佳，比如說 AutoGPT 最好的表現(xiàn)只有 50%左右，直接把這套東西推到線上系統(tǒng)是不可接受的。

::: hljs-center

意圖執(zhí)行

:::

在業(yè)務(wù)實踐中，有兩種意圖執(zhí)行方式。其一，我們采用了自然語言處理技術(shù)，直接從用戶的言語中精準捕捉其意圖，并立即啟動相應的執(zhí)行流程。另一種方式則更為簡潔一些，識別到用戶的意圖后，通過彈出卡片界面的方式進行確認，并快速執(zhí)行最終任務(wù)。

大模型的關(guān)鍵設(shè)計與效果評測

另外，關(guān)于我們大模型設(shè)計的核心理念，主要聚焦于以下三點：

可插拔，能根據(jù)需求快速替換或更新模型，支持多模型協(xié)作，讓不同任務(wù)調(diào)用最適合的模型；

LSP，LLM Specific Prompt/模型專用提示 LLM 各有調(diào)性，皆有適合自己的 Prompt 風格；

量化 LLM，量化大模型通過減少參數(shù)精度來降低資源需求，僅少量智能損失可跑高性能跑在 CPU 上。

::: hljs-center

大模型的應用策略

:::

在探索大模型驅(qū)動的應用研發(fā)這一領(lǐng)域時，我們深知自己正置身于一個“不確定性”之中。每一環(huán)節(jié)，一旦與大模型緊密相連，便無可避免地伴隨著效果的波動與不確定性。因此，構(gòu)建一個高效、精準的評測中心，對于確保系統(tǒng)的可控性與效果的持續(xù)提升必不可少。我堅信，評測中心對于大模型驅(qū)動的應用研發(fā)而言，是不可或缺的基石。它賦予了我們駕馭不確定性的能力，只有如此，我們才能確保系統(tǒng)在不斷迭代中穩(wěn)步前行，真正實現(xiàn)效果的持續(xù)提升。

::: hljs-center

效能評測中心

:::

三、大模型應用研發(fā)的思考

在此，我總結(jié)了大模型應用研發(fā)過程中的四點關(guān)鍵思考，希望對大家有所幫助！

第一生產(chǎn)力：智能化技術(shù)平權(quán)。大模型技術(shù)的革新，真正實現(xiàn)了智能化技術(shù)的普惠與平權(quán)。大模型通過提供先進的算法和龐大的數(shù)據(jù)處理能力，使得即使是資源較少的小企業(yè)或小團隊也能利用頂級的 AI 技術(shù)進行產(chǎn)品開發(fā)和業(yè)務(wù)優(yōu)化。這一轉(zhuǎn)變，極大地降低了技術(shù)門檻，加速了創(chuàng)新項目的孵化，讓智能化不再是大型機構(gòu)的專屬，而是成為推動各行各業(yè)轉(zhuǎn)型升級的強勁動力。

第二 RAG 效果提升：乘積效應。RAG 效果提升是一個非常系統(tǒng)性的工作，要做到比較好的效果，有非常多的智能化和工程策略的事情要做，沒有銀彈，要抓關(guān)鍵細節(jié)一個個去做實做深。從 Query 理解到知識維護，再到多路召回策略的優(yōu)化，每一個環(huán)節(jié)精細打磨，都是實現(xiàn)效果飛躍的關(guān)鍵。當效果達到 70%后，則更需保持耐心與毅力，繼續(xù)深挖細節(jié)，以精益求精的態(tài)度，逐步突破瓶頸，邁向更高的巔峰。

第三路徑選擇：從垂直細分領(lǐng)域開始。在開始研發(fā)大模型應用時，我們深思熟慮后決定采取一條從垂直細分領(lǐng)域切入的路徑。這一決策并非偶然，而是基于對當前技術(shù)發(fā)展階段和市場環(huán)境的深刻洞察。大模型技術(shù)，盡管已取得顯著進展，但仍處于其發(fā)展歷程的初期階段，尚未形成成熟、標準化的應用范式。因此，盲目追求構(gòu)建一個包羅萬象的通用 Agent 平臺，不僅可能因技術(shù)的不成熟而遭遇重重困難，還可能因研發(fā)周期的漫長和用戶反饋的滯后，錯失先機。相反，我們選擇從具體、明確的垂直細分領(lǐng)域入手，這些領(lǐng)域往往具有清晰的應用場景和迫切的智能化需求。通過在這些領(lǐng)域內(nèi)深耕細作，我們能夠快速驗證大模型技術(shù)的有效性，并積累寶貴的實踐經(jīng)驗。同時，階段性地選取具有代表性的標桿應用進行重點開發(fā)，樹立行業(yè)標桿流。在這一過程中，我們同步進行架構(gòu)布局，為未來的平臺化發(fā)展奠定根基。

第四需求趨勢：多模態(tài)。展望未來，多模態(tài)交互將成為 Agent 發(fā)展的重要趨勢。這一趨勢不僅符合人類自然交互的習慣，更以其信息密集、表達豐富的特點，為用戶帶來更為絕佳的交互體驗。隨著技術(shù)的不斷進步與成熟，我們有理由相信，多模態(tài)能力將不斷提升，為 Agent 的發(fā)展注入新的活力與可能。

【本文正在參與 AI.x社區(qū)AIGC創(chuàng)新先鋒者征文大賽】http://www.scjtxx.cn/aigc/2223.html