易慧智能成立時間不長，背后依托的是易車公司 20 多年來積累的客戶、數(shù)據以及行業(yè)經驗。公司圍繞智能體以及群體智能方向于今年初與清華大學自然語言處理實驗室、面壁智能達成戰(zhàn)略合作，結合他們先進的技術與易車的數(shù)據積累以及行業(yè) Know-How，推出了面向 ToB 端的基于大模型的汽車行業(yè)群體智能解決方案以及相應的技術白皮書，白皮書中對于群體智能的整體方案有比較詳細的解讀。

一、群體智能解決方案概覽

1. LLM 與 Agent

群體智能，與其緊密相關的兩大模塊為：LLM（大模型）和 Agent（智能體）。如果說 2023 年是大模型技術元年，那 2024 年應該是大模型應用的元年。目前最炙手可熱的大模型應用應該是 Agent，它是一個能夠自主完成目標的智能體，具有規(guī)劃和執(zhí)行的能力。用車類比的話，大模型的推出相當于汽車引擎的技術突破。而 Agent 就像一個整車，只有引擎是不夠的，還需要配骨架、座位、方向盤才能搭載人從一個地方駛向另外一個地方。所以 Agent 是基于大模型之上包了個外殼，使它能夠做一些具體的事情。

2. AI 傳統(tǒng)工具 VS AI Agent

Agent 與傳統(tǒng)人工智能的差別是什么呢？其差別在于傳統(tǒng)工具是人定義好一個流程，比如要質檢一通邀約客戶到店的對話，我們首先需要行業(yè)專家去定義質檢流程及質檢項。人工智能在這個過程中能在某個質檢項的檢測中提升質檢的準確率，但整個流程和質檢規(guī)則實際上還是人類主導。而 Agent 是不需要人去干預，它自己做規(guī)劃，包括判斷通話流程是否專業(yè)，中間有哪些不合規(guī)的地方。所以 Agent 相對 AI 傳統(tǒng)工具根本性的一個差別就是原來是以人為主導，現(xiàn)在則是以大模型 AI 為主導。

3. 超級個體 VS 群體智慧

那是不是可以認為有一個超級智能體就能解決所有問題？從人類社會、自然界角度來看，通過多個個體共同去完成一件事，往往能夠比超級個體達到更好的效果，中國有句老話：三個臭皮匠，頂個諸葛亮，就是這個意思。自然界的例子是蟻群效應：整個蟻群能夠根據環(huán)境變化快速進行調整，并不是依賴于既有的分工和流程。例如，當螞蟻在同時發(fā)現(xiàn)食物后，會分別走兩條路線回到巢穴，并釋放信息素，最終整個蟻群會選擇最近的路線去搬運食物，這個就是群體智慧的體現(xiàn)

當前學術界群體智能方向的進展也非?？?，比如有個 paper 設計了一個實驗，通過構造 2 個 Agent，去解決同一個問題，其中一個 Agent 扮演負責人，另外一個 Agent 扮演咨詢師，他們通過多輪對話、啟發(fā)、討論的方式去把解決方案從 0 到 1 的打磨完善出來。這個最終的解決方案對比只用單一 Agent 生成的解決方案要更加專業(yè)。我們認為這是“智能的第二次涌現(xiàn)”，即群體智能。智能的第一次涌現(xiàn)是大模型，現(xiàn)在是多個 Agent 去交互碰撞，產生第二次智能。

兩次智能涌現(xiàn)的本質是什么呢？第一次智能涌現(xiàn)是神經網絡的神經元達到一定量級后產生了質變，大模型技術其實已經發(fā)展很多年了，包括最早 2018 年 Bert 本身也是大模型，之所以 GPT 帶來革命性的影響，是因為其參數(shù)超過了一定量級，突破了 100 億、1000 億，甚至到 1 萬億，量變產生質變。第二次群體智能的涌現(xiàn)的本質是，當單體 Agent 足夠多，各行各業(yè)都有專業(yè)的 Agent，如果把這些 Agent 都聚集起來，協(xié)同合作的去完成某項任務，這個過程中有可能會產生新的發(fā)現(xiàn)。我們預判接下來群體智能技術將會受到更多關注。

從實踐上看也是會經歷這樣的過程，比如有一個具體任務，寫行業(yè)報告，現(xiàn)在通過單智能體，可能需要準備一個非常復雜的 prompt，里面需要涵蓋如何去寫摘要，框架、調研、總結，每個篇章要去找數(shù)據支撐，然后完善篇章內容，整理成報告。這樣一個任務用一個 Agent 是很難實現(xiàn)的。但是如果我們把任務進行拆分，比如設計 4 個 Agent，第一個 Agent 專注去做需求分析；第二個 Agent 去找素材和論據；第三個 Agent 把前面素材整理成報告；最后一個 Agent 審核校驗。實際上現(xiàn)實中人們也是這么做的，用多個 Agent 實現(xiàn)，每個 Agent 只需要把一項技能在 Prompt 中描述清楚，把單個 Agent 的能力做到極致。所以在真正落地的時候，我們自然就會向群體智能方向走。從理論和實踐上來看，群體智能一定是未來的一個發(fā)展方向。

4. 基于大模型的汽車行業(yè)群體智能業(yè)務架構

如上圖所示是基于大模型的汽車行業(yè)群體智能整體的業(yè)務架構。主要分為三層：

最底層是 YiCPM 汽車行業(yè)大模型，它不是某一個具體的模型，而是多個大模型的集合，包括語言模型、圖像模型、視頻模型、語音模型等，考慮到大模型發(fā)展日新月異，一方面我們會積極擁抱和嘗試技術領先的開源大模型，另一方面我們也會探索自研，自研還是往能交付的小參數(shù)模型方向走。因為幾十億、上百億參數(shù)的模型成本太高，企業(yè)不會買單，所以為了降低交付成本我們主要在小模型方向進行探索。

中間層是整個解決方案的核心，智能體平臺。我們與清華大學自然語言處理實驗室、面壁智能公司合作，依托于 XAgent 和 AgentVerse 兩個開源框架，構建了我們自研的 YiAgents 群體智能框架。

再往上是依托于這個框架的上層應用，主要是從營銷場景出發(fā)找到的五個落地場景。

上圖右側是生態(tài)矩陣，數(shù)據和行業(yè) know how 對于做大模型很關鍵，真正要解決行業(yè)具體的問題，需要行業(yè)的一些工具和能力，這是一個共創(chuàng)的過程。

二、Yi Agents 群體智能平臺

1. 構建多智能體框架面臨的關鍵問題

要設計多智能體的框架，會面臨以下幾個比較關鍵的問題：

• 要做群體智能，先得有單體的 Agent，再利用單體智能組合產生群體智能，對單智能體進行設計和劃分，單體智能體劃分得越明確，群體智能方案越好做。
• 有了多個單智能體之后，智能體們所在的環(huán)境也需要做定義，所有的智能體都在一個環(huán)境里面工作。
• 最后是多個智能體之間如何交流，需要定義他們之間的交流鏈，是串行的或者并行的，要考慮不同應用場景智能體間的通信方式。

2. 設計多智能體交互框架的四大關鍵要素

設計多智能體交互有四個關鍵要素：

• 基礎設施：是否足夠通用。
• 協(xié)作模式：需要支持多種協(xié)作模式，人類社會也是如此，比如有串行、并行，先串行再并行，兩個智能體之間是合作還是競爭等等。
• 執(zhí)行能力：需要有能夠使用工具的能力。垂直領域的壁壘就在于其不是解決一個通用的問題，需要用行業(yè)特有的一些工具去實現(xiàn)。如果沒有工具，就要能夠創(chuàng)造工具。
• 人類參與：系統(tǒng)是否允許人類在執(zhí)行過程中參與以及如何參與。

3. 技術框架

上圖所示是白皮書里偏流程的技術框架，包括五個具體的技術點：

• 首先做目標和任務拆解，即任務分成幾步，每一步驟怎么做。
• 拆解出的每一個任務，誰去做，這里需要有單體智能，每一個智能體要足夠專業(yè)能去完成這個任務，這里涉及到智能體的技術。
• 多個智能體協(xié)作：多個智能體之間要有交流鏈和 workflow，它們之間是怎么交流的。
• context：即環(huán)境，多個智能體在一起需要共享和沉淀一些信息。
• 對齊技術：大模型的優(yōu)勢是很有創(chuàng)造性，但又可能容易產生幻覺，這是一對不可調和的矛盾，這兩者之間要有一個 trade off。

多智能體技術框架按上述五個點拆解來講。

（1）目標驅動的任務管理

群體智能如何保證多個單智能體都能完成任務？利用通用的群體智能框架，它讓不同角色完成不同的任務。首先對任務進行規(guī)劃，根據任務的 know-how 和經驗知識，拆解成一個工作流，分配好任務需要多少角色去完成，每個角色干什么。任務規(guī)劃完之后開始執(zhí)行，Agent 需要按照任務規(guī)劃的每一步驟去執(zhí)行。Agent 的輸入來自 prompt，因為大模型所有的輸入都是 prompt, 為了讓其通用化，需要把大模型 prompt 的 template 實例化。所以當需要執(zhí)行一個任務時，流程執(zhí)行到了哪個步驟，把該步驟的 prompt 實例化，然后去執(zhí)行即可。最后是任務總結，目的是不斷地反思以做得更好，可以迭代一輪或者迭代多輪，依據實際應用場景而定。

（2）LLM 驅動的智能體

群體智能的核心就是單體 Agent，而 Agent 的核心要素包括記憶、規(guī)劃、感知、執(zhí)行和使用工具的能力等。這些能力都是大語言模型提供的，上述架構也是當前 Agent 比較通用的技術，未來隨著發(fā)展，會擴展記憶，記憶越多，能容納的知識經驗就更多，但是大模型上下文空間始終是有限的，因此會更多考慮擴展上下文長度，比如當前的 Kimi，如果空間仍然不夠就會考慮壓縮。

我們的底層框架是 XAgent，XAgent 在基礎 Agent 框架基礎上引入了自我反思的過程。類比人類也是如此，優(yōu)秀員工和普通員工的差別在于優(yōu)秀員工干完一件事自己就會總結反思。XAgent 框架在單體 Agent 的基礎上加了兩個循環(huán)，即內外循環(huán)，內循環(huán)是執(zhí)行+自我反思，即任務執(zhí)行完畢后自我反思這個結果是否滿意，是否還能再優(yōu)化。外循環(huán)是通過多輪反思實現(xiàn)整個迭代過程。

（3）多智能體協(xié)作

多智能體協(xié)作本質是一個 workflow，從一個 Agent 到下一個 Agent 要解決的最關鍵的問題是 prompt 實例化，即要把 Prompt Template 里面的占位符具體化。目前業(yè)內一般通過消息總線存儲信息，比如從任務下達，任務拆解，到第一個 Agent 執(zhí)行完，第二個 Agent 執(zhí)行完、人類交互等所有這些信息都可以以 message 形式存在于消息總線里面，當某個 Agent 準備執(zhí)行時，它的上下文就是當前消息總線里面的所有消息歷史，Agent 可以自己分析現(xiàn)在處于哪個環(huán)節(jié)，累計產出了哪些中間成果，接下來干什么，所以協(xié)作的本質就是通過消息總線傳遞信息。如果信息復雜的話可以再用一個單獨的 Agent 把信息進行提煉總結抽取，把 Prompt Template 實例化，這樣每個 Agent 自然就能串起來。

（4）上下文交互

消息總線等同于上下文、全局變量、智能體執(zhí)行的環(huán)境，消息總線可以用 message 隊列簡單實現(xiàn)。智能體執(zhí)行過程中產生的所有信息都是 message，message 包含以下元素：

• 發(fā)送者：可能是用戶發(fā)的，也可能是上一個 Agent 發(fā)的，還可能是系統(tǒng)發(fā)的。
• 接收者：要定義好一個 workflow，得知道下游是誰，誰能接收該消息，誰可以忽視。
• 消息類型：消息類型有很多，任務描述、Agent 輸出結果、系統(tǒng)的狀態(tài)等。
• 消息內容

（5）平衡自主性與一致性

大模型非常具有創(chuàng)造性，但問題是太讓其自主發(fā)揮會出現(xiàn)幻覺、前后表述不一致等現(xiàn)象，所以需要考慮自主性和一致性的折中，當前階段它還是離不開人的干預和反饋，需要不斷的進化，找到一個平衡點。

群體智能框架的技術實現(xiàn)如上圖所示：首先有一個 Planner 生成計劃，然后分配任務給 performer 或叫 executor，來對每個 Agent 進行 Prompt Template 實例化，等所有 Agent 執(zhí)行完畢后，由 Reviewer 對整個任務執(zhí)行過程和結果進行復盤總結，依復盤情況可以執(zhí)行多輪。

三、群體智能技術在行業(yè)中的應用

大模型為汽車行業(yè)帶來的價值包括：

• 高效的流程管理
• 定制化的營銷體驗
• 增強用戶服務感受
• 市場分析與預測
• 跨部?協(xié)作的促進

以營銷場景為例，營銷首先是要獲客，獲客后要做線索清洗，一般業(yè)內是根據 DCC 電話進行第一輪篩選，區(qū)分高意向、低意向客戶，針對高意向客戶直接邀約到店，低意向就開展后續(xù)的用戶運營，比如通過加企業(yè)微信通過 IM 做一些轉化，轉換成高意向，再邀約到店，最后購車成交。

整個流程里衍生出來五個核心落地場景：

• 數(shù)智研究院：整個造車流程有新車設計、研發(fā)生產、新車發(fā)售、口碑反饋，行業(yè)調研、戰(zhàn)略規(guī)劃等等需要數(shù)據決策的環(huán)節(jié)，之前可能需要咨詢公司專業(yè)人士去做，現(xiàn)在可以把它拆成幾個 Agent 協(xié)作完成，比如業(yè)務分析、數(shù)據抓取、數(shù)據分析、報告整理和校對。
• 輿情運營：輿情運營比如說對于公關部門，有時候需要危機公關，我們可以幫助車企及時發(fā)現(xiàn)有風險的輿情能挽回很多損失。這部分需要監(jiān)控主流社交媒體上的輿情數(shù)據，Agent 需要對評論做正向、負向、中性的判斷評估，找到熱點事件，評控引導輿論，并提醒廠商人員介入。
• 新媒體運營：主要用于生產營銷素材，比如當前依賴人工生產短視頻和海報，現(xiàn)在機器可以生成素材，生成后到社交媒體上投放，然后關注投放效果，查找數(shù)據并進行效果分析。
• 用戶運營
• 集約 DCC

以用戶運營為例的話，主要有以下 Agent：用戶運營專員、質檢專員、標注專員、建檔專員等。

如上圖中的案例，要邀約一個用戶到店，首先提供一些用戶信息，智能助手會給出一個工作流，這個任務需要 5 個步驟去完成。先給客戶評級，接著生成邀約的開口話術，參照話術進行客戶對話邀約。對話結束后進行建檔，最后進行質檢。全部流程都是自動執(zhí)行的。

接下來按照流程逐一完成各個步驟。

整個任務完成之后，做復盤總結，自我反思是否存在漏洞，哪些環(huán)節(jié)可以改進。

（是否需要插入視頻演示）

四、汽車行業(yè)群體智能技術生態(tài)

汽車行業(yè)群體智能生態(tài)包括 4 個部分：

1. 行業(yè)解決方案伙伴

需要依賴一些行業(yè) know how，比如專業(yè)的調研報告、分析用戶群體等，需要基于行業(yè)方法論。當前在某些具體場景，我們希望能夠得到行業(yè)伙伴們提供的一些行業(yè)經驗，并將其放入知識庫。隨著 Agent 積累的經驗越來越多，其能力也會不斷提升。

2. 行業(yè)數(shù)據伙伴

大模型本身差異不大，而影響其效果的核心還是數(shù)據。易車更多偏 C 端的數(shù)據，我們也希望獲得一些車企經銷商對話的語料，以及機構的行業(yè)咨詢報告等，有了這些數(shù)據才能訓練模型。

3. 大模型伙伴

我們系統(tǒng)底層模型是一系列語言模型、多模態(tài)模型的集合，我們會持續(xù)接納業(yè)內專業(yè)的大模型，因為不同模型在不同任務上的效果是不一樣的，不可能用一個模型解決所有問題。

企業(yè)側模型選型，考慮到成本因素，未來還是將會向小參數(shù)量模型方向發(fā)展。

4. 行業(yè)工具伙伴

當前業(yè)內做 Agent 的企業(yè)很多，最終的壁壘有一部分會體現(xiàn)在行業(yè)工具上，比如營銷場景需要托管企微、生成海報等，很多公司在某些領域已經深入，沒有必要所有工具都自行研發(fā)，每一個環(huán)節(jié)應該由更專業(yè)的人去完成，才能最終把事做成做好。所以希望整個生態(tài)能夠實現(xiàn)開放共贏。

各個企業(yè)貢獻各自的力量，才能合作共贏，促進整個生態(tài)的發(fā)展。

五、總結和展望

技術的飛速發(fā)展，幫助我們站在了一個全新的視角，眺望汽車行業(yè)即將踏入的遼闊天地。在智能化的浪潮下，我們預見一個更加智慧、高效能、用戶至上的汽車新時代正在加速到來。

未來大模型群體智能將幫助企業(yè)進一步降本增效，并開啟用戶運營新篇章，做到千人千面，進一步提升客戶體驗。在各大企業(yè)的創(chuàng)新與合作下，整個行業(yè)將共建智慧汽車新生態(tài)。

六、Q&A

Q1：技術框架關于任務的規(guī)劃，如何把一個大的任務拆解成一個個小的子任務，如果拆分的力度過細，調用鏈就可能會比較臃腫，如果拆的力度過粗，子任務完成的正確率就會降低。在這方面是否有一些方法論或實際經驗可以參考？

A1：這方面肯定是沒有標準答案的，對 Agent 的定義，包括我們現(xiàn)在拆解一些行業(yè)場景，一件事是由一個 Agent 做還是三個 Agent 做也是沒有標準答案的，需要通過實踐去檢驗。從我的經驗來講：

• 第一點，planner 是非常重要的，對于某些任務來講，它要有一些行業(yè) know how 知識。比如一個行業(yè)報告，我們跟羅蘭貝格、IBM 合作，他們給我們寫出來一個命題到底該怎么拆、怎么做；
• 第二點，每個 Agent 的定義設計，要描述得足夠清晰，每個 Agent 干什么，比如要用戶運營，第一步，是一個評級專員，有了評級才有后面的針對不同的用戶，才有不同的策略，這些信息一定要放到 Agent description 里面，給到 planner。提示越多它執(zhí)行起來越簡單。
• 第三點，一次規(guī)劃可能達不到理想狀態(tài)，要反復嘗試，經過多輪調整，才能達到更好的效果。

以上是一些建議。

Q2：大模型 Agent 在輿情分析這塊具體參與了什么樣的工作，和傳統(tǒng)的NLP 技術相比，其優(yōu)勢在哪里？現(xiàn)在很多 NLP 分析工作都已經被大語言模型替代掉。

A2：Agent 其實與大模型不在一個維度。原來 NLP 只是在解決某一個節(jié)點，某一個工作發(fā)揮了作用，比如分析輿情，要有一個情緒識別模型判斷評論到底正向負向，是在研究其中一個事如何能做得更好?，F(xiàn)在，大模型的厲害之處在于原來干一件事要訓練一個模型，現(xiàn)在一個大語言模型可以把所有事情都做了，大大提高了效率。而 Agent 的作用是什么呢？比如輿情這件事首先得去監(jiān)控全網的數(shù)據，定期收集這些數(shù)據，然后去分析，生成一些 action，比如簡單的回復等等，有一些 todo 拆解。Agent 就是對一件事進行拆解，每一步完成不同的工作，從規(guī)劃到執(zhí)行自動化地完成整個任務。

Q3：多智能體架構如何利用外界信息形成一套反饋和調節(jié)機制？因為反思其實是內部的。

A3：反思還是需要借助消息總線，所有信息包括它自己生成的數(shù)據、外界給它的數(shù)據、人工的一些指令，都可以變成消息，然后放到消息池里，下一次 Agent 要具體的操作時，會有輸入 prompt，可以從 Prompt 定義很多 context，包括實時消息，上一次做完的結果等。比如質檢，剛開始沒有任何知識，先質檢了一輪后質檢主管反饋有問題，就可以把這個信息反饋也加到 message history 里面，下一次質檢就有上一次這個經驗。并沒有改變模型的參數(shù)而是把知識都沉淀到經驗庫里，這個經驗庫可以全部或者部分進入到 Prompt 中，如果上下文空間足夠的話，全放進去，如果不夠的話，可以通過抽取摘要進行提煉再加入進去。這就是反思的實現(xiàn)原理，沒有改變模型參數(shù)，只是增加了上下文的經驗數(shù)據。

Q4：現(xiàn)在已經把傳統(tǒng)的工作流 Agent,后續(xù)它肯定還存在一些問題,那多智能體的這樣一個系統(tǒng)迭代方向的衡量的標準怎么衡量的？

A4：多智能體處于一個比較前沿的階段，受限于知識，它目前還只能處理有限的一些任務。后面經過自我學習，不斷進化沉淀經驗，其對于任務的覆蓋能力會增強。所以整個數(shù)據飛輪反饋機制是至關重要的。另外，隨著一些周邊工具的積累，其能力邊界也將得到拓展。

Q5：關于反思，內循環(huán)的那種反思可能更多的是將歷史的一些經驗數(shù)據帶到下一次的上下文里面，如果有過多的較為龐雜的歷史經驗的話，會不會影響到最終的產出結果？目前對于反思是如何去評判的？我們人類的一些經驗可能并不可靠，那機器提示自己的一些經驗，該如何保證其正確性呢？

A5：針對第一個問題，很多數(shù)據是質量較差，而放到消息總線的經驗庫的應該是比較高質量的數(shù)據，把經驗和知識提煉成一個高質量的經驗庫。精煉一方面也得通過人工的標注，比如離線的標注，或者通過大模型的幫助進行提煉，我們有一個數(shù)據標注訓練師的 Agent，就是在做這件事。它也需要人工進行干預。

第二個問題，怎么評判反思的結果。設計這個產品的機制，在產品側可能要預埋一些東西，比如一個對話，判斷對話效果好不好，如果回答一個問題以后，后面客戶又追問了好幾次，那通常情況下首次回答的效果就是不夠好的。再比如質檢，要評判質檢效果的好壞，很重要的標準就是評判完了客服沒有異議。所以這其中涉及工程化的內容，把人類反饋融合到整個系統(tǒng)里并標記。除此之外，它不一定是自反思，也可以引入中介，比如再引入一個模型 GPT4，作為一個裁判，讓它來判斷。甚至可以引入多個裁判，最后投票選出來一個結果，我們一般做自反饋最好的方式是再引入它的 partner，它干任何事有個 partner 去對應找漏洞，然后觸發(fā)兩個人思辨，效果會比一個反思更好。

Q6：多個 Agent，每個Agent 里面有自己的 prompt，還有一些相關的設計。一是關于 prompt 內容的結構，二是 prompt 的內容，應該是跟領域或者您現(xiàn)在嘗試的結構或者體系是有關系的。這部分是不是做了很多的嘗試？

A6：Prompt 針對不同模型和不同的訓練數(shù)據是不一樣的。但 prompt 也會有一定套路，比如首先給背景、目標、聽眾，然后明確輸出結果等等。

Q7：在這種套路下，每次出來的結果差別大嗎？

A7：大模型運行多次的結果肯定是不一樣的。當然你可以調節(jié)，讓它盡可能別發(fā)散，那就是一個發(fā)散創(chuàng)新和不發(fā)散之間度的平衡，但即使不一樣，也可以通過正則等抽出來一些核心關鍵點。

Q8：我們設計了多個 Agent 和不同的 prompt 結構，那是我們基于當前的 LLM 的底座的能力去設計的，會不會隨著 LLM 技術的發(fā)展,我們在以前的 Agent 基礎上面做的內容和生態(tài)就沒辦法繼續(xù)了？

A8：隨著各項技術的發(fā)展，原來代碼肯定是要調整的，這是必然的。

Q9：長期來說，我們當前的工作是起個大早，是不是做了很多工作都是沒有意義的？

A9：行業(yè)最后會積累下來一些不變的東西，比如沉淀下來的數(shù)據、行業(yè)知識經驗庫，還有工具，當你有了這些東西，有了知識和行業(yè) know how，有了數(shù)據和工具，那么未來模型改變，我們也能夠快速改造出一套新的系統(tǒng)。系統(tǒng)本身的價值遠不如其背后的行業(yè)優(yōu)質數(shù)據的價值更大。