關(guān)于大模型智能體意圖識(shí)別不準(zhǔn)確問題——function call的缺陷 原創(chuàng)
“ 意圖識(shí)別不準(zhǔn)確只是智能體應(yīng)用過程中的一個(gè)問題，在實(shí)際操作中還會(huì)有其它更多的問題存在；因此，我們不能太信任技術(shù)本身，而是需要完善的解決方案去規(guī)避技術(shù)風(fēng)險(xiǎn)?！?/strong>
最近在研究大模型智能體也就是Agent的過程中，遇到了一個(gè)很嚴(yán)重的問題，直接影響到Agent的質(zhì)量和效果；那就是意圖識(shí)別不準(zhǔn)確，也可以說是Agent的幻覺問題。
其產(chǎn)生的原因就在于大模型有時(shí)無法準(zhǔn)確識(shí)別出用戶意圖，無法準(zhǔn)確調(diào)用相應(yīng)的函數(shù)。
意圖識(shí)別不準(zhǔn)確
現(xiàn)在大模型技術(shù)在應(yīng)用方面，主要有兩大方向；其一就是大模型的創(chuàng)作能力，簡(jiǎn)單來說就是內(nèi)容生成方面，如生成圖片，文字，視頻，也包括RAG等。另一方向就是智能體，其目的是使大模型能夠像人類一樣，通過思考加使用外部工具的方式，能夠自動(dòng)化處理一些問題。
比如說，讓大模型遇到不懂的問題，可以自己上網(wǎng)搜索；需要使用一些第三方工具，比如說調(diào)用高德的地圖接口或者調(diào)用美團(tuán)的下單接口去自主規(guī)劃旅行路線并訂購(gòu)門票，酒店等。
這就是大模型的主要應(yīng)用方向——智能體。
以上是關(guān)于大模型智能體的功能介紹，下面我們從技術(shù)實(shí)現(xiàn)的角度來研究智能體。
從技術(shù)的角度來說，實(shí)現(xiàn)智能體首先大模型需要具備“思考”的能力，也就是能夠自主規(guī)劃和拆解目標(biāo)，把需求變成可行性的步驟；而這就是思維鏈技術(shù)。
而要想實(shí)現(xiàn)智能體不僅僅需要大模型具備“思考”的能力，同時(shí)還需要大模型能夠使用外部工具，簡(jiǎn)單來說就是第三方接口。而這個(gè)在技術(shù)上怎么實(shí)現(xiàn)呢？
關(guān)于大模型調(diào)用外部工具接口的技術(shù)，就叫做function call 也就是函數(shù)調(diào)用；是通過給大模型提供一個(gè)函數(shù)列表，這個(gè)函數(shù)列表中描述了每個(gè)函數(shù)的功能，參數(shù)等；比如需要看地圖就調(diào)用地圖接口，需要看天氣就調(diào)用天氣接口等等。
雖然說函數(shù)調(diào)用從技術(shù)上來看挺簡(jiǎn)單，但等到真正操作起來卻是很復(fù)雜的一件事；比如說作者目前就遇到了一個(gè)很嚴(yán)重的問題，就是意圖識(shí)別不明確問題。
簡(jiǎn)單來說，你想實(shí)現(xiàn)一個(gè)Agent智能體，然后根據(jù)功能定義了一堆函數(shù)列表；然后告訴大模型根據(jù)用戶輸入的問題，去自主判斷調(diào)用那個(gè)函數(shù)。
也就是說，你要查天氣就去調(diào)用天氣接口，你要查地址就去調(diào)用地圖接口；而不是在查天氣的時(shí)候調(diào)用地址接口或者在查地址的時(shí)候調(diào)用天氣接口，這就是意圖識(shí)別。
如果說你的智能體涉及的功能比較少，需要調(diào)用的接口也比較少；可能還不會(huì)出現(xiàn)這個(gè)問題，但如果當(dāng)你智能體的功能比較復(fù)雜時(shí)，需要調(diào)用多個(gè)不同的接口；這時(shí)大模型可能就會(huì)偶爾抽風(fēng)，出現(xiàn)不知道或者調(diào)用錯(cuò)誤的接口。
當(dāng)然，這種現(xiàn)象并不僅僅只是大模型的問題，我們?nèi)祟愅瑯右灿锌赡艹霈F(xiàn)這種問題。
舉例來說，有一輛三輪車和一輛小貨車，然后我說要拉東西你去把車開過來一下；這時(shí)你應(yīng)該開三輪車還是小貨車？
作為一個(gè)需求來說，如果東西比較多，可能三輪車就無法滿足你的需求；而如果東西比較少，三輪車和貨車都可以滿足你的需求；當(dāng)然，在實(shí)際操作的過程中，還需要考慮東西的體積，質(zhì)量，路程等等。
但對(duì)大模型來說，三輪車和小貨車都是拉貨的，這時(shí)它可能就會(huì)識(shí)別出錯(cuò)，在應(yīng)該使用小貨車的時(shí)候，它開了一輛三輪車過來。
而這就是智能體函數(shù)調(diào)用中可能會(huì)經(jīng)常出現(xiàn)的問題；但應(yīng)該怎么解決這個(gè)問題呢？
說實(shí)話這種問題目前還沒有一個(gè)完美的解決方案，即使放到我們?nèi)祟惿砩吓紶栆矔?huì)因?yàn)闇贤ɑ蚶斫獾膯栴}導(dǎo)致出錯(cuò)，在大模型上這種錯(cuò)誤概率更是會(huì)被無限放大。
而我們只能盡可能的去避免這種問題的出現(xiàn)，而具體的解決辦法大概有以下幾種：
使用準(zhǔn)確清晰的描述
那個(gè)函數(shù)到底的干啥的，有什么具體的功能，最好使用最細(xì)致的描述，使歧義盡可能的降低
使用多輪對(duì)話
通過多次交流，使得能夠更準(zhǔn)確的理解需求；而這也是我們平常溝通過程中經(jīng)常用的的方法。
使用分類模型
說白了意圖識(shí)別問題，本質(zhì)上就是一個(gè)分類問題；你的描述越模糊分類越困難，因此可以使用專業(yè)的分類模型，來讓大模型確定自己的需求。
使用規(guī)則引擎
幫助大模型設(shè)計(jì)一套規(guī)則引擎，簡(jiǎn)單來說就是當(dāng)大模型出現(xiàn)模糊判斷的時(shí)候，應(yīng)該怎么進(jìn)行兜底；比如說增加人工判斷或者重新選擇的機(jī)會(huì)等。或者使用某種規(guī)則，不管意圖什么樣，只要滿足規(guī)則需求就去執(zhí)行。
總之，大模型智能體在具體實(shí)踐和技術(shù)研究中存在較大的事實(shí)差距；我們?cè)谑褂玫倪^程中需要根據(jù)具體的場(chǎng)景和問題，去優(yōu)化和完善我們的解決方案；而不是全部依賴于技術(shù)本身。
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
