嘉賓 | 張杰

采訪 | 張曉楠

編輯 | 徐杰承

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

“2018年，隨著Transformer預(yù)訓(xùn)練模型的興起，自然語言處理（NLP）學(xué)術(shù)圈中形成了一個主流觀點——NLP領(lǐng)域的不同技術(shù)方向，如文本分類、文本匹配、序列標(biāo)注等，最終都會被歸結(jié)到文本生成這一核心任務(wù)之下?！边@是中關(guān)村科金技術(shù)副總裁張杰在訪談伊始便提到的一項關(guān)鍵洞察。

作為領(lǐng)先的對話式AI技術(shù)解決方案提供商，中關(guān)村科金自2014年成立以來便選擇聚焦生成式AI技術(shù)，專注于企業(yè)服賽道提供對話場景服務(wù)。并在過去數(shù)年中，基于對AI技術(shù)棧的全面布局，先后構(gòu)建了數(shù)字化洞察與營銷、數(shù)字化服務(wù)與運營、數(shù)“智”底座三大產(chǎn)品矩陣。

ChatGPT引爆大模型熱潮后，AI技術(shù)積淀深厚的中關(guān)村科金也在第一時間選擇了全面擁抱大模型，并于2023年11月正式發(fā)布了國內(nèi)首個企業(yè)知識大模型、AgentGraph應(yīng)用開發(fā)平臺，以及“超級員工”系列AIGC應(yīng)用，成為了國內(nèi)大模型應(yīng)用領(lǐng)域的先行者之一。

本期T·TALK訪談欄目，我們特別邀請到了中關(guān)村科金技術(shù)副總裁張杰，希望能夠通過這場對話，了解到這位經(jīng)驗豐富的技術(shù)專家對于AI行業(yè)發(fā)展的認知與判斷，以及中關(guān)村科金這家頭部智能科技企業(yè)在大模型技術(shù)與應(yīng)用領(lǐng)域所積累的寶貴經(jīng)驗。

1.大模型落地的切入點

根據(jù)張杰的介紹，此前，行業(yè)內(nèi)普遍會將對話式AI認為是企業(yè)與客戶溝通的一座橋梁，尤其是在數(shù)字化轉(zhuǎn)型的背景下，這座橋梁的主要作用通常會被歸結(jié)為提升溝通效率與用戶體驗。

然而隨著大模型技術(shù)的火爆，業(yè)內(nèi)開始逐漸意識到了對話式AI的更大潛能——“以中關(guān)村科金為例，現(xiàn)在我們認為對話式AI在大模型所提供的理解和生成能力加持下，可以通過在對話過程中對企業(yè)知識的提取，升級成為企業(yè)知識管理甚至是企業(yè)群體智能的入口?！?/p>

因此在張杰看來，當(dāng)前很適合大模型落地破冰的切入點，便是面向企業(yè)的知識問答場景。常規(guī)的企業(yè)知識庫會包含大量的各式文檔，并不利于整理和查詢，如今只需要將這些知識信息交給大模型進行處理，便能直接通過對話形式進行關(guān)鍵信息檢索。

這不僅能帶來成本上的效益，企業(yè)不再需要大量人員對文檔進行標(biāo)注整理。且基于大模型的控制，所生成知識信息在合規(guī)和可控性上的表現(xiàn)也會更好。更重要的一點是，企業(yè)知識中臺并非孤立場景，除了賦能內(nèi)部員工外，對外部客戶的觸達連接，例如營銷、客服等，也都存在著很大的想象空間。

目前，中關(guān)村科金AIGC應(yīng)用知識助手已成功服務(wù)銀行、證券、財富管理等多個行業(yè)客戶，包括頭部證券公司。在證券行業(yè)實踐中，基于大模型內(nèi)容生成能力，為客戶經(jīng)理生成不同對客階段、多樣化的客戶營銷話術(shù)，營銷文案撰寫時間從10分鐘縮短至10秒，高效輔助客戶經(jīng)理展業(yè)，提升客戶經(jīng)理對客服務(wù)的專業(yè)性。在財富管理行業(yè)實踐中，為智能客服產(chǎn)品賦能，大幅提升客服系統(tǒng)問答意圖識別準(zhǔn)確率和回復(fù)準(zhǔn)確率，減少70%以上的系統(tǒng)運營工作，幫助企業(yè)實現(xiàn)更加智能、成本更低的客戶服務(wù)。

“2022年ChatGPT發(fā)布后，大模型實現(xiàn)了從學(xué)術(shù)圈一直到朋友圈的破圈；2023年則是大模型破冰的階段，無論是基礎(chǔ)大模型還是領(lǐng)域大模型廠商，都在積極尋找試點應(yīng)用場景；而2024年將很有可能會是大模型應(yīng)用涌現(xiàn)的一年，各種業(yè)務(wù)場景都會選擇擁抱大模型?！睆埥苋缡钦f。

2.模型與知識的有機結(jié)合

作為國內(nèi)頭部的對話式AI技術(shù)解決方案提供商，中關(guān)村科金在多年的經(jīng)營歷程中積累了豐富的企業(yè)級客戶服務(wù)經(jīng)驗。在企業(yè)數(shù)字化轉(zhuǎn)型的過程中，張杰總結(jié)到，無論在大模型火爆前后，客戶對待產(chǎn)品的態(tài)度都無外乎兩種——足夠新穎亦或是足夠?qū)嵱谩?/p>

因此，通用大模型并不能成為當(dāng)下企業(yè)服務(wù)的統(tǒng)一解決方案。通用大模型更強調(diào)泛用性，即便模型綜合能力很強，但依然會面臨一個法則，便是“通用的不好用，好用的不通用”，所以想要解決企業(yè)不同業(yè)務(wù)場景下的特定問題，還需尋找新的突破口。

中關(guān)村科金基于對大模型技術(shù)的綜合判斷，探索出“大模型+領(lǐng)域知識”的發(fā)展路徑，在領(lǐng)域大模型的基礎(chǔ)上又提出了企業(yè)知識大模型。由于許多知識密集型企業(yè)不允許模型存在幻覺問題，這便需要將特定領(lǐng)域知識和語言模型進行有機結(jié)合。

企業(yè)知識大模型助力構(gòu)建“企業(yè)知識大腦”。例如在制造業(yè)，沒必要訓(xùn)練領(lǐng)域大模型記憶特定企業(yè)每款零件的各種細節(jié)數(shù)據(jù)，只需要將信息儲存在企業(yè)知識庫，并由企業(yè)知識大模型進行信息的挖掘與讀取，并從中篩選出用戶所需的知識點。

張杰表示：“企業(yè)知識大模型不與具體領(lǐng)域綁定，更多用于處理不同結(jié)構(gòu)的數(shù)據(jù)源，并將非結(jié)構(gòu)化的知識轉(zhuǎn)化為大模型能夠快速查找的知識庫，沒有領(lǐng)域特性的特點，也使其能夠被更廣泛的應(yīng)用于不同行業(yè)的不同業(yè)務(wù)場景中?！?/p>

3.軟件工程新范式

根據(jù)張杰的介紹，隨著企業(yè)AI應(yīng)用場景的不斷豐富，很多應(yīng)用創(chuàng)意將產(chǎn)生在業(yè)務(wù)部門，他們需要更加簡易高效的研發(fā)平臺快速驗證idea，而不是將任務(wù)全部交由科技部門慢慢立項研發(fā)。

而對于如中關(guān)村科金這樣具備多樣產(chǎn)品體系及完備產(chǎn)品矩陣的企業(yè)而言，大模型應(yīng)用開發(fā)平臺能夠幫助交付人員提高產(chǎn)品的研發(fā)和迭代效率并降低成本。所以，中關(guān)村科金在推出企業(yè)知識大模型的同期上線了AgentGraph應(yīng)用開發(fā)平臺。

“基于智能體的應(yīng)用開發(fā)平臺將會是一個大的趨勢，這將可能會帶來軟件工程的新范式?！痹谲浖こ?.0時代，數(shù)據(jù)格式都需要人為進行預(yù)定義，但在大模型時代，基于模型對多模態(tài)數(shù)據(jù)的理解，預(yù)定義數(shù)據(jù)結(jié)構(gòu)這項沿用許久的傳統(tǒng)勢必將被顛覆。

關(guān)于AgentGraph應(yīng)用開發(fā)平臺的特點，張杰也給出了這樣的介紹，“AgentGraph平臺分為兩層，底層為原子能力，場景組件中封裝了大量行業(yè)KnowHow，上層則采取拖拉拽即可實現(xiàn)的零代碼流程編排畫布。能夠低成本的鏈接模型能力和應(yīng)用場景，是AgentGraph的核心優(yōu)勢?！?/p>

張杰表示：“我們希望通過AgentGraph構(gòu)建一個生態(tài)開發(fā)平臺，把應(yīng)用開發(fā)的權(quán)限從算法工程師、IT人員手里開放出來，業(yè)務(wù)專家可以通過低代碼、拖拉拽的方式，快速調(diào)用AI底層能力，實現(xiàn)場景應(yīng)用落地?！?/p>

4.產(chǎn)品革命

無論技術(shù)亦或是工具的演進，最終所影響的都是產(chǎn)品的迭代和創(chuàng)新。相較于此前基礎(chǔ)的AI技術(shù)，大模型所能提供的語言理解能力更強，這意味著在大模型的賦能之下，傳統(tǒng)AI產(chǎn)品的能力覆蓋率將會迎來質(zhì)的飛躍。

例如在一些客服質(zhì)檢場景，傳統(tǒng)方法是利用關(guān)鍵詞識別，去判斷涉及敏感內(nèi)容或辱罵性的詞句。而依托大模型的語言理解能力，基于大模型所構(gòu)建的質(zhì)檢系統(tǒng)，一些不含有敏感詞但句意為辱罵或涉及違法的內(nèi)容也將能夠被準(zhǔn)確識別并抓取。

另外，在我們熟悉的營銷領(lǐng)域亦是如此。原先做營銷外呼需要將產(chǎn)品話術(shù)及對話SOP提前設(shè)定好，然而即便如此SOP也沒法窮舉客戶的不同狀態(tài)，例如客戶在開車亦或開會時該怎么做，傳統(tǒng)營銷系統(tǒng)都難以應(yīng)付。大模型則只需要通過一些績優(yōu)話術(shù)的訓(xùn)練，便能夠基本達到人類業(yè)務(wù)員的水準(zhǔn)。

目前中關(guān)村科金主推的一大產(chǎn)品應(yīng)用便是能夠服務(wù)營銷、客服、行政、財務(wù)等諸多不同業(yè)務(wù)場景的虛擬員工助手。不同業(yè)務(wù)場景的虛擬員工都源于同一套技術(shù)路徑，即底層能力來自大模型及AI原子能力，以支持信息抽取、文本理解及內(nèi)容生成。

對于企業(yè)最關(guān)心的大模型落地成本與安全性問題，張杰也總結(jié)了一些自己的觀點和中關(guān)村科金目前所提出的解決方案。在企業(yè)私有化部署時，很多場景不需要太大體量的大模型，更沒必要從0到1訓(xùn)練基礎(chǔ)模型。很多時候幾十億、幾百億參數(shù)的小模型就能解決具體問題，加之應(yīng)用云服務(wù)，部署大模型及訓(xùn)練的整體成本并不會過高。

安全層面，中關(guān)村科金則提出了一套新的安全體系，通過數(shù)據(jù)清洗、隱私脫敏、合規(guī)加訓(xùn)、提示工程約束與傳統(tǒng)合規(guī)質(zhì)檢五層安全防護的處理，以確保大模型以及基于大模型所構(gòu)建的系列應(yīng)用能夠盡可能擺脫幻覺問題的困擾。

5.大模型的應(yīng)用高地

“隨著技術(shù)和應(yīng)用的不斷成熟，大模型的應(yīng)用場景將變得非常多，知識密集型行業(yè)將最有可能率先成為大模型落地的高地，例如金融、制造、政務(wù)等?！痹诨卮鹩嘘P(guān)大模型領(lǐng)域未來發(fā)展趨勢的問題時，張杰提出了自己這樣的判斷。

金融業(yè)有著許多大模型應(yīng)用落地場景，這是由于金融業(yè)擁有較強的數(shù)字化基礎(chǔ)，且每一點小的突破都能帶來可衡量的收益。在銀行、保險、證券等行業(yè)的營銷、服務(wù)等業(yè)務(wù)場景中，大模型都能夠?qū)I(yè)務(wù)人員形成很好的賦能。

此外，如制造、政務(wù)等領(lǐng)域，雖然仍在數(shù)字化進程中，但它們的共同點便是行業(yè)內(nèi)都存在著海量信息，利用大模型將這些知識碎片收集記憶起來，按需賦能給相關(guān)人員，將能夠顯著提升多種場景下業(yè)務(wù)人員的工作效率。

張杰強調(diào)稱：“任何技術(shù)從前沿的突破，到工程化、產(chǎn)品落地試點，再到大規(guī)模落地，都會有一個技術(shù)應(yīng)用的生命周期?，F(xiàn)在大模型技術(shù)非?；鸨m然在應(yīng)用過程中還需要一段的時間積淀，但在未來三到五年，這一領(lǐng)域?qū)錆M機遇?！?/p>