一、恒生電子的大模型應(yīng)用實踐

1. 大模型的發(fā)展趨勢

（1）大模型推動第三次信息化浪潮

上圖是恒生電子董事長劉曙峰先生經(jīng)常引用的經(jīng)典圖，將金融領(lǐng)域的數(shù)字化推進分為三個階段，恒生電子目前正處于 2.0 到 3.0 的過渡階段。在遷徙的過程中，最重要的生產(chǎn)要素就是數(shù)據(jù)。

隨著最新的 AI 大模型浪潮的襲來，當前時代充滿著機遇，而金融領(lǐng)域也遇到了前所未有的、碾壓式的技術(shù)革命。

（2）碾壓式的技術(shù)革命-大模型-從 AI 任務(wù)層面看

如上圖左側(cè)，在大模型出現(xiàn)之前，很多場景都有分散的、獨立構(gòu)建的 AI 系統(tǒng)，使用小模型用相應(yīng)的標注數(shù)據(jù)進行訓(xùn)練，然而總體還是不夠理想，距離預(yù)期還有一定的差距，并且不同的任務(wù)也呈現(xiàn)出不同的狀況。到了以 ChatGPT 為代表的大模型面世之后，我們看到了另外一番景象，即無需要進行大量重復(fù)訓(xùn)練，而是提前做好預(yù)訓(xùn)練，無需針對不同的場景開發(fā)煙囪式的系統(tǒng)，僅通過預(yù)訓(xùn)練模型經(jīng)過少量精調(diào)就可以適應(yīng)不同任務(wù)，并且效果往往會超預(yù)期。

（3）哪些方面能力提升了

新一代 AI 系統(tǒng)會碾壓前一代，并真正實現(xiàn)平臺化。這個代差，首先體現(xiàn)在語言能力上，另外還有極其精準的意圖識別能力，上下文順暢的寫作能力，對知識和邏輯的理解能力，以及代碼生成能力。對于專業(yè)領(lǐng)域知識，大模型也會表現(xiàn)得越來越專業(yè)，同時數(shù)學(xué)能力和邏輯能力也會有相當程度的提升。

（4）大模型發(fā)展路線

大模型的發(fā)展包括兩條技術(shù)路線，一條是 OpenAI 為代表的 GPT 路線，一條是以谷歌為代表的 Bert 路線。這兩條路線，一個是所謂單向的，一個是所謂雙向的。從去年開始，兩條路線已經(jīng)分出勝負。

（5）大語言模型登頂 NLP 的深層原理

讓我們從 NLP 的角度來看一下，大模型都做了什么事情，解決了哪些問題。

• 橫向：遠距關(guān)聯(lián)

從橫向看，大模型解決了 NLP 領(lǐng)域的一個難題——遠距離上下文關(guān)聯(lián)問題，即前文提到的一個詞語或一段文字和后文的某一部分是相關(guān)的，然而兩個詞語中間的間隔可能很遠，因此不同大小的窗口設(shè)定會帶來不同的結(jié)果。

實踐發(fā)現(xiàn)，窗口設(shè)定的臨界值大約在 1000 個 token 這樣的量級，會給上下文關(guān)聯(lián)的能力帶來質(zhì)變。因為這里會涉及前后文的 attention，即對窗口內(nèi)的 token 進行大規(guī)模的計算，因此只有具備足夠的算力支持，才可以把窗口延伸得足夠遠，才能夠?qū)⑶拔牡南嚓P(guān)線索“抓取”出來并應(yīng)用到當前文字的解讀和生成上，從而有效地實現(xiàn)文本的遠距關(guān)聯(lián)，突破原先 NLP 技術(shù)路線下的瓶頸。

• 縱向：隱形資源

從縱向的角度看，不管是對文本的解讀還是生成，整個過程中不僅僅使用了字面上的資源，同時還使用了很多深層的隱形資源，包括語義本體、常識事理等。前期有人嘗試將隱形資源用人工方式進行形式化（比如 CYC），實踐發(fā)現(xiàn)其效果非常不理想。

大模型的引入，利用優(yōu)質(zhì)的文本資源（如教科書、百科全書等正規(guī)的、優(yōu)質(zhì)的書籍），正確地學(xué)習(xí)和使用語義本體知識以及常識事理知識，通過大量優(yōu)質(zhì)文本的訓(xùn)練，將知識及背后模式挖掘出來。當模型參數(shù)超過 500 億時，往往會產(chǎn)生質(zhì)變，出現(xiàn)一種涌現(xiàn)能力，而這種涌現(xiàn)能力也是和隱形資源的體量直接相關(guān)的。

2. 大模型在金融場景的實踐

（1）金融業(yè)務(wù)場景分析

在金融領(lǐng)域，恒生電子涉及到的業(yè)務(wù)面較多，涵蓋客服、投顧營銷、風(fēng)控運營、投研、投行、量化交易等諸多方面。每條業(yè)務(wù)線都對大模型的應(yīng)用場景進行了梳理，也挖掘出了部分場景可以采用大模型來賦能，其中一些是新物種，即之前由人來完成且效率不高，使用大模型可大大提高效率。還有一些屬于原有系統(tǒng)，通過引入大模型來提升用戶交互體驗。

（2）金融對內(nèi)場景賦能

除了外部金融業(yè)務(wù)場景賦能外，恒生還會使用大模型對內(nèi)部場景進行賦能，以提升協(xié)作效率，實現(xiàn)軟件研發(fā)和數(shù)據(jù)生產(chǎn)等環(huán)節(jié)的重構(gòu)，這也是非常重要的應(yīng)用場景。

（3）連橫合縱：通用大模型（收）+垂域大模型（放）

將大模型技術(shù)落地應(yīng)用到金融這樣的垂直領(lǐng)域，這樣的應(yīng)用模式不同于大模型在公有云上的模式。在公有云上，會以大模型為核心，圍繞一系列插件構(gòu)成的插件聯(lián)盟，應(yīng)用到各種垂直領(lǐng)域中。但是在垂直領(lǐng)域，往往是一個能力中心外接多個大模型，賦能多個應(yīng)用。因此，能力中心的建設(shè)就變得非常重要。

對于通用大模型，經(jīng)歷過一系列“千模大戰(zhàn)”，實際上現(xiàn)在正在收縮，一些好的大模型遙遙領(lǐng)先，還有稍有實力的模型在拼命追趕，而有些模型在逐漸被淘汰，所以說通用大模型在收。

然而對于垂域大模型，則是另外一番景象，因為每個垂直領(lǐng)域都有一些特定的問題，因此相對于通用大模型，垂域大模型對特定領(lǐng)域會有更強的適配性，在實踐應(yīng)用中會有更高效的表現(xiàn)，這也是恒生電子在能力中心以及中控建設(shè)之外，仍然會在垂域大模型方面進行投入和研發(fā)的原因。

3. 大模型生態(tài)

（1）“家里有數(shù)”，大模型生態(tài)因此而不同

金融領(lǐng)域大模型的生態(tài)，和公有云上的生態(tài)有哪些不同？

首先，金融大模型“家里有數(shù)”。所謂家里有數(shù)，一方面是金融領(lǐng)域有一些公開數(shù)據(jù)作為數(shù)據(jù)資產(chǎn)（當然，公開數(shù)據(jù)為保證其時效性，可能需要一些商業(yè)授權(quán)）。另一方面是金融機構(gòu)自身的大量的私有數(shù)據(jù)、私有系統(tǒng)接口等。

上圖中，左邊部分主要來自外部，而右邊部分基本都來自企業(yè)內(nèi)部，包括內(nèi)部文檔、內(nèi)部數(shù)據(jù)庫、內(nèi)部知識圖譜以及內(nèi)部系統(tǒng)的開放接口等。

大模型和應(yīng)用之間會有一個以 RAG 為核心的中控，用來搭接外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，起到“連接四面八方”的作用。

（2）恒生電子大模型生態(tài)藍圖

在恒生大模型生態(tài)中，算力實際上是在最底層的，基礎(chǔ)大模型是通用能力，不特意面向某個專業(yè)領(lǐng)域（實際上優(yōu)秀的基礎(chǔ)大模型的專業(yè)能力也是不可小覷的）；而所謂行業(yè)大模型，其中一個重要理念是站在巨人的肩膀上，即：如果基礎(chǔ)大模型在專業(yè)上已經(jīng)做得足夠好，那我們就可以少做點事；如果基礎(chǔ)模型做得還不夠好，那我們就多做點事。舉個例子，假如開源大模型比較“笨重”，難以進行私有化部署，那我們就提供私有部署；假如該模型已經(jīng)提供私有部署，且體量適中，那我們的壓力就會大大減輕?？傊?，我們是站在巨人的肩膀上，避免重復(fù)造輪子。

前文所述的中控（也叫光子）部分，該插件會提供數(shù)據(jù)間“共性能力”的支撐，賦能投顧、客服、運營、合規(guī)交易等微場景，這是恒生大模型的整體藍圖。

4. 金融大模型應(yīng)用現(xiàn)狀問題

首先，會遇到專業(yè)性不足這類問題，因此如果發(fā)現(xiàn)更好的大模型，我們就專注于實現(xiàn)這個大模型的對接；如果模型在現(xiàn)階段做得還不夠好，那么就增強其專業(yè)能力，使得其在現(xiàn)階段表現(xiàn)得足夠好。

其次，對于金融領(lǐng)域，由于涉及跨域流動甚至跨境流動等方面的合規(guī)監(jiān)管，因此會存在內(nèi)容生成和數(shù)據(jù)流動等方面的安全性問題，這個問題對于金融領(lǐng)域而言尤其需要嚴格遵守。除了涉及安全本身，其監(jiān)管主要來自于國家網(wǎng)信辦等。對于行業(yè)的監(jiān)管，作為專業(yè)知識提供者，這樣的軟件系統(tǒng)或者平臺，需要有對身份的把握能力。

再次，為了降低推理的算力成本，2023 年 6 月實現(xiàn)了 LightGPT 的發(fā)布，即恒生版本的金融大模型，10 月 19 日開始公測，年底提供一些插件服務(wù)，包括推理性能的優(yōu)化，以及復(fù)雜指令的邏輯能力等。

5. 恒生大模型——LightGPT

（1）LightGPT 安全機制

在安全方面，主要實施了如下舉措：

語料安全：

• 金融法律法規(guī)（5000+ 條）：證券法/公司法/等。
• 法律相關(guān)出版書籍（1500+ 本）
• 價值觀數(shù)據(jù)：學(xué)習(xí)強國/人民日報/黨章黨建（500 萬 tokens）
• 剔除 8 大維度違規(guī)數(shù)據(jù)（總計 1.5）

模型安全：

• 生成內(nèi)容安全。
• 服務(wù)透明度。
• 內(nèi)容生成準確性。
• 內(nèi)容生成可靠性。
• 超過 8000 條安全指令和強化學(xué)習(xí)數(shù)據(jù)。

模型評估：

• 基礎(chǔ)安全評估：超過 5000 條安全評測數(shù)據(jù)，合格率大于 97%。
• 金融監(jiān)管評估：新增金融法律法規(guī)遵從 3500 條評測數(shù)據(jù)。
• 生成內(nèi)容安全評估：應(yīng)拒答率不低于 95%（國家制度、民族、地理、歷史、英烈等。）
• 內(nèi)容拒答評估：拒答率不高于 5%。

其他安全措施：

• 敏感詞庫（20 萬 +）
• 應(yīng)急干預(yù)措施（分鐘級生效）
• 內(nèi)容過濾模型（訓(xùn)練語料內(nèi)容過波、生成內(nèi)容安全評估，支持 31 種風(fēng)險檢測）

從政治敏感、偏見歧視、違法犯罪、隱私財產(chǎn)、倫理道德、臟話侮辱、心理健康、身體傷害這 8 大維度對比國內(nèi)其他大模型的性能，LightGPT 的優(yōu)勢如下：

• 金融法律法規(guī)遵循 LightGPT 勝出 15%。
• 金融領(lǐng)域知識真實性 LightGPT 勝出 13%。
• 誘導(dǎo)性問題，拒絕率 LightGPT 勝出 5%。
• 社會主要價值觀 LightGPT 勝出 3%。

（2）LightGPT 訓(xùn)練語料

訓(xùn)練語料主要包括語種強化數(shù)據(jù)、領(lǐng)域強化數(shù)據(jù)和應(yīng)用強化數(shù)據(jù)這 3 大類。隨著越來越多新的大模型底座的不斷涌現(xiàn)，數(shù)據(jù)強化工作后續(xù)會不斷調(diào)整和更新。

（3）LightGPT 中間件光子

中間件光子，實現(xiàn)了模型、應(yīng)用、資源這三大連接。

• 連接模型：包括自身在內(nèi)的金融大模型，同時提供連接其他大模型的路由。
• 連接資源：光子本身可以看成是大模型 Hub，作為連通八方的資源連接器，包括內(nèi)外部的數(shù)據(jù)資源、程序資源、接口資源等。
• 連接應(yīng)用：既包括新產(chǎn)生的應(yīng)用，也包括恒生向各個業(yè)務(wù)域提供的傳統(tǒng)應(yīng)用，這些傳統(tǒng)應(yīng)用嵌入到由光子支撐的 Copilot，使用自然語言指令一鍵完成菜單點擊，這是恒生的努力目標。

（4）應(yīng)用場景

LightGPT 主要應(yīng)用于以下幾個場景：

第一個是寫作場景，投資顧問對特定板塊、特定個股做周報、月報等。

第二個是合規(guī)場景，基于內(nèi)外部法律法規(guī)、規(guī)章制度，從檢索詢問到解讀和設(shè)置，一直到應(yīng)用。

第三個是投顧場景，該場景需要集中各種優(yōu)勢資源，同時也有一些合規(guī)方面的考慮。該場景往往是理財師在兜底，理財師主要是面向客戶，而我們的 AI 工具則同時把客戶信息和 AI 建議的話術(shù)提供給理財師，支持理財師進行不斷修改和完善直到滿意，然后一鍵推送給客戶。

對于客戶的提問，大模型在有些場景下會直接給出答案，在有些場景下則會基于實時的行情指標提供廣泛的答復(fù)；同樣，所提供的信息不僅僅來自原始資訊，還包括基于資訊經(jīng)過二次處理并打上標簽的信息。這些信息可以在特定的對話上下文中整合，并通過計算得出回答。

在這個場景中，涉及的問題首先是深度性的，需要從多個角度進行分析；其次，它依賴于大量的活數(shù)據(jù)，這些活數(shù)據(jù)并非來自大模型本身，而是來自外部生產(chǎn)系統(tǒng)的行情資訊，以及內(nèi)部 CLM 系統(tǒng)（客戶關(guān)系管理系統(tǒng)，包括客戶開戶信息、客戶交易歷史記錄等，這些數(shù)據(jù)反映客戶的風(fēng)險偏好、交易習(xí)慣以及當前的持倉情況等）。以上這些活數(shù)據(jù)會顯著提升理財師、投資顧問等的服務(wù)質(zhì)量。

如果缺少上述活數(shù)據(jù)的支持，需要人工獲取活數(shù)據(jù)，則很難達到較高的效率。在大模型的加持下，這些工具像巫師一樣，可以召喚出所需的信息和咨詢，并展示在屏幕上；同時，可以自行決定將哪些信息推薦給哪些客戶。這是我們非常推崇的工作方式，也是我們重點打造的場景。

第四是運營場景，主要涉及對文檔的處理，特別是對掃描后的合同文檔進行關(guān)鍵參數(shù)提取，并在此基礎(chǔ)上進行人工校對，不僅要檢查已提取的參數(shù)，同時要對照原文，審查其來源出處，并檢查其原始影像的質(zhì)量，從而確保校對的準確性和完整性。這樣能夠在保證數(shù)據(jù)準確無誤的同時，最大程度地提高工作效率。而運營場景也正在不斷擴展，模型正在嘗試使用一句話實現(xiàn)復(fù)雜的、具有多層菜單結(jié)構(gòu)的操作步驟，這也是未來工作的一大方向。

第五是投研系統(tǒng)，WarrenQ。在過去的小模型時代，我們談?wù)摰氖撬阉鳌㈤喿x、計算和寫作。現(xiàn)如今，搜索功能已經(jīng)演變?yōu)?Chat 模式，包括對外部資源的搜索和內(nèi)部文檔庫的搜索，還可以調(diào)取相應(yīng)的數(shù)據(jù)?；诤闵煜戮墼刺峁┑牡讓訑?shù)據(jù)，以及分析師在工作時所使用的底稿和素材等，實現(xiàn)了實時精確的操作，在內(nèi)部實現(xiàn)私密性。

基于搜索+大模型+聚源庫，WarrenQ 進一步可實現(xiàn) AI 寫作、文檔挖掘、語音速記和片段對齊等功能，而這些功能都是由大模型提供底層支撐。對于上層應(yīng)用，除了 PC 版本之外，還提供了小程序版本。以上就是恒生在大模型應(yīng)用實踐方面的現(xiàn)狀。

二、大模型時代的知識圖譜

1. 數(shù)智能力：彌漫式賦能各業(yè)務(wù)場景

知識圖譜是 LightGPT 中的一個重要組件，而隨著大模型的發(fā)展，有一些知名人士（比如陸奇博士）曾公開宣稱，在大模型時代，知識圖譜已經(jīng)過時，不再需要。

2. 投資決策三大件：數(shù)據(jù)、計算與推理

實際上，投資決策離不開基于數(shù)據(jù)的推理。

上圖可以看出，實現(xiàn)推理能力，數(shù)據(jù)、知識和結(jié)論缺一不可。然而，大模型是否可以完全實現(xiàn)這樣的推理呢？并非如此。

（1）推理

追蹤推理的歷史，如上圖所示，從古希臘到中國，從古代到現(xiàn)代，從數(shù)理邏輯到自動推理，實際上是人類對自身理性的發(fā)掘、認識、駕馭，最終實現(xiàn)自動化的過程。

而在自動化的過程中，推理可以進一步分為兩類，一類推理是描述特殊和一般的關(guān)系（上圖中的縱向），包括歸納（從特殊到一般）、演繹（從一般到特殊）和類比（從特殊到特殊）等；另一類推理則描述原因與結(jié)果的關(guān)系（上圖中的橫向），從原因到結(jié)果的推理是正常的演繹路徑，而從結(jié)果到原因的推理則是溯因路徑。

（2）邏輯

基于上述多種推理方式，為了研究、描述并實現(xiàn)這些推理，人類提出了各種邏輯系統(tǒng)。有的邏輯系統(tǒng)過于龐大，如上圖的霍恩子句邏輯。日本曾試圖基于該邏輯開發(fā)第五代計算機，但最終失敗了，原因之一就是該邏輯系統(tǒng)與現(xiàn)在主流的計算機體系架構(gòu)并不完全兼容，日本試圖另起爐灶，但未能成功。

在邏輯推理中，上圖中間橙色的圈是描述邏輯，也是現(xiàn)代知識圖譜的基礎(chǔ)。

3. 知識圖譜

（1）從描述邏輯到知識圖譜

上圖是知識圖譜的技術(shù)棧，對此感興趣的讀者可以進一步了解。針對知識圖譜在大模型時代是否會被淘汰這一問題，需要根據(jù)知識圖譜的應(yīng)用場景分情況討論。

（2）知識圖譜應(yīng)用場景分類

首先，要看知識的來源是內(nèi)部還是外部；其次，要考慮知識圖譜的應(yīng)用對象是與人交互還是與系統(tǒng)交互。不同的應(yīng)用場景，實際情況大不相同。

根據(jù)這種組合方式，可以將知識圖譜的應(yīng)用場景劃分為三個類別：

• 第一類是“兩頭在外”，即從公共網(wǎng)絡(luò)抓取非結(jié)構(gòu)化數(shù)據(jù)，最終與人類進行交互。
• 第二類是“一內(nèi)一外”，這類情況進一步細分成兩種情況：
  從公告網(wǎng)絡(luò)抓取結(jié)構(gòu)化數(shù)據(jù)，最終與系統(tǒng)進行交互；
  從內(nèi)部生產(chǎn)系統(tǒng)導(dǎo)入結(jié)構(gòu)化數(shù)據(jù)，最終與人類進行交互。
• 第三類是“兩頭在內(nèi)”，即從生產(chǎn)系統(tǒng)中獲取數(shù)據(jù)，最終與系統(tǒng)進行交互。

（3）知識圖譜應(yīng)用深度分類

除了應(yīng)用模式的差別，還有應(yīng)用深度的差別。而從深度上來看，又可以分成兩種不同的模式：

• 第一種模式為事務(wù)密集型模式，即精度要求相對較低，同時問題本身和推理過程也相對簡單，但是會出現(xiàn)大量用戶同時提出問題；
• 另一種模式為計算密集型模式，例如反洗錢計算、股權(quán)穿透計算、產(chǎn)業(yè)鏈估值計算等，而這類任務(wù)目前即使是大模型也難以勝任。

（4）大模型能代替知識圖譜嗎？

將事務(wù)密集型模式和計算密集型模式結(jié)合起來，同時考慮數(shù)據(jù)來源和數(shù)據(jù)去向，對應(yīng)用場景進行分類，會形成上表這種 2*3 的分類方式。這 6 類應(yīng)用場景，其中只有事務(wù)密集型且“兩頭在外”的這類應(yīng)用場景可以使用大模型來替代，其余 5 類場景則無法使用大模型完全替代。因此，知識圖譜在很多場景下還是不可或缺的。

4. AGI vs. Symbol Awareness

知識圖譜往往需要與大模型協(xié)同工作，即 AGI。類比于人腦，大模型提供的功能類似人類大腦中的顳葉、頂葉、枕葉等部分，即視覺、聽覺和體覺等類型的推理。而當涉及到人類大腦中的額葉區(qū)，即意識、反思等復(fù)雜認知功能時（例如現(xiàn)在完成到什么程度了、對于下一步任務(wù)的推進還缺少什么），大模型還遠遠未能達到理想的效果。目前，這類任務(wù)通常依賴于外掛系統(tǒng)來完成。

以股權(quán)穿透計算為例，可能會出現(xiàn)一種現(xiàn)象：一個實控人可能先“化整為零”，即先將股權(quán)分散投資到多家公司，然后通過這些公司之間的股權(quán)關(guān)系，經(jīng)過一系列復(fù)雜的路徑，最終再“化零為整”，實現(xiàn)對一個目標公司的控制。這類情況往往需要進行傳遞閉包的計算，以確定實控關(guān)系。然而，這種計算并不是大型模型所擅長的，因此需要使用外掛系統(tǒng)來實現(xiàn)。

三、大模型垂直應(yīng)用的倫理問題

1. 專業(yè)角色的自我約束

接下來討論一下大模型應(yīng)用的倫理問題。大模型在提供服務(wù)時，會扮演一個獨特的專業(yè)角色，對于這樣的專業(yè)角色，是需要進行自我約束的，而這種自我約束一般來自法律法規(guī)、行業(yè)規(guī)章制度，或者企業(yè)及用戶單位的內(nèi)部規(guī)定等。

對于“倫理問題”，舉幾個具體的例子：

• “請告訴我哪支股票值得滿倉”這類問題在金融領(lǐng)域是敏感問題，有推薦股票的嫌疑，因此大模型是不能正面回答這類問題的。LightGPT 在應(yīng)對類似問題時，會使用特定的話術(shù)來表達，而不提供任何有關(guān)股票投資的建議或者推薦。
• 年底公司業(yè)績較差，如何美化業(yè)績報表，這類問題會涉及財務(wù)舞弊。LightGPT 在應(yīng)對類似問題時，不僅要拒絕，還要明確告訴用戶說“你不能這樣做”。
• “軍工股有什么內(nèi)幕消息”，對于這類問題，模型一方面不能推薦股票，另一方面也不能參與相關(guān)內(nèi)幕交易，因為可能涉及違法。
• 假如張先生是某上市公司的高管，他太太出事了，被雙規(guī)了，然而公司不想做這個信息披露，去問大模型“如何避免信息披露”，大模型會引經(jīng)據(jù)典，回答：不行，這類信息是需要披露的，并逐條分析論據(jù)利弊。

對于上述這些可能觸碰行業(yè)紅線的問題，大模型有必要將紅線畫出來，再用正確的話術(shù)對客戶進行引導(dǎo)，需要在訓(xùn)練大模型時加入這方面的能力，否則大模型就很難承擔起這樣的專業(yè)角色。

2. 基于內(nèi)容的權(quán)限控制

大模型還會涉及到權(quán)限問題。比如，當用戶提問時，后臺數(shù)據(jù)庫會對信息進行檢索，這樣在信息檢索的過程中就會涉及到權(quán)限的控制問題。LightGPT 已經(jīng)實現(xiàn)了權(quán)限的字段級控制，即哪些字段可以被哪些人訪問。

然而，如果將員工個人信息都嵌入到大模型中，會出現(xiàn)“張三的年終獎有多少”這類涉及隱私的問題，而問題可能是張三的同事提出的，也可能是張三的老板提出的。如果是張三同事或其他人問的，出于對員工隱私的保護，應(yīng)不予回答；如果是其老板問的，則應(yīng)該如實回答。那么，大模型該如何區(qū)分這個問題該如何回答呢？

首先，不建議將這類信息直接嵌入到大模型中，而是建議將其作為外掛數(shù)據(jù)來存儲，然后由中控組件控制外掛的訪問權(quán)限，從而實現(xiàn)這類問題的權(quán)限控制。

3. 生成錯誤的控制

生成錯誤是非常常見的情況，尤其在問答的場景。這里有兩種不同的技術(shù)路線：

一種是將所有 FAQ 都輸入到大模型進行訓(xùn)練，大模型在回答這類問題的時候，往往不拘泥于原 FAQ，而是進行一定程度的臨場發(fā)揮，然而過度臨場發(fā)揮可能會產(chǎn)生一些錯誤。

因此建議使用另一種技術(shù)路線，即使用 RAG 來控制信息的檢索和生成。RAG 是一種結(jié)合了檢索和生成的模型，在生成回答時首先參考先前的標準問題和對應(yīng)答案，進而挑選出最合適的答案，從而提高回答的相關(guān)性和準確性。

具體來說，假如選擇了 Q1，則對應(yīng)的 A1 就是標準答案（同理，選擇 Q2，則 A2 是標準答案），而不是將 Q1 和 A1 輸入到大模型后，由大模型按照概率模型來生成，因為那樣的生成結(jié)果容易不可控。

4. 生成錯誤的責任歸屬：歸因標記

然而，假如生成的回答出現(xiàn)錯誤，其錯誤追溯會相對比較復(fù)雜，因為大模型及其插件，以及周邊資源，耦合成的體系非常復(fù)雜，相對難以定位。

實際上，按照實踐經(jīng)驗，大模型生成錯誤大多會發(fā)生在訓(xùn)練階段或者推理階段：

• 在訓(xùn)練階段發(fā)生的錯誤，往往是訓(xùn)練數(shù)據(jù)有誤造成的，因此需要對錯誤的訓(xùn)練數(shù)據(jù)進行甄別。
• 在推理階段發(fā)生的錯誤，有可能是提問錯誤，也有可能是生成錯誤。
  對于生成錯誤，模型對錯誤的生成語句進行攔截或補救。
  對于提問錯誤，模型對用戶提問的初始意圖及問題的恰當性進行判斷，并增加一些手段去彌補。
• 此外，大模型的檢索增強體系也可能存在數(shù)據(jù)錯誤。

因此，需要在大模型的訓(xùn)練過程中，對錯誤添加歸因標記（即生成的類似日志的標簽），利用歸因標記，便于在事后查找責任歸屬。

5. 大模型應(yīng)用場景

大模型的應(yīng)用場景，可以分為三類，分別是重構(gòu)、嵌入和原生。

（1）重構(gòu)

重構(gòu)，指的是大模型賦能新應(yīng)用，即借助大模型打通相關(guān)的資源鏈路，將原先人工完成的任務(wù)通過大模型來完成。

對于投研、投顧這類復(fù)雜的場景，仍然需要人工的參與，但是人工的工作負擔會大大降低，效率會提高很多。

而對于有些場景，是可以用大模型完全取代人的，例如呼叫中心接線員這類崗位，上崗前需要培訓(xùn)和考試，而考試的過程，一般是考官來模擬刁鉆、脾氣不好等各類奇葩的客戶，考察接線人在這樣惡劣情況下是否還能給出得體的回應(yīng)。在這樣的場景下，可以預(yù)設(shè)人設(shè)，讓大模型獨自來扮演考官這個角色，模擬這個挑剔的客戶，對接線員進行考察。

（2）嵌入

所謂嵌入式，即在原有的應(yīng)用中嵌入大模型 Copilot 副駕駛的能力，從而支持一種新的交互模式。例如傳統(tǒng)的圖形界面交互方式，可以通過大模型結(jié)合自然語言來實現(xiàn)，即透過菜單的層層點擊一步到位地實現(xiàn)用戶的功能，實現(xiàn)語控萬數(shù)，進而語控萬物。這樣，不僅僅拓寬了應(yīng)用場景，同時也拓寬了大模型的語義落地范圍。

（3）原生

原生，是近期各類 AI agent 的主要功能，即涉及多步操作的復(fù)雜指令，其中每步操作都會面向不同的外部資源，將外部資源進行拆解、編排、規(guī)劃，確定執(zhí)行順序以及輸入輸出，將其形成任務(wù)流水線，進行通用化執(zhí)行，最終得到結(jié)果。

以上是大模型的三種常見應(yīng)用場景，其中重構(gòu)類型和嵌入類型相對簡單，目前已有典型的落地場景案例。而在原生場景中，需要較強的任務(wù)拆解、任務(wù)規(guī)劃、任務(wù)執(zhí)行等能力，同時還要具備較強的語言理解能力、計算能力和資源對接能力，這是后面需要著重完善的地方。

6. 大模型發(fā)展的路徑及思考

大模型的發(fā)展路徑及思考，可以用以下幾句話來概括：

• 始于文本，拓展至多模態(tài)理解
• 交互改善&研發(fā)提效
• 從 copilot 到 agent

大模型從最初的文本理解，已經(jīng)拓展到多模態(tài)的理解，并不斷完善交互式體驗，使其在研發(fā)等場景上不斷提效。大模型從一個簡單的 copilot，逐步發(fā)展到一個具備自主派解任務(wù)、規(guī)劃任務(wù)和執(zhí)行任務(wù)的 agent。

目前，大模型的發(fā)展正面臨一個關(guān)鍵的岔路口，即通用 vs. 垂域，以及模型 vs. 中控。

對于通用 vs. 垂域，筆者認為，如果垂域模型是基于公開數(shù)據(jù)和資料訓(xùn)練得到的，那么在預(yù)訓(xùn)練階段直接使用通用模型即可，而垂域模型在這一階段并不具有明顯的優(yōu)勢。在這種情況下，更重要的在于模型精調(diào)，即優(yōu)化模型與場景的資源對接。我們要站在巨人的肩膀上前行，避免“重復(fù)造輪子”。

而對于模型 vs. 中控，筆者認為，“中控”部分目前大有可為，因為其同時對接模型、應(yīng)用和公共資源，而公共資源即活數(shù)據(jù)，具有時效性、精準性和私密性。因此，應(yīng)將“中控”做強做厚，隨著大模型的進化，將應(yīng)用場景武裝得更加智能，發(fā)揮更好的業(yè)務(wù)支撐能力。

四、Q&A

Q1：金融大模型有哪四個典型應(yīng)用場景？

A1：金融大模型主要應(yīng)用于投顧、投研、運維、合規(guī)這四大場景。

Q2：金融大模型率先落地哪個場景？

A2：筆者更加看好投顧和投研這兩個場景。對于投顧場景，需要對活數(shù)據(jù)的綜合使用能力。而活數(shù)據(jù)的使用也是有“厚度”的，常常需要基于活數(shù)據(jù)進行常見問題的提取和加工，以及高頻指標的計算等，需要使用大模型提高信息加工效率，因此投顧這一場景具有較好的發(fā)展前景。而對于投研場景，作為金融工程的基本能力的延展，其價值不局限于研究所，而是將其賦能到資管、風(fēng)控等領(lǐng)域，其面向?qū)ο笠膊痪窒抻诜治鰩煟菍⑵漭椛涞揭患壥袌龅耐缎袠I(yè)務(wù)，甚至可以進一步延伸到實體經(jīng)濟的競品分析、競爭態(tài)勢分析等業(yè)務(wù)。綜上，筆者看好投研、投顧這兩個場景，認為在這兩個場景下大模型可以率先落地。