Akulaku 作為一個海外互聯(lián)網(wǎng)金融平臺，運用大模型優(yōu)化金融風控、客服及電商推薦等場景，通過集成圖像（如 KYC 人臉識別）、文本（如智能客服）與設(shè)備數(shù)據(jù)，增強風控系統(tǒng)效能與用戶體驗。大模型的引入旨在提升效率，通過優(yōu)化小模型構(gòu)建與工作流程自動化，減輕業(yè)務(wù)人員負擔。智能體在金融領(lǐng)域的應(yīng)用包括欺詐調(diào)查與數(shù)據(jù)分析助手，預(yù)示著通過大模型輔助構(gòu)建類 AGI 系統(tǒng)的可能性，能夠進一步提升金融風控的效率與效果，在金融領(lǐng)域擁有廣泛的應(yīng)用前景。本文將分享 Akulaku 在金融風控領(lǐng)域的大模型落地實踐。

一、公司業(yè)務(wù)背景介紹

首先介紹一下公司的業(yè)務(wù)背景。

Akulaku 是一家主打海外市場的互聯(lián)網(wǎng)金融服務(wù)提供者，服務(wù)內(nèi)容包括網(wǎng)上購物和分期付款、現(xiàn)金貸、保險等等，主要應(yīng)用于金融風控、電商智能客服以及電商推薦等場景中。無論是在用戶審核、信用評估，還是在反欺詐識別等環(huán)節(jié)，單純手工操作和業(yè)務(wù)規(guī)則判斷無法高效準確地處理大量的用戶請求，攔截各種黑產(chǎn)攻擊。所以我們的總體目標是構(gòu)建基于各種技術(shù)手段的敏捷高效的智能風控系統(tǒng)，以應(yīng)對各種威脅，不斷提升用戶體驗。

具體應(yīng)用場景包括授信申請、登錄校驗、下單校驗、催收、客服回訪等多個業(yè)務(wù)環(huán)節(jié)，其中會涉及到不同模態(tài)的數(shù)據(jù)：

• 圖像：最典型的應(yīng)用場景是 KYC 人臉核身。一般金融機構(gòu)都會有 KYC 的審核來確定，第一你是真人，第二你是你自己。
• 文本：典型應(yīng)用場景是智能客服，包括文本客服、語音客服。
• 語音：典型場景包括智能客服，以及質(zhì)檢和電話催收。
• 設(shè)備：設(shè)備數(shù)據(jù)是風控的一個重要參考維度，包括設(shè)備環(huán)境的校驗，唯一 ID 的構(gòu)建等等。

二、大模型落地整體思路

在大模型興起以前，我們就在持續(xù)為業(yè)務(wù)部門提供各種 AI 模型，涵蓋之前介紹的各種模態(tài)數(shù)據(jù)。在大模型興起之后，我們希望進一步提高智能風控系統(tǒng)在各個業(yè)務(wù)環(huán)節(jié)以及各種數(shù)據(jù)形態(tài)上的效能。總的愿景就是要構(gòu)建一個智能體系統(tǒng)。大模型使我們離 AGI 通用人工智能又更進了一步，而我們也試圖去構(gòu)建一個金融領(lǐng)域的 AGI。一個智能體系統(tǒng)主要包含以下三個重要模塊[1]：

（1）規(guī)劃模塊（Planning）

包括各種業(yè)務(wù)決策的知識，通常固定在智能體的鏈的定義中，也就是LangChain里面的一個chain，系統(tǒng)整體上是各種智能體的結(jié)合。

（2）存儲模塊（Memory）

業(yè)務(wù)系統(tǒng)中的各種數(shù)據(jù)和元數(shù)據(jù)，可能存儲在一種或者多種外部數(shù)據(jù)庫中。

（3）工具模塊（Tools）

各種專有領(lǐng)域的業(yè)務(wù)模型和業(yè)務(wù)邏輯，包括各種圖像模型、NLP 模型、風控的判別模型，以及風控系統(tǒng)的一些具體的業(yè)務(wù)邏輯等等。

智能體系統(tǒng)與我們的現(xiàn)有系統(tǒng)，包括風控系統(tǒng)、模型系統(tǒng)并不是割裂開的一個新生成的體系，而是從原有體系演進而來的。具體落地分為兩大類：

（1）針對 Tools 的強化

第一類是針對 tools 的強化。比如針對 KYC 模塊里面的某個具體的圖像模型，優(yōu)化其效能?？梢岳么竽Ｐ屠斫庵噶畹哪芰?，和它承載的對應(yīng)語言的通識和泛化能力，來做數(shù)據(jù)增強和引導(dǎo)，來增強特定環(huán)節(jié)的專有模型。這就是針對 tools 的強化。

（2）針對 Planning 和 Memory 的強化

第二個角度是針對 planning 和 memory 的強化。第二個方向的對象是人，我們希望從業(yè)務(wù)同學(xué)現(xiàn)有的繁瑣的重復(fù)性工作中涉及的業(yè)務(wù)知識和決策抽取出來，固定在一個智能體的鏈中，構(gòu)建相應(yīng)的智能體角色。在智能體以及大模型的概念提出之后，我們在做需求的時候，雖然具體落地仍是逐一實現(xiàn)，但是在落地之前，我們會思考這些需求之間的相互關(guān)系，并不是以單個場景或者是單個模型的角度去思考，而是以一個角色的角度去思考。比如現(xiàn)在要做的是數(shù)據(jù)分析師角色的優(yōu)化，或者是欺詐調(diào)查員角色的優(yōu)化。

三、大模型優(yōu)化案例

下面將通過一些具體案例來說明我們是如何實現(xiàn)大模型落地的。

1. 針對 Tools 的強化

（1）NLP 模型優(yōu)化

首先，針對 tools 的強化，第一個案例是來自一個數(shù)字金融系統(tǒng)中的場景，根據(jù)客服對話歷史判別用戶是否需要特殊干預(yù)。按照以前的做法，面對這個問題，模型團隊首先需要積累數(shù)據(jù)或者標注數(shù)據(jù)，所以整個交付流程和迭代流程會非常冗長和低效。

引入大模型之后，不再需要十萬級的樣本，只需要少量人工標注的數(shù)據(jù)，大概幾百到 1000 左右就可以了。首先通過一個大模型 Agent 基于標注的數(shù)據(jù)生成候選提示詞，就是我希望這個樣本數(shù)據(jù)應(yīng)該是怎么樣的。然后第二個 Agent 會對前面提到的這個 Agent 進行排序打分，選出一個比較好的 prompt 交給大模型去生成數(shù)據(jù)。大模型的特點就是它能泛化，但是比較慢，而慢在這里不是太大的問題，因為它需要的訓(xùn)練數(shù)據(jù)量只有十萬條級別，也不是特別多，基于這樣的樣例數(shù)據(jù)就可以做一個線上的推理模型。

可能有的同學(xué)問為什么不直接把這個大模型上線？主要的原因是現(xiàn)在這個系統(tǒng)每天的吞吐量要求很高，如果要讓大模型實現(xiàn)非?？焖俚捻憫?yīng)，就難以避免延時。因此比較好的一個辦法就是直接讓它去生成數(shù)據(jù)，蒸餾數(shù)據(jù)，然后生成小模型來迭代業(yè)務(wù)系統(tǒng)相應(yīng)的模塊。

最終這個需求的人工標注量大幅減少，減少了 90%，模型交付時間顯著縮短，而模型效果比原來提高 20%。最令業(yè)務(wù)方最滿意的是標注量和交付時間的減少，這意味著整個系統(tǒng)更加敏捷，應(yīng)對變化的效率更高。

（2）圖像反欺詐模型優(yōu)化

第二個案例更為典型，即圖像反欺詐模型優(yōu)化，針對的場景是 KYC 人臉核身。大家都用過刷臉，背后其實不是一個單一的模型，而是由很多個模型聯(lián)合實現(xiàn)的。其中會判別是否存在欺詐行為，比如拍屏或者用高清面具偽裝成某一個特定的人。

這看起來是一個簡單的圖像分類，而其中有兩個問題。第一個問題是領(lǐng)域適配。用戶的人臉屬于敏感數(shù)據(jù)，我們實際不能接觸到用戶的人臉數(shù)據(jù)，只能通過公開數(shù)據(jù)去訓(xùn)練適配，比如上圖中右上角展示的圖片是來自公開數(shù)據(jù)的一張圖。但是用大量的公開數(shù)據(jù)去訓(xùn)練的模型，可能跟實際的業(yè)務(wù)場景相去甚遠，比如光照條件、人臉的膚色，可能跟實際的用戶差比較遠。因此模型的泛化會是很大的問題

第二個問題是欺詐者會不斷變換攻擊手段，所以模型必須要敏捷且泛化。而以往的訓(xùn)練流程缺乏標注人手，難以提高模型性能。

有了大模型之后，我們通過人工少量的標注的圖片和提示詞。比如讓大模型描述圖片中的臉，模型就會返回這張臉在一個手機中而手機是由人拿著，這與業(yè)務(wù)人員的理解是非常接近的。即使我們使用公開的數(shù)據(jù)進行訓(xùn)練，多模態(tài)的大模型通過圖像模態(tài)和文本模態(tài)的對齊，也能抽取出實際泛化的語義特征，確保模型在真實場景的泛化性能。

具體實現(xiàn)方法是通過 CLIP 去抽取大模型生成的描述的文本特征，然后用視覺的 Transformer 可以抽取圖像本身的特征，然后可以專門去做對齊。這里是三個代價函數(shù)的加總，中間是 CLIP 的對比學(xué)習(xí)的代價函數(shù)，實際上就是文本特征跟圖像特征做對比學(xué)習(xí)；頭尾就是視覺 Transformer 的損失函數(shù)，一個是 Reconstruction Loss，另一個是分類的 Loss，三者加權(quán)。當你直接去看 attention 的 mask 的時候，就會發(fā)現(xiàn)經(jīng)過這樣的對齊，它相應(yīng)的圖的注意力的 mask 會聚焦到人對這個圖的理解上。即使膚色改變或光照條件改變，模型也還是會有一定的泛化能力。

后面是一個判別模型，這個判別模型還是要以 mini GPT 4 的描述作為其中一個輸入，所以會有點慢，但是已經(jīng)能夠滿足需求，我們就用它來理解和標記訓(xùn)練數(shù)據(jù)，然后就可以得到線上的一個更快的推理模型。

這一方案除了效果和泛化能力出色之外，更特別的一點就是它與人本身的思維通過自然語言這一載體自然對接起來了，即使我們的訓(xùn)練數(shù)據(jù)和真實場景看起來比較遠，也能高效抽取出真正泛化的特征，這使得整個模型的交付效率大幅提升[2][3]。

（3）總結(jié)

原始流程中，業(yè)務(wù)提一個需求，要做 AI 模型，就需要大量的標注工作量，而且往往我們對于這個領(lǐng)域的理解沒有辦法注入到數(shù)據(jù)中。但現(xiàn)在基于大模型，圖像的特征與語言描述得以對齊，然后通過語言這個載體，就可以與業(yè)務(wù)方的期望進行對齊。

這里利用了大模型承載的通識，用來生成訓(xùn)練數(shù)據(jù)；還利用了大模型的指令理解能力，領(lǐng)域?qū)＜抑苯訉⑺麑@個 case 的理解，通過自然語言來引導(dǎo)大模型來注入領(lǐng)域理解。

2. 針對 Planning 和 Memory 的強化

（1）欺詐調(diào)查助手

第二類是針對 Planning 和 Memory 的強化，實際上就是給我們的業(yè)務(wù)人員減負、提效。第一個場景是反欺詐調(diào)查的 copilot，通過與欺詐調(diào)查員的對話來解決相關(guān)問題。利用 GraphRAG 技術(shù)，首先進行意圖識別，這里的意圖基本上都是固定好的，可枚舉的，第一個就是基于業(yè)務(wù)知識的一般問答，第二個是基于調(diào)查庫表的簡單查詢，第三個是基于關(guān)聯(lián)團伙的查詢。意圖識別完成之后，針對意圖來做參數(shù)解析，然后進行查詢。

這里的業(yè)務(wù)知識一般都是以自由文檔的方式存儲在 RAG 的向量庫里面，業(yè)務(wù)庫表在數(shù)倉中。目前公司沒有一個特別完備的數(shù)據(jù)血緣，所以很多數(shù)據(jù)血緣的信息實際上是放在領(lǐng)域文檔里面的。所以第一步可能會做一個簡單的圖關(guān)系的抽取，一般都是一個預(yù)置好的 prompt，比如一些表的信息和關(guān)聯(lián)的信息，如果有的話就把它抽出來做一個簡單的支撐。

以上就是欺詐調(diào)查助手場景的實現(xiàn)。

（2）數(shù)據(jù)分析助手

第二個場景也是一個非常通用的場景，即 ChatBI，是基于 Text2SQL 實現(xiàn)的。當有數(shù)據(jù)分析需求時，可以直接提問。首先根據(jù)用戶提問去做拆解，確定需要調(diào)用哪些工具。我們目前有兩個工具，一個是 Text2SQL，另一個就是基于 Pandas 的一個簡單的可視化分析工具。選定工具之后，就依賴工具執(zhí)行對應(yīng)的動作，會去調(diào)用向量數(shù)據(jù)庫召回文檔和領(lǐng)域相關(guān)的一些描述文本片。根據(jù)每一個 Agent 的返回結(jié)果來決定這個問題是否已經(jīng)解決。

在這個 Text2SQL 的 Agent 里面，還會有一個與上面類似的小循環(huán)。我們的數(shù)據(jù)分析是基于 Presto。用戶會把他自有的文檔放到向量數(shù)據(jù)庫里面，Redis 里面存對話歷史。首先基于用戶提的問題，獲取表的元數(shù)據(jù)信息和它自有的文檔里面獲取相應(yīng)的文本片和思維鏈的一些線索，拼成一個總的 prompt，輸入到大模型的 Agent 里面，然后生成 SQL、檢驗 SQL、執(zhí)行 SQL、修改 SQL，這樣循環(huán)幾次之后把最終的結(jié)果返回。

在落地過程中我們發(fā)現(xiàn)一個難點，這一做法對新寫 SQL 效果還行，但是對于已有的一些比較復(fù)雜的 SQL，我們需要把文檔整理好，然后做相應(yīng)的召回，這個 Agent 才能有比較好的效果。

（3）總結(jié)

針對 Planning 和 Memory 的強化與前面針對 Tools 的強化不同，它不是對一個具體模型的優(yōu)化，而是去做一個角色，比如代碼開發(fā)、數(shù)據(jù)分析、個案排查或是客服。針對 Planning 和 Memory 的強化以 Copilot 的形式來提供，先構(gòu)造一個助手，利用大模型文本生成和理解的能力，工具調(diào)用的能力，以及已有的文檔，盡可能好地構(gòu)造一些結(jié)構(gòu)化的知識，使大模型的結(jié)果盡可能靠近用戶預(yù)期。這樣以 Copilot 的形式來協(xié)助相應(yīng)角色完成開發(fā)、分析或調(diào)查等工作。最終基于這些 SQL 或是調(diào)查中抽象出固定的流程。

四、總結(jié)與展望

我們的智能體落地步驟可以總結(jié)為：

• 第一步，針對具體模型的進行提效，通過大模型的通識和泛化能力，對小模型的構(gòu)建實現(xiàn)提效。
• 第二步，逐步將業(yè)務(wù)知識提煉、固化。原來可能是主管對員工，然后員工去找 Copilot，后面在員工和 Copilot 協(xié)作的過程中，不斷抽象業(yè)務(wù)和模式，并固定在鏈路定義中。最終實現(xiàn)主管和主要員工通過操作一個具有決策能力的類 AGI 系統(tǒng)，來完成日常的模型構(gòu)造、案件調(diào)查、個案分析、團伙排查等各種任務(wù)。

落地過程中的一個重要問題是，人應(yīng)該扮演怎樣的角色，智能體系統(tǒng)是否會完全取代人工？從我們的經(jīng)驗以及對未來的判斷來說，大模型 Agent 并不可以完全替代人，而只是擴大人的能力范圍，由大模型來一定程度上替代繁瑣的重復(fù)工作，而使人更加聚焦于業(yè)務(wù)情況的核心問題。

我們有一個核心的風控和智能系統(tǒng)，包括各種風控、營銷、電商和金融系統(tǒng)，都是固定的模型和固定的業(yè)務(wù)邏輯。中間是各部門對應(yīng)的欺詐調(diào)查、模型構(gòu)造、策略分析等業(yè)務(wù)，我們期望通過逐步引入智能體，將這些工作中標準化的部分固化下來，最終由 Agent 去實現(xiàn)。人就可以聚集于整個業(yè)務(wù)的全局，以及一些重要的個案。

業(yè)務(wù)人員在發(fā)現(xiàn)了一些業(yè)務(wù)中新的現(xiàn)象之后，會去嘗試總結(jié)成提示詞，然后去引導(dǎo)中間的 Agent 去挖掘數(shù)據(jù)、生成數(shù)據(jù)，以及做一些對應(yīng)的分析匯總。通過這個分析匯總生成新的訓(xùn)練數(shù)據(jù)和蒸餾更加有效的模型，然后部署到我們線上的實時系統(tǒng)中去。過程中會對運行結(jié)果進行實時的統(tǒng)計和監(jiān)控，然后把結(jié)果和一些異常的個案匯總到人工層。這就是我們希望實現(xiàn)的智能體系統(tǒng)的結(jié)構(gòu)。

以上就是本次分享的內(nèi)容，謝謝大家。

五、引用

[1] Lilian Weng (2023, June 23).  LLM Powered Autonomous Agents  https://lilianweng.github.io/posts/2023-06-23-agent/。

[2]Zhang Y, Yin Z F, Li Y, et al. Celeba-spoof: Large-scale face anti-spoofing dataset with rich annotations[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XII 16. Springer International Publishing, 2020: 70-85.

[3]Fang, H., Liu, A., Jiang, N., Lu, Q., Zhao, G., & Wan, J. (2024, April). VL-FAS: Domain Generalization via Vision-Language Model For Face Anti-Spoofing. In ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 4770-4774). IEEE.