嘉賓丨白碩

采訪/撰稿丨張潔

編輯丨千山

出品 | 51CTO技術棧（微信號：blog51cto）

在千行百業(yè)中，金融業(yè)一貫是新技術的早期采用者。無論是在數(shù)字化水平，還是在關于產業(yè)AI化的探索上，都走在了前列。因此，金融業(yè)也被視為生成式AI應用落地的潛力股。

然而，我們也應該清醒地認識到，生成式AI目前仍處于起步階段，其在金融領域的廣泛應用還需要時間的沉淀。

此外，大語言模型在實際生產環(huán)境中還面臨著諸多挑戰(zhàn)。例如，引入這些模型后，金融機構能從中獲得多大的經濟利益，其投資回報率是否明確，以及如何有效解決大模型可能產生的幻覺問題，確保模型在產業(yè)應用的最后一環(huán)能夠順利落地，都是亟待解決的關鍵問題。

此次AIGC實戰(zhàn)派特別邀請了恒生電子首席科學家白碩來聊一聊生成式AI在金融行業(yè)落地的那些事兒。

白碩認為，金融業(yè)是擁抱AI最積極的行業(yè)之一，也是有實力將其做深做精的行業(yè)。然而一體兩面，不可忽視的是，鑒于其業(yè)務性質，金融業(yè)對風險因素極度厭惡。同時，應用生成式AI需要成本投入，包括購置算力和進行持續(xù)預訓練，全面鋪開仍然需要時間。金融機構和AI服務提供者需要聯(lián)合共創(chuàng)和試錯，才能踐行價值、提升體驗。

論點先導：

• 金融行業(yè)樂于擁抱 AI。但金融業(yè)天性謹慎，極度厭惡新技術帶來的風險因素。
• 真正能夠落地并滿足剛需的場景需要時間打磨，不是馬上就能實現(xiàn)的。
• 你擔心模型會“說錯話”，究其根本就表明你對它的技術成熟度是不那么信任的。
• 要保證大模型輸出內容的可控，主要有三種模式：內嵌、外掛、上傳。
• 一是長文本，一是多模態(tài)，只有這兩個能力不斷發(fā)展，才能更好地滿足我們的場景需求。
• 不建議廣大中小金融機構去自建大模型或者自訓大模型。
• 針對多任務支持，采用適中規(guī)模參數(shù)模型，但可以用多塊卡多部署幾套，滿足高并發(fā)需求。
• 未來大模型發(fā)展是否能在“大力出奇跡”之外走出另一條路，值得期待。

（為了表述更為流暢，以下采訪內容做了部分文本整理）

一、讓子彈再飛一會兒：真正能落地并滿足剛需的場景仍需時間打磨

AIGC實戰(zhàn)派：當前金融行業(yè)中生成式AI的整體應用程度如何？

白碩：金融行業(yè)是擁抱新技術最積極的行業(yè)之一。一方面，它的人才結構和業(yè)務本身的數(shù)字化水平較高，這決定了其有足夠動力來擁抱和落地新技術。

但另一方面，金融業(yè)天然謹慎，極度厭惡新技術帶來的風險因素。這是由金融業(yè)務本身（屬性）所決定的。它希望在落地過程中能夠遠離風險、控制風險。如果新技術面臨一些諸如合規(guī)、政治正確、誤導用戶的風險，那么這個行業(yè)會試圖盡量排除這些因素。

因此，我們可以看到：首先這個行業(yè)有利于創(chuàng)新技術的發(fā)展。只要這些技術能夠帶來價值，那么金融業(yè)會是不錯的值得深耕的土壤。但同時也要慎重考慮風險因素，如果沒有特別落到實處的解決方案，新技術的應用也不會有很快的節(jié)奏。

另外，在與金融機構的同仁們交流中，我們發(fā)現(xiàn)，還有不可忽視的一點是：他們想擁抱AI，但是使用AI的成本并不便宜，尤其是購置算力和對模型進行量身定制的成本。有些非常有實力的金融機構還需要自己進行持續(xù)的預訓練。模型越大，需要的算力支持越高，這是大家不得不考慮的成本因素。

從落地的順序來看，一開始大家可能會去找比較容易落地的場景試水，但這一塊不一定是剛需。真正能夠落地并滿足剛需的場景需要時間打磨，不是馬上就能實現(xiàn)的。

目前，我認為我們應該認識到AI的價值。局部已經開始使用AI，個別業(yè)務可能會先試先行，但全面鋪開并翻新IT架構還需要時間。需要金融機構和我們這樣的AI服務提供者之間的共創(chuàng)和試錯，才能打磨出既剛需又能帶來價值、提升體驗的場景?？梢宰屪訌椩亠w一會兒。

AIGC 實戰(zhàn)派：在您看來，當前對生成式AI落地構成挑戰(zhàn)的因素中，技術因素更多還是非技術因素更多？

白碩：說到底，都是技術因素。為什么這么說呢？你擔心模型會“說錯話”，對它是否會“胡言亂語”沒有把握，歸根結底就表明你對它的技術的成熟度是不那么信任的。

你擔心它誤導你的客戶，那這就說明它確實有一定的出錯的概率，有一定的產生幻覺的可能。但是如果AI技術足夠成熟，那么這些擔心都不會是問題。

大家可能會從各個不同的方面對大模型及其應用存疑。我們行業(yè)老大也非常直白地提到過——輸入怕泄密，輸出怕違規(guī)。   

“輸入怕泄密”，就是指金融機構給大模型上傳數(shù)據(jù)，這個環(huán)節(jié)萬一出現(xiàn)泄密怎么辦？不該被大模型知道的數(shù)據(jù)如果“出獄”了那就會造成問題?！拜敵雠逻`規(guī)”，就是指大模型生成的內容超過了我們的可控范圍，輸出了不該說的話，也非常令人擔心。

這種不放心的深層原因還是對新技術沒有信任到那個程度，技術本身也沒有發(fā)展到讓行業(yè)信任的那個程度。所以我個人判斷，這本質上是技術問題。當然，如果長遠來說，我們相信技術一定會不斷地發(fā)展，按照目前技術迭代的節(jié)奏，未來這些擔心都不會是太大的問題。

不過我們也不可能坐等未來。那么，當下我們該怎么辦呢？

實際上，我們可以做一些事情。比如，使用一些強化的手段，去跟金融業(yè)務需求對齊，這是大模型訓練中需要解決的問題之一。另外，設置好“防線”，讓大模型去使用有充分來源的、可以控制的內容，如果它想輸出一個數(shù)據(jù)，那么我們要求這個數(shù)據(jù)是有出處的、可檢驗的。

我們可以在大模型的個別部位加上“鎧甲”讓其強壯起來，另外一些部位加上大模型外掛等手段去構筑“防線”，以此規(guī)避我們擔心的問題。這些都是可以暫時采取的策略。當前的應對之策和長遠的技術發(fā)展，我認為兩者是需要兼顧的。

二、為大模型設置“護欄”：長文本和多模態(tài)能力成為關鍵

AIGC實戰(zhàn)派：如今大模型還不能完全滿足金融業(yè)對于可解釋性和可追溯性的要求。如果要讓它真正落地，需要遵循哪些原則？

白碩：從實戰(zhàn)的角度看，是有一些辦法去繞開它的短處的。在現(xiàn)階段，首先，在我們自己也并非內行的領域，可以請教專家來設置“禁區(qū)”，由專家提供相應的實例和標準，把這些標準變成可訓練的，然后通過訓練強化大模型，以便讓大模型擁有這種對齊的能力。

其次，放眼整個架構，我們還要更專注大模型的生態(tài)。我們要讓大模型的生態(tài)是更可控的。因為在很多的時候，我們不采用大模型本身提供的數(shù)據(jù)，只利用它的語言理解能力。大模型的語言理解能力是很過關的，但是它把握事實的能力不過關，我們要盡量揚長避短，比如用金融機構信得過的數(shù)據(jù)庫、文檔庫、FAQ來產生輸出內容。

那怎么樣控制大模型能夠忠實地產生這些輸出呢？這里面就不得不提另一個技術問題。實際上，當我們把這些信得過的數(shù)據(jù)作為外掛的話，那我們能夠借大模型力的地方就比較少了，靠檢索本身的能力一般來說是不夠的。雖然現(xiàn)在有 RAG（檢索增強生成）技術，但是這與大模型自身由訓練獲得的語言理解能力相比，也是有差距的。   

這里實際上分三種模式。一是內嵌，就是把數(shù)據(jù)訓練到大模型里邊去。但是缺點在于，它就固化了、過時了，無法使用最新的數(shù)據(jù)；二是外掛，就像之前提到的，外掛可以保證內容的準確性，其風險是相對可控的。但是要找到最準確的內容來回答問題依然存在門檻，因為離開大模型去做這件事就顯得不夠“聰明” ;三是上傳，就是把可靠的內容上傳給大模型，讓大模型就這個內容來回答問題，讓大模型的能力也得到充分發(fā)揮，同時也能夠比較精準地命中可控的數(shù)據(jù)和話術，然后更好地去服務客戶。

就第三種模式來說，問題在于必須要上傳一個文檔。

如果這個文檔很大，大模型能不能全吃得下？在大模型發(fā)展的初期，窗口上下文比較有限，如果是很大的文檔上傳給它，它也吃不下。再比如這個文檔的對象比較豐富，除了純文本以外，還有圖表、表格、圖片等等數(shù)據(jù)信息，這又牽涉到多模態(tài)的能力。

所以一是長文本，一是多模態(tài)，只有這兩個能力在不斷發(fā)展，才能更好地滿足我們的實際場景需求，生成命中率高且精準可控的內容。如此一來，我們的生成式 AI 應用質量也會更高，用戶體驗也會更好。令人欣慰的是，在技術發(fā)展過程中，我們已經可以很清晰地看到發(fā)展脈絡，的確就是在朝這個方向前進。

三、為應用找一條出路：在私有部署的限定條件將大模型能力發(fā)揮到極致

AIGC實戰(zhàn)派：金融機構如何量體裁衣，進行大模型選型？

白碩：首先我個人強烈不建議廣大中小金融機構去自建大模型或者自訓大模型。這個肯定不是出路，因為大模型卷得厲害，而且是重資產投入。無論算力投入、人才投入、技術投入、數(shù)據(jù)投入，一般的玩家是玩不起的，而且也沒有必要去跟大家卷這個賽道。

那么出路在哪里呢？拿別人的模型，按自己的任務類型做精調，跟自己的數(shù)據(jù)資源、場景資源去做深度的適配，這才是出路。

我覺得我們恒生電子做對的一件事情，就是幫我們的金融機構客戶去真正地建場景、建應用。同時把大模型選型帶來的影響盡量規(guī)避到最低，尤其在很多只能做私有化部署的場景中。我們希望在私有部署這樣的限定條件下將大模型的能力做到天花板，這是我們現(xiàn)在正在做的事情。

AIGC 實戰(zhàn)派：追問一下，具體選型時有沒有參照的標準？

白碩：用參數(shù)體量來說的話，就是50B到100B之間。這個區(qū)間內的大模型，其語言理解能力、通用知識儲備，和其規(guī)模本身所需要的算力（尤其在不做訓練只做推理的情況下）部署的成本之間存在一個比較好的平衡。

到了50B，即500億參數(shù)，大模型就會出現(xiàn)“涌現(xiàn)”現(xiàn)象。所以你要讓它的智能稍微看得過去一點，那最好要到這樣一個量級，讓模型不至于太笨。但如果更高的話，達到1000億以上，那可能我們部署的成本又要吃不消了。當然這是在一定要私有部署的必要條件下，我們覺得比較好的平衡點是上限1000億，下限500億。

另外大模型選型，我們也不建議過于多元化。我們需要模型的多元化來彌補各個模型的短板，但是過于多元化的話是有問題的，選型本身還是要相對聚焦，把握住幾個特長方向，各展所長，一般確定兩三個就可以了。

還有針對多任務支持，并不意味著一定要用大參數(shù)模型，依然采用適中規(guī)模參數(shù)模型，但可以用多塊卡多部署幾套，不同的任務用不同的卡去支持，以此來保證高并發(fā)的需求。

四、未來之鑰：“大力出奇跡”之外，或許會誕生另一條路

AIGC實戰(zhàn)派：未來幾年內，生成式AI將會如何改變金融服務的傳統(tǒng)形態(tài)和格局？

白碩：這個其實是很難預測的。站在大模型產品的研發(fā)一線，我們也需要一定的對相關需求的洞察能力和一定程度的預判，但是這個預判還是有限的，我們看不了太遠。從我們對技術本身發(fā)展的預判來看，如果大模型的長文本能力和多模態(tài)能力不斷提升的話，那我們現(xiàn)有的對大模型的一些判斷是會改觀的。

現(xiàn)在很多人說大模型會產生幻覺，甚至會一本正經胡說八道，那么當文本足夠長，所掌握的數(shù)據(jù)類型足夠豐富的時候，這種不可控的觀感也會隨之變化，隨著技術迭代，很多你最初嘲笑的東西也會變成你需要仰視的東西。

我相信，大模型整個生態(tài)的變化對我們業(yè)務生態(tài)來說，主要會產生正面的促進作用。比如，之前業(yè)務人員需要求助 IT部門才能做到的事情，如今通過大模型應用就做到了。這是最直觀的一個例子，把業(yè)務解放出來，降低對IT的依賴，很多零碎的、即時的、沒有沉淀價值的需求，就不值得把它再變成一個應用。這是我們近幾年內就很可能發(fā)生的一些事情。

再把目光放遠一點，如今很多服務是以產品形態(tài)出現(xiàn)的，甚至是以個性化定制的方式出現(xiàn)的。未來我們可能更多地將能力封裝起來，以可調用的 API呈現(xiàn)，用戶通過自然語言就可以實現(xiàn)驅動。雖然看起來有點遙遠，但我相信這一圖景最終也會實現(xiàn)。

最后，綜觀目前大模型的發(fā)展路徑，“大力出奇跡”的路線目前還是占了上風。但是代價在于，我們需要不斷地去堆疊算力。但這條道路繼續(xù)發(fā)展下去，也未必是我們樂見的。是否會有不耗費這么大算力，但智能水平更上一層樓的大模型出現(xiàn)，也是我們所期待的。如果真能取得突破，沒有了算力成本的顧忌，無疑將成為金融業(yè)實現(xiàn)大模型應用的巨大推手。

本文轉載自??51CTO技術棧??，作者：張潔