一、背景介紹

首先來(lái)介紹一下?？翟诖竽Ｐ图夹g(shù)領(lǐng)域的發(fā)展歷程。

早在 2006 年，?？低暰烷_始組建算法團(tuán)隊(duì)，專注于智能算法的研究。2012 年，海康進(jìn)一步拓展了深度學(xué)習(xí)領(lǐng)域的研究，逐步將其應(yīng)用于多個(gè)業(yè)務(wù)場(chǎng)景，包括人臉識(shí)別、車牌識(shí)別、視頻結(jié)構(gòu)和行為分析等。通過對(duì)這些技術(shù)的深入探索，海康在智能安防和視頻監(jiān)控領(lǐng)域逐漸確立了技術(shù)領(lǐng)先地位。

2018 年，?？蛋l(fā)布了 AI 開放平臺(tái)及相關(guān)白皮書，標(biāo)志著?？嫡竭M(jìn)軍大模型領(lǐng)域。該平臺(tái)不僅為行業(yè)提供了基礎(chǔ)算法，還涵蓋了深度學(xué)習(xí)和大模型的最新研究成果，應(yīng)用領(lǐng)域覆蓋智慧城市、平安城市、公共安全和生產(chǎn)安全等多個(gè)方向。

到 2021 年，?？档拇竽Ｐ椭饾u步入行業(yè)應(yīng)用階段，重點(diǎn)發(fā)展多模態(tài)模型，將視覺、語(yǔ)言、語(yǔ)音等技術(shù)融合在一起，并逐步擴(kuò)展至城市治理、電力、煤炭、水利等多個(gè)行業(yè)。通過整合這些感知技術(shù)，?？档男袠I(yè)大模型在智能化管理和分析上有了質(zhì)的飛躍，為更多行業(yè)提供了智能解決方案。

從 2022 年至今，?？道酶呒?jí)別的智能手段，不斷對(duì)模型進(jìn)行優(yōu)化提升，助力多維數(shù)據(jù)聯(lián)動(dòng)，并參與了國(guó)家大模型相關(guān)標(biāo)準(zhǔn)的制定。

?？档拇竽Ｐ腿∶麨椤坝^瀾”，源于孟子“觀水有術(shù)，必觀其瀾“的哲理思想，象征著通過大模型的深度感知與洞察來(lái)實(shí)現(xiàn)對(duì)世界的全面理解。觀瀾大模型從視覺大模型起步，并逐漸擴(kuò)展至音頻、雷達(dá)、X 光等多個(gè)感知領(lǐng)域，形成了豐富的多模態(tài)感知基礎(chǔ)，以適應(yīng)不同的行業(yè)需求。

早期，?？祷诤Ａ繑?shù)據(jù)預(yù)訓(xùn)練，構(gòu)建了視覺大模型、音頻大模型、語(yǔ)言大模型、多模態(tài)大模型等基礎(chǔ)大模型。在此基礎(chǔ)上又構(gòu)建了行業(yè)大模型，廣泛應(yīng)用于電力、公路、煤礦、水利、零售、軌道、工業(yè)制造、城管、金融等各個(gè)行業(yè)。針對(duì)一些特定任務(wù)，又進(jìn)行了模型微調(diào)，以滿足具體應(yīng)用場(chǎng)景的需求，如電力巡檢、異常作業(yè)檢測(cè)、交通事件檢測(cè)、物料盤點(diǎn)、金融合規(guī)檢測(cè)等。

具體到金融行業(yè)，海康大模型主要應(yīng)用于安防領(lǐng)域，涵蓋人防、技防和物防三個(gè)方面。通過對(duì)銀行網(wǎng)點(diǎn)內(nèi)外的智能監(jiān)控，實(shí)現(xiàn)了對(duì)人員行為的精確分析，如人員聚集、人員跌倒等。同時(shí)，大模型在金庫(kù)和 ATM 加鈔等場(chǎng)景中提供了高效的合規(guī)性監(jiān)控，確保了金融資產(chǎn)的安全。

通過大模型的持續(xù)訓(xùn)練和微調(diào)，?？荡竽Ｐ湍軌蚋鶕?jù)每個(gè)金融網(wǎng)點(diǎn)的環(huán)境特點(diǎn)進(jìn)行個(gè)性化的優(yōu)化，解決了傳統(tǒng)安防技術(shù)在復(fù)雜環(huán)境下識(shí)別準(zhǔn)確度低的問題。同時(shí)，大模型通過高度自動(dòng)化的監(jiān)控和管理手段，大幅降低了人力成本，為金融機(jī)構(gòu)提供了更為智能化的安防解決方案。

二、整體架構(gòu)設(shè)計(jì)

上圖展示了常見的銀行業(yè)務(wù)架構(gòu)。

海康大模型采用了云邊結(jié)合的模式進(jìn)行部署，以滿足各類應(yīng)用需求。

邊緣部署，如二級(jí)分行會(huì)部署一些小模型，在智能 NVR、智能分析服務(wù)器等邊緣設(shè)備上，負(fù)責(zé)處理本地?cái)?shù)據(jù)，并在局部范圍內(nèi)進(jìn)行數(shù)據(jù)分析；到省級(jí)分行，則使用大模型，利用大模型具備的自學(xué)習(xí)能力，根據(jù)不同環(huán)境進(jìn)行模型的調(diào)優(yōu)與優(yōu)化。

云端部署，采用了海康云眸，設(shè)備產(chǎn)生的圖片會(huì)上傳到云上進(jìn)行訓(xùn)練、推理，以資源共享的方式，再下發(fā)到設(shè)備。這里的速度會(huì)不如邊緣部署那么快。

云邊結(jié)合方案為各行業(yè)提供了靈活的部署模式，既能夠滿足數(shù)據(jù)安全的需求，又能夠有效控制企業(yè)的資源成本。在金融行業(yè)中，邊緣設(shè)備可以在本地完成實(shí)時(shí)監(jiān)控和風(fēng)險(xiǎn)識(shí)別，而云端則為全局?jǐn)?shù)據(jù)提供更深入的分析，確保了金融業(yè)務(wù)的高效運(yùn)轉(zhuǎn)。

?？涤^瀾大模型的主要優(yōu)勢(shì)在于：

• 全面的感知能力：海康威視憑借其在物聯(lián)網(wǎng)領(lǐng)域超過 20 年的技術(shù)積累，擁有豐富的數(shù)據(jù)資源，這為大模型的訓(xùn)練提供了堅(jiān)實(shí)的基礎(chǔ)。無(wú)論是在視覺感知、音頻分析，還是其他模態(tài)數(shù)據(jù)處理上，?？档拇竽Ｐ投季邆淞巳娴母兄芰?，能夠應(yīng)對(duì)復(fù)雜的行業(yè)需求。
• 豐富的行業(yè)經(jīng)驗(yàn)：?？低ㄟ^自主研發(fā)的微調(diào)技術(shù)，顯著提升了大模型的實(shí)用性。特別是在復(fù)雜場(chǎng)景下，大模型通過高效的微調(diào)技術(shù)減少了誤報(bào)率，提升了識(shí)別的準(zhǔn)確性，確保了大模型的高效運(yùn)行。
• 多樣的部署方案：?？颠€通過自研的蒸餾技術(shù)，將大模型的知識(shí)遷移至邊緣小模型，實(shí)現(xiàn)了大模型與小模型的聯(lián)動(dòng)。大模型在云端進(jìn)行全局優(yōu)化，而小模型在邊緣設(shè)備上進(jìn)行本地推理，從而在保證高效感知的同時(shí)，實(shí)現(xiàn)了資源的最優(yōu)配置。

面向網(wǎng)點(diǎn)、金庫(kù)、辦公大樓、數(shù)據(jù)中心全場(chǎng)景，搭建了金融辦公場(chǎng)所物聯(lián)感知網(wǎng)絡(luò)，并在此基礎(chǔ)上打造了上層智慧應(yīng)用，統(tǒng)一管理各類算法及算力資源，基于業(yè)務(wù)場(chǎng)景需求賦能AI 應(yīng)用。

通過對(duì)從業(yè)務(wù)調(diào)研、方案設(shè)計(jì)，到應(yīng)用集成、維護(hù)迭代的全流程形成標(biāo)準(zhǔn)化的工程化服務(wù)體系，為?？涤^瀾大模型落地提供了保障。

三、挑戰(zhàn)與解決思路

在?？荡竽Ｐ吐涞氐倪^程中，也遇到了諸多挑戰(zhàn)，主要有以下幾方面：

• 數(shù)據(jù)依賴性：人工智能技術(shù)的效果高度依賴于數(shù)據(jù)的質(zhì)量與數(shù)量，如果缺乏足夠的數(shù)據(jù)，大模型的學(xué)習(xí)與訓(xùn)練就難以實(shí)現(xiàn)。這對(duì)部分行業(yè)提出了數(shù)據(jù)積累的挑戰(zhàn)，特別是在非傳統(tǒng)領(lǐng)域，數(shù)據(jù)的獲取與清洗是一個(gè)長(zhǎng)期的過程。
• 傳統(tǒng)深度學(xué)習(xí)的局限性：模型泛化能力不足，傳統(tǒng)結(jié)構(gòu)出現(xiàn)性能天花板，缺乏復(fù)雜推理與認(rèn)知能力。
• 算力成本：大模型的訓(xùn)練需要大量的計(jì)算資源，帶來(lái)了巨大的成本壓力。

針對(duì)這些挑戰(zhàn)，?？低ㄟ^技術(shù)創(chuàng)新與積累，不斷提升模型效果，同時(shí)盡可能降低模型訓(xùn)練和部署的成本，使大模型得以在更多企業(yè)中落地應(yīng)用。

四、未來(lái)展望

隨著?？荡竽Ｐ图夹g(shù)的不斷成熟，其在金融行業(yè)的應(yīng)用也逐步深入。目前，國(guó)有銀行和股份制銀行已經(jīng)陸續(xù)開始部署?？档拇竽Ｐ停磥?lái)這一技術(shù)將進(jìn)一步推廣至更多的金融機(jī)構(gòu)。同時(shí)，?？狄灿?jì)劃將大模型應(yīng)用拓展到其他行業(yè)，推動(dòng)各行業(yè)的智能化轉(zhuǎn)型。無(wú)論是智慧城市的治理，還是工業(yè)生產(chǎn)的安全管理，?？档拇竽Ｐ投紝⒃谖磥?lái)發(fā)揮至關(guān)重要的作用。