實時矢量搜索如何徹底改變各行各業(yè)?
譯文譯者 | 布加迪
審校 | 重樓
實時分析技術已經(jīng)鞏固了其作為眾多行業(yè)的基石這一地位。另外,生成式AI具有的魅力吸引了廣泛的關注,創(chuàng)新的解決方案有望為從娛樂到醫(yī)療保健的各個行業(yè)領域提供前所未有的洞察力。使用生成式AI方法與眾多實時分析技術的融合帶來了顯著的協(xié)同效應。它使組織能夠在機會稍縱即逝的情況下發(fā)現(xiàn)隱藏的洞察力。
美國前首席數(shù)據(jù)科學家、領英前首席科學家DJ Patil表示,若要充分利用生成式AI的潛力,就必須開發(fā)專注于快速處理數(shù)據(jù)的能力。
Patil說:“我們今天在大語言模型(LLM)方面看到的大多數(shù)東西都是低速數(shù)據(jù),非常靜態(tài),沒有更新過。我認為,在接下來的24個月里,我們會在這方面看到進展。”
圖1. 矢量嵌入是某個對象的數(shù)值表示
生成式AI的核心革命性技術之一是矢量數(shù)據(jù)庫。它們好比是精心組織的信息集合,將模式匹配提升到新的高度。矢量嵌入是一種組織數(shù)據(jù)的方法,因而更容易找到不同數(shù)據(jù)之間的相似性和關系。到目前為止,矢量數(shù)據(jù)庫受制于過時的歷史數(shù)據(jù)。ChatGPT的用戶熟悉這一點:它對2021年9月之后創(chuàng)建的任何信息都一無所知。
為了完全認識到實時生成式AI的巨大潛力,我們需要改變觀點,不再狹隘地認為生成式AI局限于音樂、視覺藝術和散文等創(chuàng)造性領域。雖然這些藝術應用無疑展示了這項技術具有的能力,但生成式AI的應用范圍遠不止這些領域。在來自傳感器和機器的快速移動數(shù)據(jù)對決策至關重要的眾多領域,它都能起到優(yōu)化作用。
實時生成式AI將如何改變企業(yè)的運營方式?在金融服務業(yè),我認為我們將看到實時矢量搜索徹底改變欺詐檢測和風險評估。通過將歷史交易數(shù)據(jù)和客戶配置文件編碼為矢量,您可以對照已知的欺詐行為模式快速匹配交易。這將能夠立即識別可疑活動,從而縮短反應時間并減少經(jīng)濟損失。
此外,風險評估模型將利用實時矢量嵌入來提供對市場狀況的最新評估,從而優(yōu)化投資決策。不妨以投資銀行使用VWAP為例,VWAP的全稱是交易量加權平均價格,充當一種技術分析工具,以揭示資產(chǎn)價格與其總交易量之間的關系。它為交易員和投資者提供了一種評估股票在特定時間段內(nèi)交易的平均價格的方法。
不妨把VWAP看作一個潛在的矢量嵌入,每支股票都有相應的矢量嵌入,涉及每個交易柜臺和多個時間窗口,導致每天創(chuàng)建數(shù)千個矢量嵌入?,F(xiàn)在考慮VWAP只是用于實時做出買入或賣出決定的數(shù)十個財務指標之一,需要更多的矢量嵌入。如果每只股票都保持大量定期更新的矢量嵌入以反映市場狀況,它將揭示金融領域前所未有的模式和機會。比如說,“告訴我未來五天內(nèi)最有可能突破上漲的三只股票”。
物流是另一個很可能迎來變化的領域,生成式AI可與來自車輛、集裝箱、倉庫、輸送系統(tǒng)和包裝系統(tǒng)等的豐富傳感器讀數(shù)相結合。通過持續(xù)分析動態(tài)條件,企業(yè)可以優(yōu)化路線規(guī)劃、縮短交貨時間、盡量減少損壞,并降低庫存持有成本。它不僅將簡化物流,還將使組織具備迅速響應不可預見的中斷所需的敏捷性。
實時矢量搜索在國防應用中大有潛力,特別是在威脅搜索和情報分析方面。在這種情況下,矢量嵌入可以表示雷達標記、衛(wèi)星圖像或截獲的通信模式等特征。實時矢量搜索系統(tǒng)會迅速將傳入的數(shù)據(jù)與已知威脅和異常的綜合數(shù)據(jù)庫進行比較。這將使軍事和安全人員能夠迅速查明潛在的威脅,比如新的空中監(jiān)視機或可疑的部隊動向,并據(jù)此做出明智的決定。
任何已經(jīng)受益于實時分析的行業(yè)都會發(fā)現(xiàn),模式匹配方面的這一突破將把現(xiàn)有的用例提升到一個新的水平。在零售業(yè),模式匹配通過將顧客偏好與可售產(chǎn)品相匹配,使推薦系統(tǒng)更加準確。在汽車業(yè),它將通過實時識別物體和道路狀況來改善先進的駕駛輔助系統(tǒng)。在制造業(yè),它將通過快速識別生產(chǎn)線上的瑕疵來優(yōu)化質(zhì)量控制。在能源業(yè),它將簡化電網(wǎng)管理和預測性維護,以提高效率。在水電公用事業(yè)領域,它將加強基礎設施監(jiān)控,縮短停機時間,并確??煽康姆战桓?。
為了支持這些用例,關鍵的技術轉變是從面向批處理的矢量數(shù)據(jù)庫轉向實時矢量數(shù)據(jù)庫。我們看到了像英偉達的GPU矢量搜索框架這樣的創(chuàng)新,它為基于矢量嵌入的實時洞察鋪平了道路。
原文標題:How Real-Time Vector Search Can Be a Game-Changer Across Industries,作者:Chad Meley