作者丨Peter Wayner

編譯丨諾亞

對于生成式AI的所有閃光點，這個新時代最大的轉(zhuǎn)變可能深埋在軟件堆棧中。AI算法正在不易覺察地改變一個又一個數(shù)據(jù)庫。他們正在用復雜、自適應且看似更直觀的AI新功能顛覆傳統(tǒng)數(shù)據(jù)庫。

與此同時，數(shù)據(jù)庫制造商正在改變我們存儲信息的方式，以便更好地與人工智能模型配合使用。以下是隨著人工智能的普及，數(shù)據(jù)庫正在適應和改進的10種方式。

1、向量和嵌入

人工智能開發(fā)人員喜歡將信息存儲為長數(shù)字向量。過去，數(shù)據(jù)庫將這些值存儲為行，每個數(shù)字位于單獨的列中?，F(xiàn)在，一些數(shù)據(jù)庫支持純向量，因此無需將信息分解為行和列。相反，數(shù)據(jù)庫將它們存儲在一起。一些用于存儲的向量有數(shù)百甚至數(shù)千個數(shù)字長。

此類向量通常與嵌入配對，嵌入是一種將復雜數(shù)據(jù)轉(zhuǎn)換為單個數(shù)字列表的模式。設計嵌入仍然是一門藝術，并且通常依賴于對基礎領域的了解。當嵌入設計良好時，數(shù)據(jù)庫可以提供快速訪問和復雜查詢。

Pinecone，Vespa，Milvus，Margo和Weaviate等一些公司正在建立專門存儲載體的新數(shù)據(jù)庫。像PostgreSQL這樣的數(shù)據(jù)庫正在將向量添加到他們當前的工具中。

2、查詢模型

向數(shù)據(jù)庫添加向量帶來的不僅僅是便利。新的查詢函數(shù)不僅可以搜索完全匹配項。它們可以定位“最接近”的值，這有助于實現(xiàn)推薦引擎或異常檢測等系統(tǒng)。將數(shù)據(jù)嵌入向量空間簡化了涉及與僅幾何距離的匹配和關聯(lián)的棘手問題。

Pinecone，Vespa，Milvus，Margo和Weaviate等向量數(shù)據(jù)庫提供向量查詢。一些意想不到的工具，如Lucene或Solr，也提供了相似性匹配，可以用大塊的非結構化文本提供類似的結果。

3、建議

新的基于向量的查詢系統(tǒng)感覺比我們過去的日子更加神奇。舊查詢將查找匹配項；這些新的人工智能數(shù)據(jù)庫有時感覺更像是在閱讀用戶的思想。他們使用相似性搜索來查找“接近”的數(shù)據(jù)項，并且這些數(shù)據(jù)項通常與用戶想要的內(nèi)容非常匹配。這一切背后的數(shù)學可能就像在n維空間中找到距離一樣簡單，但不知何故，這足以提供意想不到的結果。這些算法長期以來一直作為完整的應用程序單獨運行，但它們正在慢慢地被折疊到數(shù)據(jù)庫中，在那里它們可以支持更好、更復雜的查詢。

甲骨文只是針對這個市場的數(shù)據(jù)庫的一個例子。Oracle長期以來一直提供各種模糊匹配和相似性搜索功能?，F(xiàn)在，它直接提供為在線零售等行業(yè)定制的工具。

4、索引范例

過去，數(shù)據(jù)庫構建簡單的索引，支持按特定列進行更快的搜索。數(shù)據(jù)庫管理員擅長使用聯(lián)接和過濾子句精心設計查詢，這些子句使用正確的索引運行得更快?，F(xiàn)在，向量數(shù)據(jù)庫旨在創(chuàng)建有效地跨越向量中所有值的索引。我們剛剛開始弄清楚尋找彼此“鄰近”的向量的所有應用。

但這僅僅是個開始。當人工智能在數(shù)據(jù)庫上訓練時，它會有效地吸收其中的所有信息?，F(xiàn)在，我們可以用簡單的語言向AI發(fā)送查詢，AI將以復雜和自適應的方式進行搜索。

5、數(shù)據(jù)分類

人工智能不僅僅是向數(shù)據(jù)庫添加一些新結構。有時它會在數(shù)據(jù)本身內(nèi)部添加新結構。一些數(shù)據(jù)可能會以一團糟的形式抵達，比如可能沒有注釋的圖像或很久以前某人寫的大塊文本。人工智能算法開始清理混亂，過濾掉噪音，并對混亂的數(shù)據(jù)集施加秩序。他們會自動填寫表格。他們可以對文本塊的情感基調(diào)進行分類，或者猜測照片中人臉的態(tài)度?？梢詮膱D像中提取小細節(jié)，算法也可以學習檢測模式。他們正在對數(shù)據(jù)進行分類，提取重要的詳細信息，并創(chuàng)建定期、清晰描述的信息表格視圖。

亞馬遜網(wǎng)絡服務提供各種數(shù)據(jù)分類服務，將SageMaker等人工智能工具與Aurora等數(shù)據(jù)庫連接起來。

6、更好的性能

好的數(shù)據(jù)庫處理數(shù)據(jù)存儲的許多細節(jié)。過去，程序員需要花時間操心數(shù)據(jù)庫使用的各種參數(shù)和模式，以使它們高效運行。建立數(shù)據(jù)庫管理員的角色是為了處理這些任務。

這些更高級別的元任務現(xiàn)在正在自動化，通常是通過使用機器學習算法來理解查詢模式和數(shù)據(jù)結構。他們能夠監(jiān)視服務器上的流量并制定計劃以適應需求。他們可以實時適應并學會預測用戶的需求。

甲骨文提供了最好的例子之一。過去，公司向管理數(shù)據(jù)庫的數(shù)據(jù)庫管理員支付高薪?，F(xiàn)在，甲骨文稱其數(shù)據(jù)庫為自治數(shù)據(jù)庫，因為它們配備了復雜的人工智能算法，可以即時調(diào)整性能。

7、更清晰的數(shù)據(jù)

運行一個好的數(shù)據(jù)庫不僅需要保持軟件運行，還需要確保數(shù)據(jù)盡可能干凈且沒有故障。AI通過搜索異常、標記它們，甚至可能建議更正來簡化此工作負載。他們可能會找到客戶姓名拼寫錯誤的位置，然后通過搜索其余數(shù)據(jù)找到正確的拼寫。他們還可以學習傳入的數(shù)據(jù)格式并攝取數(shù)據(jù)以生成單個統(tǒng)一的語料庫，其中所有名稱、日期和其他詳細信息都盡可能一致地呈現(xiàn)。

Microsoft的SQL Server是與數(shù)據(jù)質(zhì)量服務緊密集成的數(shù)據(jù)庫的一個示例，用于清理存在缺少字段或重復日期等問題的任何數(shù)據(jù)。

8、欺詐檢測

創(chuàng)建更安全的數(shù)據(jù)存儲是機器學習的特殊應用程序。有些人正在使用機器學習算法來尋找數(shù)據(jù)饋送中的異常情況，因為這些算法可以很好地表明欺詐。有人第一次深夜去自動取款機嗎？這個人曾經(jīng)在這個大陸上使用過信用卡嗎？人工智能算法可以嗅出危險的行跡，并將數(shù)據(jù)庫變成欺詐檢測系統(tǒng)。

例如，Google的網(wǎng)絡服務提供了多種選項，用于將欺詐檢測集成到數(shù)據(jù)存儲堆棧中。

9、更嚴格的安全性

一些組織正在內(nèi)部應用這些算法。AI不只是試圖針對使用模式優(yōu)化數(shù)據(jù)庫；他們還在尋找可能表明有人闖入的不尋常案例。遠程用戶并非每天都會請求整個表的完整副本。一個好的人工智能可以聞到一些腥味。

IBM的Guardium Security 是與數(shù)據(jù)存儲層集成以控制訪問和監(jiān)視異常的工具的一個例子。

10、合并數(shù)據(jù)庫和生成式AI

過去，人工智能與數(shù)據(jù)庫是分開的。當需要訓練模型時，數(shù)據(jù)將從數(shù)據(jù)庫中提取，重新格式化，然后輸入AI。新系統(tǒng)直接從現(xiàn)有數(shù)據(jù)訓練模型。這可以為大型作業(yè)節(jié)省時間和精力，在這些工作中，僅移動數(shù)據(jù)可能需要數(shù)天或數(shù)周的時間。它還簡化了DevOps團隊的生活，使訓練AI模型像發(fā)出一個命令一樣簡單。

甚至有人談論完全替換數(shù)據(jù)庫。他們不會將查詢發(fā)送到關系數(shù)據(jù)庫，而是直接將其發(fā)送到AI中，AI將神奇地回答任何格式的查詢。谷歌提供Bard，微軟正在推動ChatGPT。兩者都是取代搜索引擎的有力競爭者。他們沒有理由不能取代傳統(tǒng)的數(shù)據(jù)庫。

這種方法有其缺點。在某些情況下，人工智能會產(chǎn)生幻覺，并想出完全錯誤的答案。在其他情況下，他們可能會隨心所欲地更改其輸出的格式。

但是，當領域足夠有限并且訓練集深入完整時，人工智能可以提供令人滿意的結果。而且它不需要定義表格結構并強迫用戶編寫在其中查找數(shù)據(jù)的查詢。對于用戶和創(chuàng)建者來說，使用生成式AI存儲和搜索數(shù)據(jù)可以更加靈活。

原文鏈接：https://www.infoworld.com/article/3703211/10-ways-generative-ai-upends-the-traditional-database.html