AI 數(shù)據(jù)庫是一個多功能平臺，它管理結構化和非結構化數(shù)據(jù)，并將 AI 模型應用于各種數(shù)據(jù)格式。

譯自AI Needs More Than a Vector Database，作者 Tim Young。

正如 Google Trends數(shù)據(jù)所示，人們對向量數(shù)據(jù)庫的興趣正在激增。在最新的報告“向量數(shù)據(jù)庫概覽，2024 年第二季度”中，F(xiàn)orrester強調了 20 多個向量數(shù)據(jù)庫，并將它們分為兩大類：專門的原生向量數(shù)據(jù)庫和將向量存儲集成到更廣泛數(shù)據(jù)生態(tài)系統(tǒng)中的多模態(tài)數(shù)據(jù)庫。

原生向量數(shù)據(jù)庫旨在實現(xiàn)最佳規(guī)模和性能，而多模態(tài)數(shù)據(jù)庫則提供處理多種數(shù)據(jù)類型的靈活性，從而降低了管理獨立系統(tǒng)的復雜性。要深入了解領先的原生向量數(shù)據(jù)庫，請參閱“GigaOM 關于向量數(shù)據(jù)庫的聲納報告”。

向量數(shù)據(jù)庫是一種專門的數(shù)據(jù)庫，旨在存儲、管理和查詢高維向量，這些向量對于通過語義相似性檢索內容的應用程序至關重要。

向量數(shù)據(jù)庫在 2010 年代后期出現(xiàn)，其興趣的增長得益于生成式人工智能，因為它們能夠實現(xiàn)快速準確的相似性搜索，這對于推薦系統(tǒng)、自然語言處理和圖像識別等任務至關重要，從而顯著提高了人工智能應用程序的質量和多功能性。

雖然向量數(shù)據(jù)庫被認為是生成式人工智能的關鍵，但向量本身只是更大拼圖中的一塊。在生成式人工智能中獲得相關答案依賴于強大的綜合搜索功能，該功能由機器學習算法提供支持，這些算法可以檢測歷史數(shù)據(jù)中的模式、預測結果、識別異常并推薦行動。

這必須在數(shù)十億個快速變化的數(shù)據(jù)點上進行，結果必須在瞬間 (<100 毫秒) 內提供，同時支持大量用戶群體，每秒可能執(zhí)行數(shù)千個查詢。雖然某些數(shù)據(jù)可能是向量，但大多數(shù)業(yè)務應用程序都需要集成和分析非結構化數(shù)據(jù)（例如 PDF），以及傳統(tǒng)的結構化數(shù)據(jù)來生成向量。

鑒于這種復雜性，僅僅關注向量數(shù)據(jù)庫可能會忽略更廣泛的圖景。根據(jù) Forrester 的說法，您可以選擇最佳的向量數(shù)據(jù)庫，但隨后必須集成必要的組件，例如機器學習、對非向量數(shù)據(jù)類型的支持以及用于性能和高并發(fā)的工作負載管理?；蛘?，您可以選擇一個至少提供更廣泛數(shù)據(jù)類型的多模態(tài)數(shù)據(jù)庫，但需要將其與它從未設計為支持的應用程序集相匹配。

人工智能數(shù)據(jù)庫的出現(xiàn)

一種新型的數(shù)據(jù)庫正在出現(xiàn)：人工智能數(shù)據(jù)庫。人工智能數(shù)據(jù)庫是一個多用途平臺，除了向量之外，還管理結構化和非結構化數(shù)據(jù)。它將人工智能模型應用于各種數(shù)據(jù)格式，結合信號以獲得更準確的輸出。人工智能數(shù)據(jù)庫通過整合模型和數(shù)據(jù)類型來提高計算效率并支持可擴展性。它通過將相似向量聚類到查詢結果中來組織數(shù)據(jù)，并支持合規(guī)性，同時還搜索表格、文本和向量以查找特定值、文檔匹配和相似性搜索，以使用人工智能模型生成推斷。

人工智能數(shù)據(jù)庫支持三種主要的人工智能模型類型：近似機器學習 (ML) 的函數(shù)、自然語言處理 (NLP) 和生成式人工智能。

• ML 模型在歷史數(shù)據(jù)中查找模式以預測趨勢、識別異常、對結果進行排名/評分并推薦行動。它們主要選擇表格、文本或圖像等數(shù)據(jù)以供進一步使用。
• NLP 模型解釋和生成文本或語音，用于翻譯或情感分析等任務，主要處理文本文件。
• 生成式人工智能模型根據(jù)現(xiàn)有數(shù)據(jù)生成文本、圖像、音頻或視頻等內容，預測序列中的下一個元素。

這些模型通常在人工智能數(shù)據(jù)庫中托管和運行，它們根據(jù)接收到的數(shù)據(jù)學習模式、進行推斷并創(chuàng)建輸出。如果您想了解更多關于人工智能數(shù)據(jù)庫的信息，我建議您閱讀 BARC 的這份報告，以深入了解人工智能數(shù)據(jù)庫。

AI 數(shù)據(jù)庫代表著重大進步，但由于缺乏應用邏輯和運行時管理，它仍然只是一個部分解決方案。為了滿足生成式 AI 對規(guī)模和延遲的苛刻要求，需要付出大量努力來集成工具并優(yōu)化運行時性能。最有效的方法是一個平臺，它無縫地將數(shù)據(jù)、應用邏輯和大規(guī)模執(zhí)行結合在一起，提供一個全面的解決方案，以解決所有這些關鍵需求。

Vespa：一個開源的 AI 工程師平臺

Vespa.ai 是一個開源平臺，用于開發(fā)和運行針對搜索、推薦、個性化和檢索增強生成 (RAG) 的實時 AI 驅動應用程序。Vespa 有效地管理數(shù)據(jù)、推理和邏輯，支持具有大量數(shù)據(jù)量和高并發(fā)查詢率的應用程序。它以托管服務和開源形式提供。