譯者 | 布加迪

審校 | 重樓

向量數(shù)據(jù)庫具有一系列廣泛的好處，特別是在生成式人工智能方面，更具體地說，是在大語言模型（LLM）方面。這些好處包括先進(jìn)的索引和精確的相似度搜索，有助于交付強大的先進(jìn)項目。

本文將對三種開源向量數(shù)據(jù)庫：Chroma、Milvus和Weaviate進(jìn)行如實的比較。我們將探討它們的用例、關(guān)鍵特性、性能指標(biāo)及支持的編程語言等，以便全面公正地概述每種數(shù)據(jù)庫。

向量數(shù)據(jù)庫的定義

就最簡單的定義而言，向量數(shù)據(jù)庫將信息存儲為向量（向量嵌入），向量是數(shù)據(jù)對象的數(shù)值版本。

正因為如此，向量嵌入是針對非常大的非結(jié)構(gòu)化或半非結(jié)構(gòu)化數(shù)據(jù)集進(jìn)行索引和搜索的強大方法。這些數(shù)據(jù)集可以由文本、圖像或傳感器數(shù)據(jù)組成，向量數(shù)據(jù)庫將這些信息排序為易于管理的格式。

向量數(shù)據(jù)庫使用高維向量工作，高維向量可能含有數(shù)百個不同的維度，每個維度又都與數(shù)據(jù)對象的特定屬性相關(guān)聯(lián)，因此帶來了無與倫比的復(fù)雜性。

不要與向量索引或向量搜索庫相混淆，向量數(shù)據(jù)庫是一種完整的管理解決方案，用于以下列方式存儲和過濾元數(shù)據(jù)：

• 完全易于擴(kuò)展。
• 很容易備份。
• 支持動態(tài)數(shù)據(jù)更改。
• 提供高級別的安全性。

使用開源向量數(shù)據(jù)庫的好處

開源向量數(shù)據(jù)庫提供了許多優(yōu)于替代數(shù)據(jù)庫的優(yōu)點，比如：

• 它們是一種靈活的解決方案，很容易修改以滿足特定要求，而不像許可式方案通常為某個項目設(shè)計。
• 開源向量數(shù)據(jù)庫由龐大的開發(fā)者社區(qū)提供支持，開發(fā)者隨時準(zhǔn)備協(xié)助解決任何問題或提供有關(guān)如何改進(jìn)項目的建議。
• 開源解決方案對預(yù)算友好，沒有許可費用、訂閱費用或項目期間的任何意外成本。
• 由于開源向量數(shù)據(jù)庫的透明性，開發(fā)人員可以更有效地工作，了解每個組件以及數(shù)據(jù)庫是如何構(gòu)建的。
• 開源產(chǎn)品在活躍社區(qū)的支持下，隨著技術(shù)的變化而不斷改進(jìn)和完善。

開源向量數(shù)據(jù)庫比較：Chroma Vs. Milvus Vs. Weaviate

我們已經(jīng)了解了向量數(shù)據(jù)庫的定義以及開源解決方案具有的好處，現(xiàn)在不妨考慮一下市場上最流行的一些選擇。我們將重點介紹Chroma、Milvus和Weaviate的優(yōu)勢、功能和用途，然后進(jìn)行直接的面對面比較，以確定最適合您需求的選擇。

1. Chroma

Chroma旨在幫助各種規(guī)模的開發(fā)人員和企業(yè)創(chuàng)建LLM應(yīng)用程序，提供構(gòu)建復(fù)雜項目所需的所有資源。Chroma確保項目具有高度可擴(kuò)展性，并以最佳方式工作，以便高維向量可以快速地存儲、搜索和檢索。

它之所以越來越受歡迎，是由于它是一種極其靈活的解決方案，有廣泛的部署選項。此外，Chroma可以直接部署在云上，也可以在現(xiàn)場運行，使其成為任何企業(yè)的可行選擇，無論其IT基礎(chǔ)設(shè)施如何。

用例

Chroma還支持多種數(shù)據(jù)類型和格式，因而適合幾乎任何應(yīng)用程序。然而，Chroma的主要優(yōu)勢之一是它支持音頻數(shù)據(jù)，這使得它成為基于音頻的搜索引擎、音樂推薦應(yīng)用程序和其他基于聲音的項目的首選。

2. Milvus

Milvus在機器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域獲得了很高的聲譽，在向量索引和查詢方面擁有出色的能力。利用功能強大的算法，Milvus提供閃電般的處理和數(shù)據(jù)檢索速度以及GPU支持，即使在處理非常龐大的數(shù)據(jù)集時也是如此。Milvus還可以與PyTorch和TensorFlow等其他流行的框架集成，從而允許將其添加到現(xiàn)有的機器學(xué)習(xí)工作流中。

用例

Milvus以其在相似性搜索和分析方面的能力而出名，廣泛支持多種編程語言。這種靈活性意味著開發(fā)人員并不局限于后端操作，甚至可以在前端執(zhí)行通常為服務(wù)器端語言保留的任務(wù)。比如說，您可以使用JavaScript生成PDF，同時利用來自Milvus的實時數(shù)據(jù)。這為應(yīng)用程序開發(fā)開辟了新的途徑，特別是針對教育內(nèi)容和專注于可訪問性的應(yīng)用程序。

這種開源向量數(shù)據(jù)庫可以應(yīng)用于一系列廣泛的行業(yè)和大量的應(yīng)用環(huán)境。另一個突出的例子涉及電子商務(wù)，Milvus可以支撐準(zhǔn)確的推薦系統(tǒng)，根據(jù)客戶的偏好和購買習(xí)慣來建議產(chǎn)品。

它還適用于圖像/視頻分析項目，協(xié)助圖像相似性搜索、對象識別以及基于內(nèi)容的圖像檢索。另一個關(guān)鍵用例是自然語言處理，提供文檔聚類和語義搜索功能以及為問答系統(tǒng)提供基礎(chǔ)功能。

3.Weaviate

接受比較的第三種開源向量數(shù)據(jù)庫是Weaviate，它出現(xiàn)在自托管的解決方案和完全托管的解決方案中。無數(shù)企業(yè)使用Weaviate來處理和管理大型數(shù)據(jù)集，因為它具有出色的性能、簡單性和高度可擴(kuò)展性。

Weaviate能夠管理眾多數(shù)據(jù)類型，非常靈活，可以存儲向量和數(shù)據(jù)對象，這使得它非常適合需要一系列搜索技術(shù)的應(yīng)用環(huán)境（比如向量搜索和關(guān)鍵字搜索）。

用例

就使用而言，Weaviate非常適合企業(yè)資源規(guī)劃軟件或牽涉以下方面的應(yīng)用軟件中的數(shù)據(jù)分類等項目：

• 相似性搜索
• 語義搜索
• 圖像搜索
• 電子商務(wù)產(chǎn)品搜索
• 推薦引擎
• 網(wǎng)絡(luò)安全威脅分析與檢測
• 異常檢測
• 自動化數(shù)據(jù)協(xié)調(diào)

現(xiàn)在我們對每種向量數(shù)據(jù)庫的功能有了一番簡單的了解，不妨考慮更具體的細(xì)節(jié)，它們在下面便捷的比較表中將每種開源解決方案區(qū)分開來。

比較表

結(jié)論

這篇比較指南中每種開源向量數(shù)據(jù)庫都很強大、易于擴(kuò)展，并且完全免費。這可能會使選擇完美的解決方案變得有點困難，但如果了解您從事的具體項目和所需的支持水平，這個過程可以變得更容易。

Chroma是最新的解決方案，在社區(qū)支持方面不如其他兩個，但是其易用性和靈活性使它成為一個很好的選擇，特別是對于涉及音頻搜索的項目。

Milvus擁有最高的GitHub星級評級和強大的社區(qū)支持，有數(shù)量驚人的企業(yè)信任這個向量數(shù)據(jù)庫來滿足需求。因此，Milvus很適合自然語言處理和圖像/視頻分析項目。

最后，Weaviate提供自托管和完全管理的解決方案，并提供詳細(xì)的說明文檔和支持。一個關(guān)鍵的用例是企業(yè)資源規(guī)劃軟件中的數(shù)據(jù)分類，但這款解決方案對于眾多項目來說堪稱完美。

原文標(biāo)題：An Honest Comparison of Open Source Vector Databases，作者：Nahla Davies