作者丨Shritama Saha
編譯丨諾亞
出品 | 51CTO技術(shù)棧(微信號:blog51cto)
向量數(shù)據(jù)庫,一個從去年開始火到今年的概念,通常被認(rèn)為是大模型的記憶海綿。
作為一種專門用于存儲、 管理、查詢、檢索向量的數(shù)據(jù)庫,向量數(shù)據(jù)庫可以說是大模型落地行業(yè)場景必不可少的組成部分。
當(dāng)然也有人曾指出,向量數(shù)據(jù)庫這波熱潮有不少炒作成分,到底是虛火還是實火,或許還要等時間驗證。不過,這個賽道上入局的玩家已經(jīng)越來越多了。比如大家耳熟能詳?shù)腞edis。
Redis最近推出了一款名為Redis Vector Library的工具,旨在為生成式AI應(yīng)用開發(fā)提供更為高效便捷的支持。
該庫整合于Redis Enterprise平臺中,作為一個專門針對向量搜索、LLM(大型語言模型)緩存以及聊天歷史記錄等場景的實時向量數(shù)據(jù)庫系統(tǒng)。
Redis Vector Library的關(guān)鍵特性包括:
第一,簡化客戶端:專為搜索用向量嵌入設(shè)計,使得在AI驅(qū)動的任務(wù)中更容易使用向量數(shù)據(jù)。Python版本的Redis Vector Library(redisvl)是對現(xiàn)有廣泛使用的redis-py客戶端的擴(kuò)展,能夠與Redis實現(xiàn)無縫集成,以支持生成式AI應(yīng)用程序。
第二,便捷安裝與部署:通過pip包管理器即可安裝此庫;開發(fā)者可以選擇在Redis Cloud上部署獲得托管服務(wù),或者利用Docker鏡像進(jìn)行本地開發(fā)環(huán)境搭建。
第三,精細(xì)化配置與自定義架構(gòu):該庫還配備有專用CLI工具rvl,用于更方便地管理和操作向量數(shù)據(jù)。為了優(yōu)化生產(chǎn)環(huán)境下的搜索性能,redisvl允許用戶明確配置索引設(shè)置和數(shù)據(jù)集架構(gòu),并且采用YAML文件格式來簡化自定義架構(gòu)的定義、加載及管理工作。
另外,VectorQuery功能是redisvl的核心組件之一。VectorQuery致力于簡化帶有可選過濾條件的向量搜索過程,從而提高檢索結(jié)果的精確度。除了基礎(chǔ)查詢外,還支持將結(jié)構(gòu)化數(shù)據(jù)的搜索與基于向量相似性的搜索相結(jié)合。
此外,該庫還包含一個內(nèi)建的vectoriser模塊,可以生成并管理各種流行嵌入技術(shù)提供的向量表示,如Cohere、OpenAI、VertexAI和HuggingFace等平臺的嵌入模型,進(jìn)一步增強了AI應(yīng)用的能力范圍。
Redisvl 還集成了語義緩存功能,通過基于語義相似性緩存響應(yīng)來提升與大模型(LLMs)交互的應(yīng)用程序效率。這一特性聲稱能夠通過復(fù)用,針對相似查詢的先前緩存響應(yīng),從而減少響應(yīng)時間和API調(diào)用成本。該庫旨在未來提供LLM會話管理和上下文訪問控制的抽象接口,以進(jìn)一步增強對LLM資源使用的優(yōu)化和安全控制。
參考鏈接:https://analyticsindiamag.com/redis-unveils-redis-vector-library-for-generative-ai-development/