背景介紹

在當(dāng)今的企業(yè)環(huán)境下，很多的公司都在落地大模型相關(guān)的應(yīng)用。但是并不是每個(gè)公司都具備相應(yīng)的專業(yè)大模型的人才，能夠很好的處理大模型落地過(guò)程中碰到的問(wèn)題。

今天要給大家推薦一個(gè) GitHub 開(kāi)源項(xiàng)目 llmware-ai/llmware，該項(xiàng)目在 GitHub 有超過(guò) 1.6k Star，用一句話介紹該項(xiàng)目就是：“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。

項(xiàng)目介紹

llmware 是一個(gè)專為企業(yè)級(jí) LLM 開(kāi)發(fā)的框架、工具和模型。該項(xiàng)目在私有云中將企業(yè)知識(shí)與 LLM 安全并有效地整合，以便于創(chuàng)建出專業(yè)的、基于知識(shí)的企業(yè) LLM 應(yīng)用。主要功能包括：

1、提供高性能的文檔解析器以快速處理多種常用文檔類型；

2、提供完整的直觀的查詢方法，如語(yǔ)義查詢，文本查詢以及混合查詢；

3、支持人類參與評(píng)估、反饋和糾正 AI 的響應(yīng)；

4、可靈活地分析和審核 LLM 提示生命周期，等等。

此外，llmware 還提供快速開(kāi)始使用增強(qiáng)型檢索生成（RAG）的教程和視頻，以便于讓大家探索并掌握這個(gè)開(kāi)源項(xiàng)目。

如何使用

llmware 的安裝和使用十分方便，可以通過(guò) pip 命令進(jìn)行安裝。

pip3 install llmware

對(duì)于 MongoDB 和 Milvus 的使用者，llmware 可以直接通過(guò) Docker Compose 文件進(jìn)行安裝，以便于提供生產(chǎn)級(jí)的數(shù)據(jù)庫(kù)和向量嵌入能力。安裝完成后，只需引入 llmware 庫(kù)即可開(kāi)始編寫(xiě)代碼。

from llmware.models import ModelCatalog

ModelCatalog().get_llm_toolkit()  # get all SLIM models, delivered as small, fast quantized tools 
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included

項(xiàng)目推介

llmware 構(gòu)建的框架由四大主要組件組成，可以滿足全面而多元的業(yè)務(wù)需要。

以下是該項(xiàng)目 Star 趨勢(shì)圖（代表項(xiàng)目的活躍程度）：

更多項(xiàng)目詳情請(qǐng)查看如下鏈接。

開(kāi)源項(xiàng)目地址：https://github.com/llmware-ai/llmware

開(kāi)源項(xiàng)目作者：llmware-ai