Hi，這里是Aitrainee，歡迎閱讀本期新文章。

我們正在使用一些Agent平臺(tái)如FastGPT和Dify，他們注重于快速生成文本內(nèi)容，知識(shí)庫問答，提供自定義能力和與現(xiàn)有系統(tǒng)的集成性。

同時(shí)，在AI繪畫方面，我們?cè)瓉硎褂肧D，后來使用ComfyUI。雖然ComfyUI被廣泛用于將文本轉(zhuǎn)化為圖像（文生圖），但它實(shí)際上是一種生成式AI內(nèi)容（AIGC）的工具，其功能不僅限于此。它還能夠處理文本生成（文生文），因此可以實(shí)現(xiàn)多種內(nèi)容的生成。

Dify中也有提供ComfyUI的集成工具，他是調(diào)用Comfy UI的服務(wù)。

所以，今天我們介紹ComfyUI LLM Party

這個(gè)工具挺酷的，他專注于LLM集成進(jìn)ComfyUI里面。旨在基于comfyui作為前端，開發(fā)一套完整的LLM工作流構(gòu)建節(jié)點(diǎn)，讓用戶可以快速便捷地構(gòu)建自己的LLM工作流，并輕松集成到現(xiàn)有的圖片工作流中。

該插件在 ComfyUI 中支持絕大多數(shù)大語言模型，兼容 OpenAI 格式的 API 調(diào)用，并結(jié)合 OneAPI 調(diào)用幾乎所有 LLM API。支持的模型包括通義千問、智譜清言、DeepSeek 和 Kimi。

額外功能有：支持 Ollama 本地模型，模型鏈節(jié)點(diǎn)選項(xiàng)（LLM、VLM-GGUF、LLM-GGUF），以及 VLM 模型的圖像識(shí)別和提示詞反推。

實(shí)用工具包括 OpenAI 語音識(shí)別與合成、Markdown 轉(zhuǎn) HTML、HTML 轉(zhuǎn)圖片，以及通過飛書機(jī)器人發(fā)送消息到多個(gè)平臺(tái)。

項(xiàng)目愿景：

1、從最基礎(chǔ)的 LLM 多工具調(diào)用、角色設(shè)定快速搭建自己的專屬AI助手、到可以行業(yè)落地的詞向量RAG、GraphRAG來本地化的管理行業(yè)內(nèi)知識(shí)庫；

2、從單一的智能體流水線，到復(fù)雜的智能體與智能體輻射狀交互模式、環(huán)形交互模式的構(gòu)建;

3、從個(gè)人用戶需要的接入自己的社交APP(QQ、飛書、Discord)，到流媒體工作者需要的一站式LLM+TTS+ComfyUI工作流；

4、從普通學(xué)生所需要的第一個(gè)LLM應(yīng)用的簡(jiǎn)單上手起步，到科研工作者們常用的各類參數(shù)調(diào)試接口，模型適配。

挺酷的，我們圖片生成的工作流，一定有許多地方可以和視覺、語音LLM結(jié)合，比如：

上下文增強(qiáng)：通過LLM獲取用戶的意圖和上下文，優(yōu)化生成過程，使生成的圖像更符合用戶需求。

圖像描述生成：使用視覺模型分析生成的圖像并自動(dòng)生成描述，幫助用戶理解圖像內(nèi)容，適用于無障礙應(yīng)用。

又如官方所說的：

您可以將任何 ComfyUI 工作流封裝到 LLM 工具節(jié)點(diǎn)中。您可以讓您的 LLM 同時(shí)控制多個(gè) ComfyUI 工作流。當(dāng)您希望它完成某些任務(wù)時(shí)，它可以根據(jù)您的提示選擇合適的 ComfyUI 工作流，完成您的任務(wù)，并將結(jié)果返回給您。

“您的提示選擇合適的 ComfyUI 工作流”，這在我們Fastgpt、Coze或者Dify 中稱為：?jiǎn)栴}分類或意圖識(shí)別。

還有一些其他的，比如ComfyUI + GraphRAG，這些就是單純使用ComfyUI前端實(shí)現(xiàn)GraphRAG。

總之，節(jié)點(diǎn)式工作流本身就是千變?nèi)f化的，給ComfyUI引入LLM的支持，會(huì)讓它更加適合千變?nèi)f化的場(chǎng)景，創(chuàng)建更多復(fù)雜有趣的應(yīng)用。

看看模型支持部分，基本上再配合One-API，市面上的模型都能支持，生產(chǎn)場(chǎng)景建議使用VLLM做模型加速部署，以API形式接入，而不是直接Hugging Face加載下載的模型，多說一句，ollama也不如Vllm，前者多卡部署大模型如70B的，推理會(huì)很慢，生成環(huán)境下基本不行。

這個(gè)項(xiàng)目包羅萬象，一直在兼容各種東西的路上，簡(jiǎn)單的項(xiàng)目描述也要寫上許多字才能盡善盡美。

部署方面總共兩步吧

方法一下載較方便，可在ComfyUI中直接安裝該插件，之后環(huán)境部署就是給你的ComfyUI再添加一些這個(gè)插件需要的環(huán)境。

快速開始

從教程上來看，上手并不難，但是實(shí)際上因?yàn)樗采w的東西非常多，你需要深入的話，相應(yīng)的你需要掌握很多東西，比如一些搜索引擎啊 searxng、neo4j KG、graphRAG、各種LLM的格式、llama.cpp ?。ㄟ@些我都弄過，往期文章有，但不全，有一些并沒有去寫）

具體你可以參考官方介紹。

本文轉(zhuǎn)載自 ??AI進(jìn)修生??，作者： Aitrainee