DeepSeek開(kāi)源多模態(tài)模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下載
本文經(jīng)AIGC Studio公眾號(hào)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
今天給大家介紹DeepSeek發(fā)布的Janus-Pro模型的ComfyUI實(shí)踐教程,包含ComfyUI安裝,模型下載,工作流下載等,歡迎大家一起交流學(xué)習(xí),也歡迎添加公眾號(hào)小助手加入讀者交流群,一起探索AIGC好玩的應(yīng)用。
Janus Pro 是 DeepSeek 于 2025年1月27日開(kāi)源的多模態(tài)模型,同時(shí)具有圖像理解和生成的能力。
ComfyUI 的 Janus-Pro 節(jié)點(diǎn)是一個(gè)統(tǒng)一的多模態(tài)理解和生成框架。
安裝方法
1. 通過(guò) ComfyUI Manager 安裝(推薦)
- 安裝 ComfyUI-Manager
- 在管理器中搜索 "Janus-Pro"
- 點(diǎn)擊安裝
2. 手動(dòng)安裝
將此倉(cāng)庫(kù)克隆到你的 ComfyUI 的 custom_nodes 文件夾中:
cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro
安裝所需依賴(lài): Windows系統(tǒng):
# 如果你使用ComfyUI便攜版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt
# 如果你使用自己的Python環(huán)境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
# 使用ComfyUI的Python環(huán)境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt
# 或者使用你的環(huán)境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt
安裝注意
如果你遇到安裝問(wèn)題可以從一下幾個(gè)方面排查問(wèn)題:
- 確保已安裝 git
- 嘗試更新 pip:
python -m pip install --upgrade pip
- 如果使用代理,確保 git 可以訪(fǎng)問(wèn) GitHub
- 確保使用的是與 ComfyUI 相同的 Python 環(huán)境
模型下載
- 將模型文件放在 ComfyUI/models/Janus-Pro 文件夾中:
- 在 ComfyUI 的 models 目錄下創(chuàng)建 Janus-Pro 文件夾
- 從 Hugging Face 下載模型:
- Janus-Pro-1B:https://huggingface.co/deepseek-ai/Janus-Pro-1B
- Janus-Pro-7B:https://huggingface.co/deepseek-ai/Janus-Pro-7B
- 將模型解壓到各自的文件夾中:
ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/
工作流下載
需要的小伙伴可以在公眾號(hào)發(fā)送以下內(nèi)容獲取工工作流:
DeepSeek工作流
這個(gè)工作流節(jié)點(diǎn)包含了圖像描述和圖像生成
- 在序號(hào)1 選擇 1B 或者 7B 模型
- 在序號(hào)2 上傳你需要用于 Janus Pro 解讀的圖片
- 在序號(hào)3 可以調(diào)整用于圖片描述的 Prompt, - 我測(cè)試過(guò)中文、英文、日語(yǔ)輸入都沒(méi)有問(wèn)題,但是如果你需要特定語(yǔ)言的輸出,請(qǐng)你在 prompt 中聲明,類(lèi)似 請(qǐng)使用日語(yǔ)輸出 這樣的要求
- 序號(hào)4 是一個(gè)展示 文本的節(jié)點(diǎn),我這里使用的是ComfyUI-Custom-Scripts 插件中的 Show Text 節(jié)點(diǎn)
- 在序號(hào)5 中輸入用于圖像生成的 prompt