哈嘍，大家好。

ChatGPT 爆火之后，最近大家又開始關(guān)注AI作畫了，AI作畫的出現(xiàn)比ChatGPT早，只不過沒有形成全行業(yè)性的關(guān)注。

AI作畫 現(xiàn)在用的比較多的是擴散模型?，二次元作畫網(wǎng)站Novel AI?的模型泄漏，被爆出用的就是Stable Diffusion（穩(wěn)定擴散模型）

今天，教大家在本地搭建一個web版AI作畫工具，可以生成自己的二次元圖片，然后用 FOM? 模型進(jìn)行表情遷移，讓人臉動起來，在用wav2lip讓嘴唇隨著聲音動起來。

權(quán)重文件和測試數(shù)據(jù)已經(jīng)打包好了，評論區(qū)獲取。

首先，下載stable-diffusion-webui源碼

https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

提示一下，安裝步驟沒必要按照官方的，官方的方式太死板了，反而制造更多麻煩。

安裝 pytorch

選擇對應(yīng) cuda? 版本和 pytorch 版本安裝即可。

安裝stable-diffusion-webui依賴包

cd stable-diffusion-webui

pip install -e requirements.txt

安裝結(jié)束后，執(zhí)行python launch.py命令，運行后，發(fā)現(xiàn)還要安裝一些包，如：

發(fā)現(xiàn)Installing open clip?一行，說明還需要安裝open clip?，這個是從github?下載源碼安裝，但github經(jīng)常訪問不了，所以這里經(jīng)常以失敗告終。

不過，觀察上面的信息，可以找他安裝命令

"/ur/bin/python" -m pip install git+https://github.com/mlfoundations/open_clip.git@bb6e834e9c70d9c27d0dc3ecedeebeaeblffad6b --prefer-bina
ry

我們可以將github.com改為國內(nèi)的鏡像，手動安裝這個包

python -m pip install git+https://kgithub.com/mlfoundations/open_clip.gitebb6e834e9c70d9c27de
dc3ecedeebeaeb1ffad6b
--prefer-binarv

把github.com?改為kgithub.com，可以看到安裝速度很快。

重復(fù)執(zhí)行python launch.py命令，用同樣的方式把依賴包都安裝上即可。

最后，看到如下輸出，說明stable-diffusion-webui成功啟動了

可以看到，這里自動下載的stable diffusion?模型是v1-5-pruned-emaonly。

我提供了novel ai?模型，效果更好，大家可以下載。覆蓋models下Stable-diffusion目錄即可。

打開webui?，填入正面tag和反面tag就可以自動生成圖片了。

分享一個地址 https://docs.qq.com/doc/DWHl3am5Zb05QbGVs

這里有大量tag可以直接使用

也可以訓(xùn)練embedding?生成特定人物或風(fēng)格的圖片，比如：我訓(xùn)練兩個一個高啟強的embedding，生成的圖片如下：

接下來，我們就驅(qū)動圖片動起來。

我是基于Paddle?實現(xiàn)的，首先安裝Paddlehub

pip install --upgrade paddlehub

FOM 模型進(jìn)行表情遷移

import paddlehub as hub

FOM_Module = hub.Module(name="first_order_motion")
FOM_Module.generate(
  source_image="input_data/qiqiang2.png", # 輸入圖像
  driving_video="input_data/ting.mp4", # 輸入驅(qū)動視頻
  ratio=0.4, 
  image_size=256, 
  output_dir='./output/', # 輸出文件夾
  filename='qisheng_out2.mp4', # 輸出文件名
  use_gpu=True)

Wav2lip嘴唇動起來

W2F_Module = hub.Module(name="wav2lip")

W2F_Module.wav2lip_transfer(
  face='output/qisheng_out2.mp4', 
  audio='wavs/ting.wav', 
  output_dir='./transfer_result/', 
  use_gpu=True)

 本文轉(zhuǎn)載自微信公眾號「 渡碼」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系 渡碼公眾號。