自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

今年很火的AI繪畫怎么玩

作者：misotofu
人工智能
AI繪畫在這一年的爆發(fā)一個(gè)很重要的原因就是 Stable Diffusion 的開源，這也離不開這幾年 Diffusion Model 擴(kuò)散模型在這幾年里的迅猛發(fā)展，結(jié)合了 OPENAI 已經(jīng)發(fā)展得很成熟的文本語言模型 GPT-3，從文本到圖片的生成過程變得更加容易。

1、前言

2022年絕對(duì)可以說是AIGC元年，從google搜索的趨勢(shì)來看，在2022年AI繪畫及AI生成藝術(shù)的搜索量激增。

圖片

AI繪畫在這一年的爆發(fā)一個(gè)很重要的原因就是 Stable Diffusion 的開源，這也離不開這幾年 Diffusion Model 擴(kuò)散模型在這幾年里的迅猛發(fā)展，結(jié)合了 OPENAI 已經(jīng)發(fā)展得很成熟的文本語言模型 GPT-3，從文本到圖片的生成過程變得更加容易。

2、GAN(生成對(duì)抗網(wǎng)絡(luò))的瓶頸

從14年誕生，到18年的StyleGAN，GAN在圖片生成領(lǐng)域獲得了長(zhǎng)足的發(fā)展。就好像自然界的捕食者與被捕食者相互競(jìng)爭(zhēng)共同進(jìn)化一樣，GAN的原理簡(jiǎn)單來說就是使用兩個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)作為生成器、一個(gè)作為判別器，生成器生成不同的圖像讓判別器去判斷結(jié)果是否合格，二者互相對(duì)抗以此訓(xùn)練模型。

圖片

GAN（生成對(duì)抗網(wǎng)絡(luò)）經(jīng)過不斷發(fā)展其有了不錯(cuò)的效果，但有些始終難以克服的問題：生成結(jié)果多樣性缺乏、模式坍縮（生成器在找到最佳模式后就不再進(jìn)步了）、訓(xùn)練難度高。這些困難導(dǎo)致 AI 生成藝術(shù)一直難以做出實(shí)用的產(chǎn)品。

3、Diffusion Model（擴(kuò)散模型）的突破

在 GAN 多年的瓶頸期后，科學(xué)家想出了非常神奇的 Diffusion Model（擴(kuò)散模型）的辦法去訓(xùn)練模型：把原圖用馬爾科夫鏈將噪點(diǎn)不斷地添加到其中，最終成為一個(gè)隨機(jī)噪聲圖像，然后讓訓(xùn)練神經(jīng)網(wǎng)絡(luò)把此過程逆轉(zhuǎn)過來，從隨機(jī)噪聲圖像逐漸還原成原圖，這樣神經(jīng)網(wǎng)絡(luò)就有了可以說是從無到有生成圖片的能力。而文本生成圖片就是把描述文本處理后當(dāng)做噪聲不斷添加到原圖中，這樣就可以讓神經(jīng)網(wǎng)絡(luò)從文本生成圖片。

圖片

Diffusion Model（擴(kuò)散模型）讓訓(xùn)練模型變得更加簡(jiǎn)單，只需大量的圖片就行了，其生成圖像的質(zhì)量也能達(dá)到很高的水平，并且生成結(jié)果能有很大的多樣性，這也是新一代 AI 能有難以讓人相信的「想象力」的原因。

當(dāng)然技術(shù)也是一直在突破的，英偉達(dá)在1月底推出的StyleGAN的升級(jí)版StyleGAN-T就有了十分驚艷的進(jìn)步，在同等算力下相比于Stable Diffusion生成一張圖片需要3秒，StyleGAN-T僅需0.1秒。并且在低分辨率圖像StyleGAN-T要比Diffusion Model要好，但在高分辨率圖像的生成上，還是Diffusion Model的天下。由于StyleGAN-T并沒有像Stable Diffusion那樣獲得廣泛的應(yīng)用，本文還是以介紹Stable DIffusion為主。

4、Stable Diffusion

在今年早些時(shí)間，AI作畫圈經(jīng)歷了 Disco Diffusion、DALL-E2、Midjouney 群雄混戰(zhàn)的時(shí)代，直到 Stable Diffusion 開源后，才進(jìn)入一段時(shí)間的塵埃落定，作為最強(qiáng)的 AI 作畫模型，Stable Diffusion 引起了 AI 社群的狂歡，基本上每天都有新的模型、新的開源庫誕生。尤其是在Auto1111的WebUI版本推出后，無論是部署在云端還是本地，使用Stable Diffusion都變成一個(gè)非常簡(jiǎn)單的事情，并且隨著社區(qū)的不斷開發(fā)，很多優(yōu)秀的項(xiàng)目，比如Dreambooth、deforum都作為 Stable Diffusion WEBUI版的一個(gè)插件加入進(jìn)來，使得像微調(diào)模型、生成動(dòng)畫等功能都能一站式完成。

圖片

5、AI繪畫玩法及能力介紹

下面介紹下目前使用 Stable Diffusion 可以有哪些玩法以及能力

Stable Diffusion 能力簡(jiǎn)介 （以下圖片使用SD1.5模型輸出）


簡(jiǎn)介

輸入

輸出

text2img

通過文字描述生成圖片，可通過文字描述指定藝術(shù)家風(fēng)格、藝術(shù)類型。這里以藝術(shù)家 Greg Rutkowski 的風(fēng)格舉例。

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski





圖片





img2img

通過圖片以及文字描述生成圖片

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand, by Greg Rutkowski





圖片









圖片





inpainting

在img2img的基礎(chǔ)上，通過設(shè)置遮罩，只繪制遮罩內(nèi)的區(qū)域，一般用于修改關(guān)鍵詞微調(diào)畫面。

a beautiful girl with a flowered shirt gently smiling posing for a picture with her chin resting on her right hand, by Greg Rutkowski





圖片









圖片





使用 DreamBooth 基于SD 模型訓(xùn)練微調(diào)的大模型，訓(xùn)練后使用該模型可使用上述的 text2img img2img 等能力

NovelAI

text2img

目前效果最好的二次元?jiǎng)勇嬶L(fēng)的模型， 由 NAI 基于 danbooru 站的公開圖片作為數(shù)據(jù)集訓(xùn)練，但由于 danbooru 本身存在版權(quán)問題，NovelAI一直比較受爭(zhēng)議，并且該模型是商用服務(wù)泄漏流出，使用需謹(jǐn)慎。

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand





圖片





NovelAI

img2img

使用 NovelAI 的模型進(jìn)行img2img。目前在各個(gè)社區(qū)很火的意間AI作畫，也是使用的這個(gè)能力。但意間在免責(zé)聲明中提到他們的動(dòng)漫模型是自己收集的數(shù)據(jù)集訓(xùn)練的。

*右邊樣例的文字描述是根據(jù)圖片內(nèi)容根據(jù)AI反推得出的，畫師風(fēng)格隨機(jī)

a beautiful girl with a flowered shirt posing for a picture with her chin resting on her right hand





圖片




AI繪畫






圖片





基于用戶照片訓(xùn)練的主體模型

基于用戶提供的幾張照片訓(xùn)練一個(gè)針對(duì)主體的模型，用這個(gè)模型可以根據(jù)描述生成任意包含該主體的圖片。

該組圖使用同事的20張照片基于Stable Diffusion 1.5模型訓(xùn)練2000步出模型，配合幾個(gè)風(fēng)格化的prompt輸出。

prompt舉例（圖1）：

portrait of alicepoizon, highly detailed vfx portrait, unreal engine, greg rutkowski, loish, rhads, caspar david friedrich, makoto shinkai and lois van baarle, ilya kuvshinov, rossdraws, elegent, tom bagshaw, alphonse mucha, global illumination, detailed and intricate environment

*alicepoizon是訓(xùn)練此模型時(shí)為這個(gè)人物的命名





圖片









圖片









圖片





基于同類型風(fēng)格訓(xùn)練的風(fēng)格模型

使用相同風(fēng)格的一組圖片訓(xùn)練一個(gè)微調(diào)后的大模型，可以通過該大模型生成生成風(fēng)格統(tǒng)一的圖片。

該組圖使用了得物數(shù)字藏品ME.X訓(xùn)練微調(diào)出的風(fēng)格模型生成。

a beautiful girl with a flowered shirt





圖片





Lionel Messi





圖片





Leonardo DiCaprio





圖片





Scarlett Johansson





圖片






6、目前主要應(yīng)用情況介紹


簡(jiǎn)介

樣例

美圖、抖音、6pen、意間等公司提供的AI繪畫服務(wù)

提供更加便捷的AI繪畫體驗(yàn)，可以使用眾多風(fēng)格各異的定制大模型。





圖片






midjouney 與 DallE 2

兩個(gè)商業(yè)化的 AI 作畫服務(wù)。midjouney有自己特色的模型，產(chǎn)品化程度高；DallE 2則是提供了付費(fèi)的API服務(wù)，有著較高質(zhì)量的生成效果。





圖片





Lensa、漫鏡等提供個(gè)人模型訓(xùn)練服務(wù)

提供了前面的Dreambooth + Stable Diffusion的服務(wù)，大概18-25元一次，上傳15-20張用戶照片，生成定制的20張左右的藝術(shù)照片。






圖片






AI 開源社區(qū)Huggingface

??https://huggingface.co/??

目前主流的 AI 開源社區(qū)，類似 github，有大量用戶自己 finetuned （微調(diào)）的基于 Stable Diffusion 模型，可以下載并部署到自己的服務(wù)器或者本地電腦上。

例如右側(cè)的pix2pix模型是一個(gè)結(jié)合了GPT3的Stable Diffusion模型，可以通過自然語言描述來完成前文提到的inpainting功能。





圖片





7、自己搭一個(gè)Stable Diffusion WEBUI服務(wù)

7.1 云端版本

這里使用AutoDL提供的云端算力來搭建，也可以使用其他平臺(tái)比如 Google Colab或者百度飛槳等。

  • 首先在AutoDL上注冊(cè)賬號(hào)并且租一臺(tái) A5000/RTX3090 顯卡的云主機(jī)。https://www.autodl.com/market/list
  • 以此主機(jī)創(chuàng)建鏡像，鏡像可在 www.codewithgpu.com 上選擇已經(jīng)打包好的算法鏡像。這里以 https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI 這個(gè)鏡像為例，選擇后創(chuàng)建。

圖片

  • 創(chuàng)建后開機(jī)并啟動(dòng)JupterLab，

圖片

運(yùn)行下面指令啟動(dòng)服務(wù)即可。如果遇到系統(tǒng)盤空間不足的情況，也可以將stable-diffusion-webui/文件夾移入數(shù)據(jù)盤 autodl-tmp再啟動(dòng)。如果遇到啟動(dòng)失敗，可以根據(jù)你機(jī)器的位置配置一下學(xué)術(shù)資源加速。

cd stable-diffusion-webui/
rm -rf outputs && ln -s /root/autodl-tmp outputs
python launch.py --disable-safe-unpickle --port=6006 --deepdanbooru
6.2 本地版本

如果你有一塊顯卡還不錯(cuò)的電腦，那可以部署在本地，這里介紹下Windows版本的搭建：

  • 首先需要安裝Python 3.10.6，并且添加環(huán)境變量到Path中
  • 安裝git
  • Clone Stable Diffusion WEBUI 的工程代碼到本地
  • 將模型文件放置于 models/Stable-Diffusion目錄下，相關(guān)模型可以去https://huggingface.co/ 下載
  • 運(yùn)行 webui-user.bat，通過本機(jī)電腦ip及7860端口訪問服務(wù)。

8、總結(jié)

本文介紹了AI繪畫的一些相關(guān)的信息，感興趣的朋友也可以自己把服務(wù)部署起來，自己試著學(xué)習(xí)用DreamBooth或者最新的Lora微調(diào)一下大模型。相信在2023年，隨著 AIGC 熱度的不斷提高，我們的工作和生活都會(huì)因?yàn)?AI 帶來巨大的改變。前段時(shí)間 ChatGPT的推出給我們帶來了巨大的震撼，就好像剛進(jìn)入互聯(lián)網(wǎng)時(shí)期搜索信息的能力一樣，今后學(xué)會(huì)使用 AI 來輔助我們的工作也將是一個(gè)非常重要的能力。

9、參考資料

  • 從起因到爭(zhēng)議，在 AI 生成藝術(shù)元年聊聊 AI 

   https://sspai.com/post/76277

  • 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)筆記6——生成式AI繪畫背后的的GAN與Diffusion初解

https://blog.csdn.net/qq_45848817/article/details/127808815

  • How diffusion models work: the math from scratch    

   https://theaisummer.com/diffusion-models/

  • GAN 結(jié)構(gòu)概覽              

    https://developers.google.com/machine-learning/gan/gan_structure

  • The absolute beginners guide to Midjourney – a magical introduction to AI art

   https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney-       magical-introduction-to-ai-art/

  • The viral AI avatar app Lensa undressed me—without my consent

   https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app-         lensa-undressed-me-without-my-consent/

  • instruct-pix2pix 

    https://huggingface.co/timbrooks/instruct-pix2pix

責(zé)任編輯：武曉燕 來源： 得物技術(shù)
AI繪畫
相關(guān)推薦

2024-03-25 07:04:12

2021-07-26 14:50:03

人工智能算法云計(jì)算

2014-08-26 11:03:54

2023-05-06 08:23:36

ChatGPT自然語言技術(shù)

2024-04-30 11:21:04

瀏覽器指紋瀏覽器

2020-08-23 10:39:37

語言開發(fā)程序員

2019-07-11 16:06:03

Python編程語言設(shè)計(jì)

2015-12-15 13:43:24

volte

2025-02-14 09:17:16

2021-07-22 09:40:10

GitHub代碼開發(fā)者

2025-04-29 00:00:00

超節(jié)點(diǎn)SuperPod大模型

2023-02-28 23:16:38

AI視頻技術(shù)

2019-05-28 14:55:41

Python人工智能Java

2015-02-26 10:46:13

iPhone 6Android

2018-08-10 04:57:06

2023-08-26 07:25:28

AI繪畫工具技術(shù)

2017-03-17 20:03:20

人臉識(shí)別

2025-04-29 08:56:36

2023-09-07 23:06:07

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)