本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

四位美少女，帶著AI畫畫在ChatGPT的熱浪中殺出了一片天地。

新“魔法”一出，瞬間吸引全場目光：

原本是一張四個閨蜜在沙灘邊上的普通合影照：

在新魔法的加持下，“啪的一下”畫風(fēng)兩極反轉(zhuǎn)，瞬間進(jìn)入唯美動漫風(fēng)：

還有效果截然不同的，例如醬紫：

不僅是動漫畫風(fēng)效果上的驚艷，就連人物的pose也是保持得“原汁原味”，美女們這下子算是分分鐘實(shí)現(xiàn)了動漫自由。

如此效果一出，也是引來了不少網(wǎng)友們的圍觀，直呼“在線求教程”：

也有不少人呼吁可以將這套玩法商業(yè)化了：

兩大AI高手聯(lián)動

使出這套AI組合拳的，是一位叫“viggo”的華人小哥博主。

他所持的兩大法寶分別是：左手StableDiffusion，右手ControlNet。

StableDiffusion，相信很多友友們都已經(jīng)很熟悉了，是根據(jù)輸入提示的文本，就可以快速出圖的AI作畫神器。

ControlNet，則是新晉當(dāng)紅AI插件（GitHub上線2天狂攬4.6K星），相當(dāng)于給AI作畫這事加了buff，可以精準(zhǔn)控制手部細(xì)節(jié)和整體結(jié)構(gòu)等。

小哥的做法說起也是比較簡單，就是先將原圖導(dǎo)入進(jìn)去，用StableDiffusion圖片轉(zhuǎn)文字。

再用Text2Prompt插件拓展找到對應(yīng)的關(guān)鍵詞；最后用ControlNet插件綁定骨骼開始換關(guān)鍵詞試效果。

當(dāng)然，原圖中四位美女的姿勢，也可以根據(jù)小哥繪制骨骼結(jié)構(gòu)的不同發(fā)生相應(yīng)的改變。例如這樣的：

相比原圖中人物的位置，上面這張中的人物更分散了一些，也站到了一排；以及上半身手臂的姿勢也發(fā)生了變化。

也是得益于StableDiffusion的能力，AI生成畫作在畫風(fēng)上也能產(chǎn)出截然不同的效果：

效果之驚艷，已經(jīng)有網(wǎng)友按耐不住，照著小哥的說法“復(fù)現(xiàn)”了一遍，并表示：

第一次接觸，很好玩，嘗試復(fù)現(xiàn)下，感覺良好。

不過有一說一，這位新晉AI作畫頂流插件ControlNet的“神通”可不僅于此。

簡單幾筆也可畫出真人效果

例如微博博主“海辛Hyacinth”便分享了他用ControlNet插件后“草圖變美女”的玩法。

他先是繪制了一張線稿：

然后是開啟了ControlNet的scribble模細(xì)化效果，便得到了這樣的結(jié)果：

效果之逼真，也是令人嘆服了。

“海辛Hyacinth”還測試了在同一seed下不同參數(shù)的效果：

有小伙伴就要問了，那如果關(guān)閉了ControlNet，效果會如何？別急，博主也做了測試，效果是這樣的：

“海辛Hyacinth”的這波操作也是得到了ControlNet作者的認(rèn)可：

這也把博主本人激動壞了，直呼“尖叫”：

當(dāng)然，ControlNet還可以實(shí)現(xiàn)其它諸多的功能，例如在裝修設(shè)計上，可以輸入一張拍好的臥室圖，分分鐘輸出草圖和換了風(fēng)格的效果圖：

以及在ControlNet的在線網(wǎng)站中，也提供了許多不同功能玩法體驗，感興趣的小伙伴可以去嘗試哦：

給AI畫畫模型加buff

ControlNet的原理，本質(zhì)上是給預(yù)訓(xùn)練擴(kuò)散模型增加一個額外的輸入，控制它生成的細(xì)節(jié)。

這里可以是各種類型的輸入，作者給出來的有8種，包括草圖、邊緣圖像、語義分割圖像、人體關(guān)鍵點(diǎn)特征、霍夫變換檢測直線、深度圖、人體骨骼等。

那么，讓大模型學(xué)會“按輸入條件生成圖片”的原理是什么呢？

ControlNet整體思路和架構(gòu)分工如下：

具體來說，ControlNet先復(fù)制一遍擴(kuò)散模型的權(quán)重，得到一個“可訓(xùn)練副本”（trainable copy）。

相比之下，原擴(kuò)散模型經(jīng)過幾十億張圖片的預(yù)訓(xùn)練，因此參數(shù)是被“鎖定”的。而這個“可訓(xùn)練副本”只需要在特定任務(wù)的小數(shù)據(jù)集上訓(xùn)練，就能學(xué)會條件控制。

據(jù)作者表示，即使數(shù)據(jù)量很少（不超過5萬張圖片），模型經(jīng)過訓(xùn)練后條件控制生成的效果也很好。

“鎖定模型”和“可訓(xùn)練副本”通過一個1×1的卷積層連接，名叫“0卷積層”。

0卷積層的權(quán)重和偏置初始化為0，這樣在訓(xùn)練時速度會非?？欤咏⒄{(diào)擴(kuò)散模型的速度，甚至在個人設(shè)備上訓(xùn)練也可以。

例如一塊英偉達(dá)RTX 3090TI，用20萬張圖像數(shù)據(jù)訓(xùn)練的話只需要不到一個星期：

作者基于當(dāng)前大火的Stable Diffusion進(jìn)行了具體實(shí)現(xiàn)，主要架構(gòu)如下：

針對不同的輸入，作者也給出了對應(yīng)不同的模型，生成效果也都不錯。

具體效果，就如我們剛才所展示的那樣了。

One More Thing

最后來一個溫馨提示……男同胞們不要覺得2月14日這個情人節(jié)過完就安全了。

接下來還可能有白色情人節(jié)（3月14日）、黑色情人節(jié)（4月14日）、玫瑰情人節(jié)（5月14日）、親親情人節(jié)（6月14日）……

趕緊把這套“AI組合拳”學(xué)起來，送自己的老婆/女朋友一張唯美的禮物吧！