“在線版FLUX”已支持ControlNet,無需部署開箱即用,還能在線訓(xùn)練LoRA模塊
“FLUX在線版”,新增一系列重磅功能!
ControlNet、LoRA等重要模塊都悉數(shù)到齊,而且開箱即用,無需自行配置工作流。
甚至還可以在線訓(xùn)練自己的LoRA模型,并通過鏈接進(jìn)行分享。
Stale Diffusion原班人馬打造的最強(qiáng)繪圖模型——FLUX上線之后,在線推理服務(wù)平臺fal.ai就立即進(jìn)行了跟進(jìn)。
后續(xù)第三方開發(fā)的ControlNet、LoRA等新功能,也被fal迅速地加入到了自己的平臺當(dāng)中。
得益于fal開箱即用、支持一鍵分享的優(yōu)勢,LoRA和ControlNet加持的FLUX很快被網(wǎng)友們玩出了花。
比如給下面這個名場面當(dāng)中的任務(wù)修改一下面部表情。
實(shí)際上,fal也是FLUX開發(fā)團(tuán)隊(duì)黑森林實(shí)驗(yàn)室官方合作的兩個在線推理平臺之一(另一個是Replicate)。
fal.ai團(tuán)隊(duì)成員Jonathan Fischoff也在推特上大量轉(zhuǎn)發(fā)網(wǎng)友利用其平臺創(chuàng)作的作品和LoRA模型。
有網(wǎng)友在Fischoff的評論區(qū)許愿,希望fal能將ControlNet和LoRA與圖生圖結(jié)合。
對此Fischoff表示,已經(jīng)在做了。
FLUX+LoRA被網(wǎng)友玩出花
先來看下史上最強(qiáng)的FLUX模型疊加上LoRA和ControlNet后的效果~
Fischoff展示了在fal上使用ControlNet輪廓控制的FLUX生成的圖像。
控制輪廓大概是這個樣子,直觀看上去是臥室的場景,包含了床、椅子、綠植等物體。
作者用FLUX把這個輪廓繪制成了賽博朋克風(fēng),看上去確實(shí)挺有賽博朋克的感覺,也能較好地遵循控制條件。
Futuristic cyberpunk bedroom, neon lights, glowing porcelain sculpture above bedframe
未來風(fēng)格的賽博朋克臥室,霓虹燈,床架上方發(fā)光的瓷器雕塑
我們通過PS把兩張圖疊加到一起觀察下細(xì)節(jié),貼合程度可以說是比較高的。
另外利用fal的分享頁面,我們可以使用相同的ControlNet等配置,直接改一下提示詞生成新的圖像。
比如把這個賽博朋克風(fēng)格的臥室改成中國風(fēng)。
我們順便體驗(yàn)了一下其他模式的ControlNet,比如姿勢(pose)控制。
利用左邊的圖像作為參照,繪制一個跳舞的馬斯克,雖然和馬斯克不太像,但是該有的姿勢倒是完美遷移過去了。
除了ControlNet,被分享更多的是各種各樣的LoRA模塊。
利用這些LoRA模塊,可以把人物修改成剪紙、繪畫、賽博朋克等各種不同風(fēng)格。
還有網(wǎng)友把LoRA模型玩出了新花樣,把可樂、TED演講,甚至機(jī)器學(xué)習(xí)都搬到了1920年代的塔羅牌當(dāng)中。
而且現(xiàn)在,無需研究如何部署模型、搭建工作流,通過fal這個在線平臺就能開箱即用式地應(yīng)用這些功能。
開箱即用的FLUX
在fal(L的小寫)平臺中目前一共有5個模型和FLUX相關(guān),其中三個是FLUX的官方原版。
最新支持ControlNet和LoRA的,是[dev] with LoRAs這個版本(下圖最后一個)。
基礎(chǔ)功能上,除了支持FLUX官方的文生圖和圖生圖,這個模型還可以進(jìn)行圖像修復(fù)(inpainting)。
其中ControlNet的部分,使用的是來自小紅書的InstantX團(tuán)隊(duì)為FLUX開發(fā)的ControlNet合集。
InstantX團(tuán)隊(duì)一開始發(fā)布了線條(Canny)控制模塊,后來又上線了支持了線條、景深、姿勢等七種控制模式的合集。
順帶提一句,InstantX團(tuán)隊(duì)還新建了一個IPadapter模型的頁面,估計(jì)很快就會上線。
與此同時,另一家叫Xlabs的工作室也做了適用于FLUX的ControlNet,不過目前支持的模式比InstantX的少一些,在線體驗(yàn)地點(diǎn)是隔壁的Replicate。
回到fal,另一項(xiàng)重磅功能就是LoRA了,今早剛剛更新的版本還新增了多個LoRA模塊疊加的功能。
在fal當(dāng)中,還可以在線訓(xùn)練自己的FLUX LoRA模塊,做完之后可以通過鏈接進(jìn)行分享。
不過,fal平臺并不免費(fèi),使用[dev] with LoRAs版本的價格是每百萬像素0.075美元(約合人民幣五毛四),新注冊時會贈送1美元余額,大概可以畫13張圖。
當(dāng)然,F(xiàn)LUX本身是免費(fèi)開源的,可以自行下載搭建,fal收費(fèi)是因?yàn)樘峁┝送评矸?wù),以及背后的計(jì)算資源。
傳送門:https://fal.ai/models/fal-ai/flux-general