4月18日，著名開源大模型平臺(tái)Stability.ai在官網(wǎng)宣布，最新文生圖模型Stable Diffusion 3 （簡(jiǎn)稱“SD3”）和 SD3 Turbo可以在API中使用。

據(jù)悉，本次繼續(xù)由知名API管理平臺(tái)Fireworks AI提供服務(wù)。與前兩代相比，SD3除了生成的圖片質(zhì)量更高之外，可以更好地理解提示文本中嵌入到圖片中的文字。

例如，一個(gè)色彩繽紛的魔法世界，天空的中央寫著“歡迎來(lái)到魔法世界”。

前兩個(gè)模型版本可能無(wú)法將“歡迎來(lái)到魔法世界”精準(zhǔn)嵌入到圖片的指定位置或出現(xiàn)扭曲的文字，而SD3可以輕松實(shí)現(xiàn)。

此外，SD3的模型權(quán)重將很快向Stability AI會(huì)員提供，可以在本地部署、運(yùn)行SD3。

API地址：https://platform.stability.ai/docs/api-reference?_gl=1*1ldjred*_ga*ODY1NjAxMzA1LjE3MDcyNTYwMTM.*_ga_W4CMY55YQZ*MTcxMzM5NDE4OS40NC4xLjE3MTMzOTQyNTUuMC4wLjA.#tag/Generate/paths/~1v2beta~1stable-image~1generate~1sd3/post

Stable Diffusion 3架構(gòu)簡(jiǎn)單介紹

今年2月22日，Stability.ai在官網(wǎng)首次展示了SD3并開啟候補(bǔ)測(cè)試。隨后3月5日在arxiv上公布了其論文。

根據(jù)其論文介紹，SD3與前兩代相比最大技術(shù)創(chuàng)新在于，使用了MM-DiT和Flow Matching兩種方法來(lái)增強(qiáng)模型的輸出、訓(xùn)練、優(yōu)化等，同時(shí)支持文本或圖像作為提示實(shí)現(xiàn)多模態(tài)能力。

通常多數(shù)文生圖模型在生成的過(guò)程中，只考慮圖像本身而沒(méi)有充分利用文本信息，所以，輸出結(jié)果時(shí)經(jīng)常出現(xiàn)“驢頭不對(duì)馬嘴”的情況，甚至是一些無(wú)法理解的亂碼或者扭曲的圖像。

而MM-DiT通過(guò)結(jié)合Transformer的自注意力機(jī)制強(qiáng)大的文本和圖像序列處理能力，幫助模型在生成圖像時(shí)能與文本實(shí)現(xiàn)更好的匹配。

當(dāng)用戶輸入文本或圖像提示時(shí)，首先被轉(zhuǎn)換為嵌入表示。文本通過(guò)預(yù)訓(xùn)練的文本模型編碼，而圖像則通過(guò)預(yù)訓(xùn)練的自動(dòng)編碼器轉(zhuǎn)換為潛在空間表示。

MM-DiT會(huì)使用一種調(diào)制機(jī)制來(lái)整合時(shí)間步和文本條件信息，會(huì)將時(shí)間步和文本嵌入與圖像的潛在表示進(jìn)行整合。

接著，MM-DiT會(huì)利用一系列的調(diào)制注意力和多層感知力進(jìn)一步混合文本和圖像特征。這些塊允許模型在保留各自模態(tài)特征的同時(shí)，進(jìn)行跨模態(tài)的信息交流。

為了幫助SD3更好地處理多模態(tài)數(shù)據(jù)，MM-DiT采用了多頭注意力機(jī)制，允許模型在不同的表示子空間中并行處理信息。

這也是SD3能深度理解文本提示中的嵌入文字主要原因，MMDiT不僅能將文字轉(zhuǎn)換成圖片，還能確保圖片能夠反映出文字中的所有細(xì)節(jié)。

根據(jù)測(cè)試數(shù)據(jù)顯示，與DiT、CrossDiT、UViT等方法相比，MM-DiT所有指標(biāo)上表現(xiàn)都非常出色，并且在內(nèi)部共享權(quán)重集。

Flow Matching是一種用于訓(xùn)練Rectified Flow模型的方法，通過(guò)最小化生成路徑上的誤差來(lái)改善模型性能，同時(shí)幫助模型學(xué)習(xí)從隨機(jī)噪聲快速轉(zhuǎn)換到目標(biāo)圖像。

在訓(xùn)練過(guò)程中，F(xiàn)low Matching會(huì)先定義一個(gè)從數(shù)據(jù)分布到噪聲分布的前向過(guò)程，這個(gè)過(guò)程通過(guò)一系列的時(shí)間步驟來(lái)模擬，每個(gè)步驟都對(duì)應(yīng)著數(shù)據(jù)向噪聲的逐漸轉(zhuǎn)變。

接著，通過(guò)對(duì)每個(gè)時(shí)間步的噪聲樣本生成一個(gè)向量場(chǎng)，可以在概率空間中模擬數(shù)據(jù)到噪聲的轉(zhuǎn)換。

最后，F(xiàn)low Matching通過(guò)最小化一個(gè)目標(biāo)函數(shù)來(lái)優(yōu)化生成向量場(chǎng)。該目標(biāo)函數(shù)的作用是幫助模型預(yù)測(cè)的向量場(chǎng)和真實(shí)向量場(chǎng)之間的差異。優(yōu)化的過(guò)程中會(huì)盡量減小這個(gè)差異，從而提高模型的生成圖像預(yù)測(cè)準(zhǔn)確性。

關(guān)于SD3更詳細(xì)的技術(shù)解讀，小伙伴們可以查看論文。

SD3生成圖片展示

根據(jù)Stability.ai展示的效果，SD3生成的圖片有一些甚至比Midjourney更好，尤其是文字嵌入方面。

一座白色建筑頂部放著一張紅色沙發(fā)。涂鴉強(qiáng)上寫著“城市最佳景觀”。

一個(gè)印有“他們說(shuō)在這里思考不好”的紙板箱，紙板箱很大，放在劇場(chǎng)舞臺(tái)上。

半透明的豬，肚子里有一只更小的豬。

一只奶酪制作的螃蟹，在盤子中。

在山頂上有一位巫師創(chuàng)作了一幅令人驚嘆的藝術(shù)作品，他用魔法創(chuàng)造了文字"Stable Diffusion 3 API"。

本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/TF1-xPN78sxwCufFLCT9jQ??