終于來啦！Stable Diffusion 3將在6月12日正式開源 精華
6月3日晚，著名開源大模型平臺Stability AI的聯(lián)合首席執(zhí)行官Christian Laforte，在AMD的產(chǎn)品發(fā)布會上宣布，文生圖模型 Stable Diffusion 3將于6月12日在Hugging Face開源權(quán)重。
本次開源的是Stable Diffusion 3的Medium模型，有20億參數(shù)，在照片真實感、樣式、圖片質(zhì)量、算力資源消耗等方面都進(jìn)行了大幅度優(yōu)化，將比前兩代更好。
同時Stable Diffusion 3也是對標(biāo)閉源文生圖產(chǎn)品Midjourney、DALL·E 3的最佳模型之一，該系列已經(jīng)被全球數(shù)百萬開發(fā)者使用，很多文生視頻/3D模型也借鑒了該架構(gòu)。
今年2月22日，Stability AI首次預(yù)覽了Stable Diffusion 3，其逼真的圖片質(zhì)量、更好的文本語義理解與文字嵌入，使得全球開發(fā)者們對這個模型相當(dāng)期待。
但在3月23日，Stability AI的首席執(zhí)行官Emad Mostaque被辭退，隨后又爆出財務(wù)危機正在尋求買家等不少負(fù)面新聞，大家開始擔(dān)心Stable Diffusion 3的開源還能否順利進(jìn)行。
好在Stability AI都挺過來了，而此時其新上任的聯(lián)合首席執(zhí)行官在AMD的產(chǎn)品發(fā)布會宣布這個事情，估計已經(jīng)獲得了AMD的贊助還很可能被全資收購。
與英偉達(dá)相比，AMD在大模型、生成式AI的部署、開發(fā)等方面略處于落后，Stability AI開源的大語言模型、擴散模型等的下載量合計超過千萬級別，拿下它等同于收獲了一大批開發(fā)者。
Stable Diffusion 3架構(gòu)簡單介紹
?
根據(jù)Stable Diffusion 3論文顯示，使用了與Sora相同的架構(gòu)Diffusion Transformer。
Diffusion模型作為生成模型的一種，主要通過數(shù)據(jù)到噪聲的逆過程來創(chuàng)造新的數(shù)據(jù)點。這種方法在圖像和視頻生成方面應(yīng)用非常廣泛。
但是隨著Diffusion不斷迭代，預(yù)訓(xùn)練、推理對算力需求呈指數(shù)級增長，對于中小企業(yè)、個人開發(fā)者來說非常不友好。
所以，在Diffusion基礎(chǔ)之上又融合了大模型界非常知名的Transformer架構(gòu)，通過獨立的權(quán)重處理圖像和文本模態(tài)，并實現(xiàn)了這兩種模態(tài)之間的雙向信息流。
Diffusion Transformer架構(gòu)引入新的噪聲采樣技術(shù)，改進(jìn)了訓(xùn)練Rectified Flow模型的方法。通過偏向感知上相關(guān)的尺度，提高了訓(xùn)練的效率和性能。
該架構(gòu)采用了模擬無關(guān)的流訓(xùn)練方法，直接回歸一個向量場，用于生成數(shù)據(jù)分布和噪聲分布之間的概率路徑，有效避免了求解常微分方程所帶來的超高算力成本，同時也極大增強了文本語義理解、文字嵌入和圖片樣式等。
Stable Diffusion 3生成展示
?
其實在Stability AI發(fā)布預(yù)覽版時，已經(jīng)公布了一大批Stable Diffusion 3生成的圖片，基本上與Midjourney、DALL·E 3這兩款知名產(chǎn)品差不多。
例如，教室里，黑板上用白色粉筆寫著 "GPUs go brrmr"，這是一個肯定而幽默的場景。黑板前，一群學(xué)生正在慶祝。這些學(xué)生被獨特地描繪成鱷梨，長著小胳膊小腿，臉上洋溢著喜悅和興奮的表情。
這個場景捕捉到了一種充滿童趣和想象力的氛圍，將傳統(tǒng)教室的概念與牛油果學(xué)生的奇特形象融為一體。
一只半透明的豬，里面是一只更小的豬。
一只青蛙坐在20世紀(jì)50年代的快餐廳里，穿著皮夾克，戴著禮帽。桌子上有一個巨大的漢堡和一個寫著“Froggy Fridays”的牌子。
一只巨大、威嚴(yán)的白色巨龍，它有多個角和類似須的觸角，翱翔在崎嶇的山脈景觀之上。
這條龍有著明亮的橙色眼睛，似乎在清澈的藍(lán)天下飛翔在蓬松的白云之間。周圍有尖銳的積雪覆蓋的山峰，以及一座類似古代寺廟或塔樓的小建筑。
目前，Stable Diffusion 3 Medium模型只能用于學(xué)術(shù)研究無法商業(yè)化。如果在正式開源后，想商業(yè)化的開發(fā)者可以聯(lián)系Stability AI。
想使用Stable Diffusion 3 Turbo和其他版本的需要開通Stability AI的會員。
申請地址：https://stability.ai/stablediffusion3
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
