北航聯(lián)合港大發(fā)布全新文本引導(dǎo)矢量圖形合成方法SVGDreamer
想了解更多AIGC的內(nèi)容，請(qǐng)?jiān)L問(wèn)：
可縮放矢量圖形（Scalable Vector Graphics，SVG）是用于描述二維圖型和圖型應(yīng)用程序的基本元素；與傳統(tǒng)的像素圖形不同，SVG 使用數(shù)學(xué)描述來(lái)定義圖形，因此可以在任何大小下無(wú)損地縮放而不失真。這使得 SVG 成為網(wǎng)站設(shè)計(jì)領(lǐng)域的理想選擇，特別是在需要適應(yīng)不同分辨率和設(shè)備的情況下。但是創(chuàng)作者手工設(shè)計(jì) SVG 是高成本并具有挑戰(zhàn)的。
最近，隨著 CLIP 和生成式模型的快速發(fā)展，文本引導(dǎo)的矢量圖合成（Text-to-SVG）在抽象像素風(fēng)格 [1,2] 和矢量手繪草圖 [3,4] 等領(lǐng)域都取得了不錯(cuò)的進(jìn)展。通過(guò)可微分渲染器 [5] 驅(qū)動(dòng)矢量路徑基元自動(dòng)合成對(duì)應(yīng)的矢量圖形，成為一個(gè)熱門(mén)的研究方向。
相比于人類(lèi)設(shè)計(jì)師，Text-to-SVG 方法可以快速并大量的創(chuàng)建矢量?jī)?nèi)容，用于擴(kuò)充矢量資產(chǎn)。 然而，現(xiàn)有的 Text-to-SVG 方法還存在兩個(gè)限制：1.生成的矢量圖缺少編輯性；2. 難以生成高質(zhì)量和多樣性的結(jié)果。為了解決這些限制，作者提出了一種新的文本引導(dǎo)矢量圖形合成方法：SVGDreamer。
論文題目：
SVGDreamer: Text Guided SVG Generation with Diffusion Model
論文地址：
https://arxiv.org/abs/2312.16476
代碼地址：
https://github.com/ximinng/SVGDreamer
項(xiàng)目地址：
https://ximinng.github.io/SVGDreamer-project/
01 實(shí)現(xiàn)思路
▲ 圖1：SVGDreamer流程圖
SVGDreamer 由兩部分構(gòu)成：語(yǔ)義驅(qū)動(dòng)的圖像矢量化（Semantic-driven Image Vectorization，SIVE）和基于矢量例子的分?jǐn)?shù)蒸餾（Vectorized Particle-based Score Distillation，VPSD）構(gòu)成。
其中 SIVE 根據(jù)文本提示矢量化圖像，VPSD 則通過(guò)分?jǐn)?shù)蒸餾從預(yù)訓(xùn)練的擴(kuò)散模型中合成高質(zhì)量、多樣化并具有審美吸引力的矢量圖。
1.1 語(yǔ)義驅(qū)動(dòng)的圖像矢量化 (SIVE)
SIVE 根據(jù)文本提示合成語(yǔ)義層次解耦的矢量圖。它包括兩個(gè)部分：
- 矢量基元初始化（Primitive Initialization）
- 基于語(yǔ)義級(jí)優(yōu)化（Semantic-aware Optimization）
如圖 1 上半部分所示，文本提示中不同的詞語(yǔ)對(duì)應(yīng)不同的注意力圖，這使得作者可以借助注意力圖初始化矢量圖控制點(diǎn)（control points）。具體來(lái)說(shuō)，作者對(duì)注意力圖進(jìn)行歸一化，將它視為一個(gè)概率分布圖，根據(jù)概率加權(quán)采樣畫(huà)布上的點(diǎn)作為貝塞爾曲線(xiàn)的控制點(diǎn)。
然后，作者將初始化階段獲得的注意力圖轉(zhuǎn)換為可重復(fù)使用的掩碼，大于等于閾值的部分設(shè)為 1，代表目標(biāo)區(qū)域，小于閾值為 0。作者利用掩碼定義 SIVE 損失函數(shù)從而精確地優(yōu)化不同的對(duì)象。
SIVE 確保了控制點(diǎn)保持在各自的語(yǔ)義對(duì)象區(qū)域中，從而實(shí)現(xiàn)不同對(duì)象的解構(gòu)，最終結(jié)果如圖 1 右上部分所示。
1.2 基于矢量粒子的分?jǐn)?shù)蒸餾 (VPSD)
之前基于擴(kuò)散模型的 SVG 生成工作 [2,4]，已經(jīng)探索了使用分?jǐn)?shù)蒸餾采樣（SDS）優(yōu)化 SVG 參數(shù)的方式，但這種優(yōu)化方式往往會(huì)帶來(lái)顏色過(guò)飽和、優(yōu)化得到的 SVG 過(guò)于平滑的結(jié)果。
受變分分?jǐn)?shù)蒸餾采樣的啟發(fā)，作者提出了基于向量化粒子的分?jǐn)?shù)蒸餾采樣（Vectorized Particle-based Score Distillation，VPSD）損失來(lái)解決以上問(wèn)題。相對(duì)于 SDS，這種采樣方式將 SVG 建模為控制點(diǎn)和色彩的一個(gè)分布，VPSD 通過(guò)優(yōu)化這個(gè)分布來(lái)實(shí)現(xiàn)對(duì) SVG 參數(shù)的優(yōu)化：
由于直接優(yōu)化另一個(gè)模型 
的成本過(guò)大，所以引入 Lora 來(lái)減少被優(yōu)化的參數(shù)量：
最后，為了改善合成矢量圖的美觀(guān)評(píng)價(jià)，作者引入了一種獎(jiǎng)勵(lì)反饋學(xué)習(xí)方法（ReFL），將采樣得到的樣本輸入到使用預(yù)訓(xùn)練的 Reward 模型中，共同進(jìn)行對(duì) LoRA 參數(shù)的優(yōu)化：
最后完整的目標(biāo)函數(shù)即為上述三個(gè)函數(shù)的加權(quán)組合：
通過(guò)反向傳播更新 SVG 路徑參數(shù)，經(jīng)過(guò)循環(huán)迭代完成優(yōu)化，得到最終結(jié)果。
02 實(shí)驗(yàn)結(jié)果
2.1 定性結(jié)果
下圖展示了 SVGDreamer 生成的 6 種風(fēng)格類(lèi)型的 SVG 結(jié)果，包括肖像圖風(fēng)格（Iconography）、像素風(fēng)格（Pixel-Art）、水墨（Ink and Wash）、多邊形（Low-poly）、手繪（Sketch）和線(xiàn)條繪畫(huà)（Painting）風(fēng)格等。不同顏色的后綴表示不同的 SVG 風(fēng)格類(lèi)型，這些風(fēng)格類(lèi)型也并不需要在 Prompt 中給出，只需要通過(guò)控制矢量圖基元實(shí)現(xiàn)。
▲ 圖2. SVGDreamer結(jié)果可視化
SVGDreamer 能夠根據(jù)文本提示合成語(yǔ)義層次解耦的矢量圖，這使得其可以被用于創(chuàng)建大量矢量數(shù)據(jù)資產(chǎn)，同時(shí)這些矢量元素可以被自由地組合，如下圖所示：
▲ 圖3：SVGDreamer合成的矢量資產(chǎn)示意圖
2.2 應(yīng)用展示
除此之外，作者展示了 SVGDreamer 的應(yīng)用：制作矢量海報(bào)。通過(guò)將制定字形轉(zhuǎn)為矢量表示，并且與生成的矢量圖結(jié)合，即可得到美觀(guān)的矢量海報(bào)。與基于擴(kuò)散模型的生成式位圖海報(bào)相比，矢量海報(bào)的文字與內(nèi)容部分同樣具有良好的編輯性，并且不會(huì)產(chǎn)生錯(cuò)誤的文字：
▲ 圖4：SVGDreamer制作的矢量海報(bào)與位圖海報(bào)合成方法的比較
03 總結(jié)
在這項(xiàng)工作中，作者介紹了 SVGDreamer，一個(gè)用于文本引導(dǎo)矢量圖形合成的創(chuàng)新模型。SVGDreamer 結(jié)合了兩個(gè)關(guān)鍵的技術(shù)設(shè)計(jì): 語(yǔ)義驅(qū)動(dòng)的圖像矢量化 (SIVE) 和基于矢量粒子的分?jǐn)?shù)蒸餾 (VPSD)，這使得模型能夠生成具有高可編輯性、卓越的視覺(jué)質(zhì)量和顯著的多樣性的矢量圖形。
由于SVGDreamer能夠生成具有可編輯性的復(fù)雜矢量圖形，因此，SVGDreamer 有望顯著推進(jìn)文本到 SVG 模型在設(shè)計(jì)領(lǐng)域的應(yīng)用。它已經(jīng)被證實(shí)可以用來(lái)創(chuàng)建矢量圖形資產(chǎn)庫(kù)，設(shè)計(jì)師可以根據(jù)不同的需求，很容易地將庫(kù)中的元素重新排列組合，用于創(chuàng)建獨(dú)特的矢量海報(bào)或 Logo，以及其他矢量藝術(shù)形式。
04 矢量圖可微渲染庫(kù)PyTorch-SVGRender介紹
項(xiàng)目地址：
https://qianyu-lab.github.io/PyTorch-SVGRender-project/
代碼地址：
https://github.com/QianYu-Lab/PyTorch-SVGRender
文檔地址：
https://pytorch-svgrender.readthedocs.io/en/latest/index.html
Pytorch-SVGRender 是作者團(tuán)隊(duì)在 2023.12 發(fā)布的一個(gè)用于 SVG 生成的可微分渲染方法的 Python 庫(kù)，使研究人員和開(kāi)發(fā)者們可以通過(guò)一個(gè)統(tǒng)一的、簡(jiǎn)化的接口來(lái)訪(fǎng)問(wèn)不同的 SVG 生成技術(shù)。
Pytorch-SVGRender 包含兩大功能：位圖到 SVG 的渲染（Img-to-SVG），以及文本到 SVG（Text-to-SVG）的渲染。并且整合了與這些功能有關(guān)的研究成果，例如 DiffVG、LIVE、CLIPasso、CLIPDraw、VectorFusion、Word-As-Image、DiffSketcher 和 SVGDreamer 等。
Pytorch-SVGRender 的設(shè)計(jì)理念是基于模塊化和可擴(kuò)展性的原則，讓用戶(hù)能夠無(wú)縫集成最新的 SVG 創(chuàng)作技術(shù)。通過(guò)提供一套清晰的、統(tǒng)一的 API，該庫(kù)允許開(kāi)發(fā)者輕松地調(diào)用底層繪圖算法，無(wú)需深入了解其底層原理。此外，庫(kù)中的每一種方法的相關(guān)參數(shù)都經(jīng)過(guò)精心優(yōu)化，以確保生成的 SVG 文件在性能和質(zhì)量上都能滿(mǎn)足高標(biāo)準(zhǔn)的要求。
最后，Pytorch-SVGRender 還提供了豐富的文檔和示例代碼，幫助用戶(hù)快速入門(mén)上手。作者希望這個(gè)庫(kù)可以提高 SVG 研究人員和開(kāi)發(fā)者的工作效率，為未來(lái) SVG 相關(guān)技術(shù)的創(chuàng)新與實(shí)踐提供幫助。
