LineArt：無需訓(xùn)練的高質(zhì)量設(shè)計繪圖生成方法，可保留結(jié)構(gòu)準(zhǔn)確性并生成高保真外觀
本文經(jīng)AIGC Studio公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
今天給大家介紹一種無需訓(xùn)練的基于擴散模型的高質(zhì)量設(shè)計繪圖外觀遷移方法LineArt，該方法可以將復(fù)雜外觀轉(zhuǎn)移到詳細(xì)設(shè)計圖上的框架，可促進設(shè)計和藝術(shù)創(chuàng)作?，F(xiàn)有的圖像生成技術(shù)在細(xì)節(jié)保留和風(fēng)格樣式一致性方面存在局限，尤其是在處理專業(yè)設(shè)計圖時。LineArt的提出很好的解決了這個問題，因此特別適用于設(shè)計圖紙的生成。
LineArt工作利用設(shè)計圖和參考照片來生成相應(yīng)的結(jié)果。
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2412.11519v1
- 項目：https://meaoxixi.github.io/LineArt/
- 代碼：https://github.com/YOUR%20REPO%20HERE
論文介紹
LineArt：一種基于擴散模型、知識引導(dǎo)、無需訓(xùn)練的高質(zhì)量設(shè)計繪圖外觀轉(zhuǎn)換方法
線條圖的圖像渲染在設(shè)計中至關(guān)重要，圖像生成技術(shù)可以降低成本，但專業(yè)的線條圖需要保留復(fù)雜的細(xì)節(jié)。文本提示難以保證準(zhǔn)確性，而圖像轉(zhuǎn)換則難以保證一致性和細(xì)粒度控制。
LineArt是一個將復(fù)雜外觀轉(zhuǎn)移到詳細(xì)設(shè)計圖上的框架，可促進設(shè)計和藝術(shù)創(chuàng)作。它通過模擬分層視覺認(rèn)知并整合人類藝術(shù)經(jīng)驗來指導(dǎo)傳播過程，在保留結(jié)構(gòu)準(zhǔn)確性的同時生成高保真外觀。LineArt 克服了當(dāng)前方法在細(xì)粒度控制困難和設(shè)計圖中風(fēng)格退化的局限性。它不需要精確的 3D 建模、物理屬性規(guī)范或網(wǎng)絡(luò)訓(xùn)練，使其更方便完成設(shè)計任務(wù)。
LineArt 由兩個階段組成：一個多頻線融合模塊，用于為輸入的設(shè)計圖補充詳細(xì)的結(jié)構(gòu)信息，以及一個用于基礎(chǔ)層成型和表面層著色的兩部分繪畫過程。我們還提出了一個新的設(shè)計圖數(shù)據(jù)集 ProLines 供評估。實驗表明，與 SOTA 相比，LineArt 在準(zhǔn)確性、真實感和材料精度方面表現(xiàn)更好。
方法
工作流程： 該過程從設(shè)計圖 L original和外觀圖像 I appearance開始?；谏疃鹊?ControlNet 估計深度并生成軟邊緣以指導(dǎo)合成。
- （a）多頻線融合模塊采用斷言引導(dǎo)技術(shù)來增強結(jié)構(gòu)細(xì)節(jié)控制。
- （b）基礎(chǔ)層塑造使用多尺度視網(wǎng)膜方法分解外觀圖像的照明，生成視網(wǎng)膜照明層 L retinex以平衡亮度。
- （c）表面層著色利用 U 網(wǎng)絡(luò)中的布局和樣式塊和交叉注意來細(xì)化輸出，以實現(xiàn)準(zhǔn)確的材料嵌入。
ProLine 數(shù)據(jù)集
ProLine數(shù)據(jù)集的構(gòu)建：
- (b)顯示了根據(jù)圖像復(fù)雜度進行初步篩選以及人工去除噪聲數(shù)據(jù)后的數(shù)據(jù)概覽。
- (c)顯示了選定數(shù)據(jù)的數(shù)據(jù)預(yù)處理，包括mask的自動處理過程和三輪人工驗證。
經(jīng)過(b)(c)兩個過程得到了5101幅珍貴的線圖。
結(jié)果
該工作與其他 SOTA 在處理具有精細(xì)結(jié)構(gòu)的技術(shù)圖紙和指定材料的圖像的定性結(jié)果中進行了比較。從圖中可以看出，論文提出的方法可以在保持更精細(xì)結(jié)構(gòu)的同時生成更準(zhǔn)確的紋理，并且對材料圖像具有更合適的顏色表示。
該方法在輔助設(shè)計中的應(yīng)用示例。該方法可以將各種材質(zhì)紋理與技術(shù)圖融合，生成豐富的材質(zhì)效果預(yù)覽，輔助設(shè)計師選擇最合適的材質(zhì)組合進行產(chǎn)品線稿設(shè)計。
對 ProLines 數(shù)據(jù)集上不同方法的定量評估。論文使用八個指標(biāo)從三個維度評估結(jié)果的質(zhì)量。結(jié)果表明，該方法在感知質(zhì)量和準(zhǔn)確性之間取得了良好的平衡，特別是在保留圖像細(xì)節(jié)和紋理方面。最佳值以紅色突出顯示，次佳值以黃色突出顯示。
