當前，非英文文圖生成模型選擇有限，用戶往往要將 prompt 翻譯成英語再輸入模型。這樣不僅會造成額外的操作負擔，并且翻譯過程中的語言文化誤差，會影響生成圖片的準確性。

智源研究院 FlagAI 團隊首創(chuàng)高效訓練方式，使用多語言預訓練模型和 Stable Diffusion 結合，訓練多語言文圖生成模型 —— AltDiffusion-m18，支持18種語言的文圖生成。

包括中文、英文、日語、泰語、韓語、印地語、烏克蘭語、阿拉伯語、土耳其語、越南語、波蘭語、荷蘭語、葡萄牙語、意大利語、西班牙語、德語、法語、俄語。

Huggingface：https://huggingface.co/BAAI/AltDiffusion-m18

GitHub：https://github.com/FlagAI-Open/FlagAI/blob/master/examples/AltDiffusion-m18

AltDiffusion-m18  在英文的 FID、IS、CLIP score 客觀評測上達到了 Stable Diffusion 95~99% 效果，在中文、日文上達到了最優(yōu)水平，同時填補了其余 15 種語言文圖生成模型的空白，極大滿足了產(chǎn)業(yè)界對于多語言文圖生成的強烈需求。在此，特別鳴謝 Stable Diffusion Research Team 為這項工作提供建議。

此外，AltDiffusion-m18 相關創(chuàng)新技術報告《AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities》已被 Findings of ACL 2023 接收。

技術亮點

1 全新 AltCLIP，高效、低成本構建多語言 T2I 模型

在去年發(fā)布的 AltDiffusion-m9  中，智源團隊基于 Stable Diffusion  v1.4，創(chuàng)新性地更換語言塔為多語言塔 AltCLIP，并使用九種語言的多語言數(shù)據(jù)進行微調，將原始僅支持英文的  Stable Diffusion 擴展到支持 9 種不同的語言。

AltCLIP：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/AltCLIP-m18

而 AltDiffusion-m18 基于 Stable Diffusion v2.1 訓練。Stable Diffusion  v2.1 新的語言塔為 OpenCLIP 的倒二層，因此，全新的 AltCLIP 以 OpenCLIP 的倒二層作為蒸餾目標重新訓練，并且在 m9 的基礎上將僅對 Unet 中 CrossAttention 層 K,V 矩陣微調，擴展成兩階段的訓練方式，如下圖所示：

- 第一階段：早前在 m9 的實驗過程中發(fā)現(xiàn)，微調 K,V 矩陣主要學習的是文圖的概念對齊，所以 m18 訓練的第一階段繼續(xù)使用 18 語言的數(shù)據(jù)進行K,V矩陣的微調。此外，通過實驗證明，將圖片從 512*512 的分辨率降低到 256*256 并不會損失圖片的語義信息。因此，在第一階段學習文圖概念對齊的過程中使用 256*256 的分辨率進行訓練，加快了訓練速度。

- 第二階段：為了進一步提高生成圖像的質量，使用 512*512 的分辨率在 18 語言的數(shù)據(jù)中進行 Unet 全量參數(shù)的訓練。此外，丟掉 10% 的文本來進行 uncondition 的訓練，來服務 classifier-free guidance 的推理。

- 此外，采用了一種無分類器引導訓練技術，進一步提高生成質量。

最新評測結果顯示，AltCLIP-m18 在中英文 zero-shot（零樣本）檢索任務上超過 CLIP 達到了最優(yōu)水平??

在多語言圖片分類 benchmarks 上，AltCLIP-m9（早期版本，支持9種語言） 與 AltCLIP-m18 達到最優(yōu)水平??

同樣，得益于 AltCLIP 創(chuàng)新性的換塔思路，AltDiffusion-m18 也可以無縫接入 Stable Diffusion 所有建立在原 CLIP 上的模型和生態(tài)工具，所有支持 Stable Diffusion 的工具如 Stable Diffusion WebUI，DreamBooth 等都可應用 AltDiffusion-m18 上。無痛上手，可玩性極佳！

2 多語言生成效果對齊，性能優(yōu)越、細節(jié)準確

在全新 AltCLIP 的加持下，AltDiffusion-m18 在英文的 FID、IS、CLIP score 評測中達到了原始 Stable Diffusion  95～99% 的效果，并在中文、日文等 17 種語言中實現(xiàn)了最先進的性能，詳細數(shù)據(jù)如下表所示：

在英文、中文、日文上，AltDiffusion-m18 與其他模型生成結果相比，效果更優(yōu)越、細節(jié)更準確：

上圖(a)中 AltDiffusion-m18 可以生成跟原始  Stable Diffusion  高度一致的結果，并且在 prompt 理解上優(yōu)于國內其他中英雙語模型，例如："A stuffed bear", "A black and white photo", "cat"等在國內其他中英雙語模型中生成失敗的概念可以在 AltDiffusion 中成功生成。同樣的現(xiàn)象在中文和日文中也有出現(xiàn)。

上圖(b)中的"黑色沙發(fā)，木地地板"僅有 AltDiffusion-m18 正確生成。

上圖(c)中的"bears"，Japanese  Stable Diffusion  錯誤生成為“人類”，AltDiffusion-m18 可以正確生成為“熊”。

此外，智源 FlagEval 團隊開發(fā)了文圖生成模型評測工具 ImageEval。經(jīng)評測，AltDiffusion-m18 在實體對象、實體數(shù)量維度上的準確度分別超過國內同行模型 11%、 10%（注：ImageEval 評測方法和結果將于近期公開發(fā)布，敬請期待）。

3 小語種文生圖救星，提供多語言文圖生成模型參照系

AltDiffusion-m18 從多語言的數(shù)據(jù)中學到了不同語言的偏置，幫助用戶越過語言翻譯門檻、繞過文化轉譯，減少了語言背后文化信息的丟失。如下圖所示，中文、日文 Prompt 生成的小男孩的臉部輪廓更加“亞洲風”，而英語及其他歐洲地區(qū)語言 prompt 生成小男孩則更加“歐美風”。

更加有趣的是，在不同語言下動物的 prompt 生成的圖片細節(jié)也有差異。如下圖所示，雖然不同語言生成的圖片整體上具有高度一致性，但畫面背景和柯基的五官細節(jié)都有細微差異。

總的來說，AltDiffusion-m18 為多語言文圖生成模型提供了一個基礎參照系。以西班牙語、德語、法語等15 種語言為母語的用戶，不必再將腦海中的 prompt 翻譯成英文，就可以感受到 AIGC 的樂趣。AI 調教高手們還可以在 AltDiffusion-m18 基礎上結合 DreamBooth 、ControlNet 和 LoRA 等進一步優(yōu)化，或者使用其他語言的語料微調得到更好的文圖生成效果。

同時，大模型算法、模型及工具一站式開源項目—— FlagAI (github.com/FlagAI-Open/FlagAI)也提供了訓練推理的工具和 API ，方便大家快速下載和使用 AltDiffusion-m18 。