“一鍵脫衣”的DeepNude下架后，我在GitHub上找到它涉及的技術
開源最前線(ID：OpenSourceTop) 綜合整理
綜合自：https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology、程序猿等
前段時間，一名程序員開發(fā)出了一款名為 DeepNude 的應用軟件。
該APP的使用方法很簡單，打開軟件→轉化→生成照片，從那個網(wǎng)上給出的生成結果來看，效果確實可以以假亂真，如下：
目前，這個程序已經(jīng)被下線，不過，猿妹在Github上找到一個關于DeepNude使用的圖像生成和圖像修復相關技術項目，該項目由yuanxiaosc創(chuàng)建
這個倉庫包含DeepNude的pix2pixHD(由英偉達提出)算法，更重要的是DeepNude背后的通用的Image-to-Image理論與實踐研究。
Image-to-Image Demo
這一部分提供一個試玩的 Image-to-Image Demo：黑白簡筆畫到色彩豐富的貓、鞋、手袋。DeepNude 軟件主要使用了Image-to-Image技術，該技術理論上可以把你輸入的圖片轉換成任何你想要的圖片。
在左側框中按照自己想象畫一個簡筆畫的貓，再點擊process按鈕，就能輸出一個模型生成的貓。
體驗地址：https://affinelayer.com/pixsrv/
DeepNude的技術堆棧
- Python + PyQt
- pytorch
- 深度計算機視覺
Image-to-Image Theoretical Research
這一部分闡述DeepNude相關的人工智能/深度學習理論(特別是計算機視覺)研究，
1. Pix2Pix
Pix2Pix是伯克利大學研究提出的使用條件對抗網(wǎng)絡作為圖像到圖像轉換問題的通用解決方案。(Github地址：https://github.com/phillipi/pix2pix)
2、Pix2PixHD
從語義圖上獲得高分辨率圖片。語義圖是一幅彩色圖片，圖上的不同色塊代表不同種類物體，如行人、汽車、交通標志、建筑物等。Pix2PixHD將一張語義圖作為輸入，并由此生成了一張高分辨率的逼真的圖像。之前的技術多數(shù)只能生成粗糙的低分辨率的圖片，看起來也不真實。而這個研究卻生成了2k乘1k分辨率的圖像，已經(jīng)很接近全高清的照片。(Github地址：https://github.com/NVIDIA/pix2pixHD)
3. CycleGAN
CycleGAN使用循環(huán)一致性損失函數(shù)來實現(xiàn)訓練，而無需配對數(shù)據(jù)。換句話說，它可以從一個域轉換到另一個域，而無需在源域和目標域之間進行一對一映射。這開啟了執(zhí)行許多有趣任務的可能性，例如照片增強，圖像著色，樣式傳輸?shù)?。您只需要源和目標?shù)據(jù)集。
使用CycleGAN神經(jīng)網(wǎng)絡模型實現(xiàn)照片風格轉換、照片效果增強、照片中風景季節(jié)變換、物體轉換四大功能。
4. Image Inpainting 圖像修復
在演示視頻中，只需用工具將圖像中不需要的內(nèi)容簡單涂抹掉，哪怕形狀很不規(guī)則，NVIDIA的模型能夠將圖像“復原”，用非常逼真的畫面填補被涂抹的空白?？芍^是一鍵P圖，而且“毫無ps痕跡”。該研究來自Nvidia的Guilin Liu等人的團隊，他們發(fā)布了一種可以編輯圖像或重建已損壞圖像的深度學習方法，即使圖像穿了個洞或丟失了像素。這是目前2018 state-of-the-art的方法。
事實上，可能不需要Image-to-Image。我們可以使用GAN直接從隨機值生成圖像或從文本生成圖像：
1.Obj-GAN
微軟人工智能研究院(Microsoft Research AI)開發(fā)的新AI技術Obj-GAN可以理解自然語言描述、繪制草圖、合成圖像，然后根據(jù)草圖框架和文字提供的個別單詞細化細節(jié)。換句話說，這個網(wǎng)絡可以根據(jù)描述日常場景的文字描述生成同樣場景的圖像。
效果
模型
2.StoryGAN
微軟新研究提出新型GAN——ObjGAN，可根據(jù)文字描述生成復雜場景。他們還提出另一個可以畫故事的GAN——StoryGAN，輸入一個故事的文本，即可輸出連環(huán)畫。
當前最優(yōu)的文本到圖像生成模型可以基于單句描述生成逼真的鳥類圖像。然而，文本到圖像生成器遠遠不止僅對一個句子生成單個圖像。給定一個多句段落，生成一系列圖像，每個圖像對應一個句子，完整地可視化整個故事。
效果
現(xiàn)在用得多的Image-to-Image技術應該就是美顏APP了，所以我們?yōu)槭裁床婚_發(fā)一個更加智能的美顏相機呢
技術無罪，但也別娛樂至死，什么能做什么不能做要領的清，希望以上這些技術，大家都能把它們用到正道上。
