微軟又一開源力作!專門針對老舊照片
微軟研究團隊萬紫寧、張波等人開發(fā)了一種新的基于AI算法,用于通過深度學習恢復老舊照片,與通過監(jiān)督學習還原舊照片的方式不同,真實照片的降級很復雜。
bringing-old-photos-back-to-life作者使用變分自動編碼機(VAE)將圖像變換到隱空間,并在隱空間進行圖像恢復操作。這種轉換可以很好的體現(xiàn)出真實照片。
此外,為了解決一張舊照片中的多種退化,bringing-old-photos-back-to-life設計了一個全局分支和局部非全局分支,全局分支專門針對結構化缺陷(例如劃痕和灰塵點)的功能,局部非全局分支主要針對非結構化缺陷(例如噪聲和模糊度),bringing-old-photos-back-to-life在隱空間中融合了兩個分支,從而提高了從多個缺陷還原舊照片的能力。
如何使用
該項目依賴于「Synchronized-BatchNorm-PyTorch」,按照教程配置即可。首先,你需要安裝和下載預訓練的模型,然后就可以通過一個簡單的命令輕松回復舊照片。
對于沒有劃痕的圖像:
- python run.py --input_folder [test_image_folder_path] \
- --output_folder [output_path] \
- --GPU 0
對于有刮擦的圖像:
- python run.py --input_folder [test_image_folder_path] \
- --output_folder [output_path] \
- --GPU 0 \
- --with_scratch
注意:請嘗試使用絕對路徑。最終結果將保存在中./output_path/final_output/。
目前,微軟不打算直接發(fā)布帶有標簽的有劃痕舊照片數(shù)據(jù)集。如果你想要得到配對的數(shù)據(jù),你可以使用官方提供的預訓練模型來測試收集到的圖像,以獲得標簽。
下面我們還是來看看幾組不同照片的還原效果吧: