絕代芳華！AI復(fù)原90年前梅蘭芳：眉目傳情，栩栩如生
當(dāng)近百年前的黑白影像披上了色彩，它的歷史意義會(huì)不會(huì)多一層呢？
近日，一段昆曲片段被AI修復(fù)還原。
原片來自1930年梅蘭芳赴美演出昆曲《刺虎》。博主正是曾修復(fù)100年前老北京原聲錄像的up博主 @大谷Spitzer。這次，他再次用AI完成了上色、補(bǔ)幀、降噪等步驟，復(fù)原了90年前梅蘭芳先生的風(fēng)采！
網(wǎng)友們看后紛紛點(diǎn)贊：太絕了！美慘了！
珍貴影像上色修復(fù)，「親眼」又見梅蘭芳
影片開場，好萊塢華裔女演員楊秀（Soo Yong）介紹道，「梅蘭芳先生扮演女性角色，但他并不是字面意思上的女性模仿者，他沒有試圖模仿現(xiàn)實(shí)生活中的女性，而是通過臺(tái)詞與動(dòng)作，試圖塑造一個(gè)理想化的女性形象?！?/p>
在她的話音中，色彩來了！
隨后，梅蘭芳先生的片段映入眼簾。
他唱著「將軍乃蓋世英雄，皇朝棟梁……」，一顰一笑、一字一腔都是美、都是戲。
當(dāng)時(shí)36歲的梅蘭芳赴美國表演，這是他在早年的演出生涯中唯一在舞臺(tái)上的影片資料，也是中國京劇第一次登陸美國。
色彩瑰麗的畫面讓我們?nèi)缤H臨現(xiàn)場，回到了1930年代，親眼目睹了梅蘭芳先生的風(fēng)采。
由于年代久遠(yuǎn)，這段影像資料最終只流傳下來一分多鐘的有聲影像，存于南卡羅萊納大學(xué)的膠片影像庫。
有死忠粉表示：這段原視頻看過一百多次，這次終于看到復(fù)原的了！
也有人對(duì)博主@大谷Spitzer表達(dá)了謝意：
那么，這次大谷是如何做的呢？
多款開源工具，RIFE+國人項(xiàng)目GPEN重回1930
大谷介紹道，「延續(xù)上一期的技術(shù)流程，我使用了RIFE，Deep-Exemplar-based-Video-Colorization等一系列人工智能項(xiàng)目。結(jié)合手繪，完成了這個(gè)選段的修復(fù)?！?/p>
其中RIFE是一個(gè)實(shí)時(shí)視頻插幀方案，能實(shí)現(xiàn)老舊影像對(duì)高幀率的需求。
另外，在此大谷還經(jīng)常使用的另一個(gè)補(bǔ)幀項(xiàng)目是DAIN。
第二個(gè)他提到的項(xiàng)目是：
Deep-Exemplar-based-Video-Colorization。
這來自一種結(jié)合了圖像檢索與圖像著色的模型。該模型首先會(huì)從大量參照圖像中檢索和灰度圖相似的圖像，然后再將該參照圖像的配色方案遷移到灰度圖中，實(shí)現(xiàn)了非常好的著色效果。
「這次聲音也用到AI技術(shù)去噪，會(huì)比原版音色更加清晰。同時(shí)還嘗試了下新出的開源AI項(xiàng)目GPEN來進(jìn)行了臉部高清增強(qiáng)?！?/p>
GPEN（GAN prior embedded network，GAN先驗(yàn)嵌入網(wǎng)絡(luò)）是2021年的新晉開源項(xiàng)目，由國人打造，對(duì)亞洲人像還原效果更為出色。
結(jié)果表明，其效果明顯優(yōu)于最先進(jìn)的嚴(yán)重?fù)p壞的人臉圖像復(fù)原（Blind face restoration）方法。
就這樣，一系列操作下來，絕絕子的梅蘭芳先生戲曲表演，就完成了！
「90后全棧藝術(shù)家」大谷，用AI帶你穿越時(shí)空
大谷1991年生于北京（30歲），獲得了紐約視覺藝術(shù)學(xué)院電腦藝術(shù)碩士學(xué)位。作為一個(gè)藝術(shù)家，音樂家，程序員和獨(dú)立的游戲設(shè)計(jì)師，生產(chǎn)力真是爆炸。
來感受一下他的作品，包括Steam游戲、原創(chuàng)游戲音樂、sketch手繪、動(dòng)漫等等各種位面。
你可能聽多了全棧工程師，那全棧藝術(shù)家了解一下？游戲、漫畫、3D、VR、音樂樣樣精通，當(dāng)然在開源基礎(chǔ)上跑幾個(gè)AI模型，也是手到擒來。
大谷除了利用這些開源的AI模型，還結(jié)合了高超的后期技巧，百年前的老北京生活、上海時(shí)裝秀才能栩栩如生地出現(xiàn)在人們面前。
下一次，你期待誰被復(fù)原呢？
