?目前，人工智能和深度學(xué)習(xí)技術(shù)正成為文本-圖像生成、超分辨率等應(yīng)用的重要基礎(chǔ)。

現(xiàn)在，人們可以輸入圖像的高細(xì)節(jié)描述，從而獲得與給定文本相對(duì)應(yīng)的逼真圖像。

也可以將一幅圖像從低分辨率轉(zhuǎn)為高分辨率，為圖片生成一系列生動(dòng)細(xì)節(jié)。

神經(jīng)網(wǎng)絡(luò)似乎有無(wú)窮的能力。那么，這些方法是否能用于時(shí)光穿梭呢？

例如，你有沒有想過(guò)，如果你自己的照片是在五十年或一百年前拍攝的，會(huì)是什么樣子？如果你最喜歡的男演員或女演員出生在一個(gè)與他們完全不同的時(shí)代，他們會(huì)是什么樣子？

時(shí)光穿梭第一步：解決數(shù)據(jù)集難題

鑒于最近StyleGAN在高質(zhì)量人臉合成和編輯方面的成功，許多工作都集中在使用預(yù)先訓(xùn)練好的StyleGAN模型進(jìn)行人像編輯。

然而，現(xiàn)有的技術(shù)通常會(huì)處理定義明確的語(yǔ)義屬性。例如，添加或刪除一個(gè)微笑或修改圖片中人像的年齡。

這項(xiàng)工作背后的邏輯是保持這些構(gòu)成一個(gè)人身份的屬性不變，與此同時(shí)，用這輛人工智能的馬車送他們回到過(guò)去或去往未來(lái)。

在這種情況下，人們面對(duì)的主要問題是缺乏合適的數(shù)據(jù)集。眾所周知，即使有完美的神經(jīng)網(wǎng)絡(luò)模型，數(shù)據(jù)集仍然是每個(gè)人工智能研究者的噩夢(mèng)。

數(shù)據(jù)不平衡、不充分或不可用是深度學(xué)習(xí)領(lǐng)域常見的問題，會(huì)導(dǎo)致數(shù)據(jù)偏見或結(jié)果不準(zhǔn)確。

為了克服這個(gè)問題，來(lái)自康奈爾大學(xué)的華裔科學(xué)家Eric Ming Chen（左2）主導(dǎo)的研究團(tuán)隊(duì)創(chuàng)建了FTT（穿越時(shí)光的人臉）數(shù)據(jù)集。

Chen與來(lái)自佐治亞大學(xué)的華人科學(xué)家Jin Sun等人共同發(fā)刊，詳細(xì)解釋了「穿越時(shí)光的人臉」數(shù)據(jù)集的運(yùn)作原理。

該數(shù)據(jù)集中的圖片來(lái)自維基共享資源（Wikimedia Commons）。該平臺(tái)擁有眾包和開放許可的五千萬(wàn)張圖片。FTT分析了26,247張19至21世紀(jì)的肖像，平均每十年大約有1,900張圖片。

GANs父子層次結(jié)構(gòu)，化身AI「時(shí)光機(jī)」

這些變化是如何實(shí)現(xiàn)的呢？

研究團(tuán)隊(duì)借助了StyleGAN（生成對(duì)抗網(wǎng)絡(luò)）父子層次結(jié)構(gòu)。特殊之處在于，他們沒有選擇訓(xùn)練一個(gè)涵蓋所有年代的單一模型，而是為每十年的圖像集添加一個(gè)子模型，通過(guò)訓(xùn)練模型集更好地綜合每個(gè)時(shí)期的數(shù)據(jù)分布。

同時(shí)，為了保留被描述者的身份和姿勢(shì)，研究團(tuán)隊(duì)采用一個(gè)父模型，將這些信息映射到隱空間向量中。

首先，訓(xùn)練一個(gè)StyleGAN模型集，每個(gè)年代各設(shè)置一個(gè)，使用對(duì)抗性損失和身份損失來(lái)訓(xùn)練一張混合人臉圖。這張人臉圖是子模型的輸出，經(jīng)過(guò)修改后，該混合圖與父模型的顏色相似。

研究團(tuán)隊(duì)提示，在此過(guò)程中，有必要避免由于ArcFace（一種流行的面部識(shí)別模型）中的特征計(jì)算導(dǎo)致的身份損失的不一致性。由于ArcFace模型只在現(xiàn)代圖像上訓(xùn)練，研究人員發(fā)現(xiàn)它在歷史圖像上的表現(xiàn)很差。

之后，每張真實(shí)圖像被投射到十年流形上的一個(gè)向量w上（下圖中的1960）。在該向量上，生成器G′t被訓(xùn)練來(lái)將精細(xì)化細(xì)節(jié)轉(zhuǎn)移到所有的子模型上。最后，在輸入圖像上應(yīng)用一個(gè)掩碼，以鼓勵(lì)模型保留人像的面部細(xì)節(jié)。

在微調(diào)全部子模型后，研究團(tuán)隊(duì)發(fā)現(xiàn)，F(xiàn)TT的不同年代的子模型（下圖橙色）在發(fā)型、妝容發(fā)生改變的同時(shí)，都成功捕捉到父模型中（下圖藍(lán)色）每張圖片的人像特征。

這項(xiàng)全新的合成圖像框架有兩大亮點(diǎn)：首先，它使人像穿越時(shí)光的愿望成真；其次，在對(duì)人臉進(jìn)行時(shí)光轉(zhuǎn)換時(shí)，該技術(shù)還能保留人像的大部分細(xì)節(jié)。

盡管它在數(shù)據(jù)集中還存在微小偏差（例如，在20世紀(jì)初的圖像中出現(xiàn)了幾個(gè)短發(fā)的女性），導(dǎo)致輸出圖像的不一致，但與以前的工作相比，這個(gè)模型在真實(shí)性上有了很大改善。

「穿越時(shí)光的人臉」開啟了時(shí)光穿梭的第一步。如此高的準(zhǔn)確度讓人不禁遐想：這次跨越時(shí)光的是人像，那么下次呢？

參考資料：

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform-faces-through-time/

https://facesthroughtime.github.io/