寫在前面

在 GitHub 熱點趨勢Vol.046 中，HG 介紹過一個微軟開源的 AI  工具——Bringing-Old-Photos-Back-to-Life

它可以讓破損、殘舊的圖片煥發(fā)新生，在本周更是獲得近 3k star。 而本文則是項目團隊成員 Ziyu Wan 發(fā)布于 Hacker News 的項目介紹，Enjoy it~

概述

我們打算通過深度學(xué)習(xí)的方法來修復(fù)老化嚴重的舊照片。與傳統(tǒng)的監(jiān)督式學(xué)習(xí) supervised learning 的修復(fù)任務(wù)不同，真實照片的老化更為復(fù)雜，合成圖像和真實舊照片之間的領(lǐng)域差距 domain gap 使得網(wǎng)絡(luò)無法泛化。因此，我們提出了一種利用真實照片和大量合成圖像對的新型三重域翻譯網(wǎng)絡(luò)。具體來說，我們訓(xùn)練了兩個變分自編碼器 (VAE)，分別將舊照片和干凈照片轉(zhuǎn)換為兩個潛在空間。 通過合成配對數(shù)據(jù)來學(xué)習(xí)兩個潛在空間之間的轉(zhuǎn)換。因為在緊湊的潛在空間中，domain gap 是封閉的，所以這種翻譯網(wǎng)絡(luò)可以很好地泛化為真實照片。

此外，為了解決混雜在舊照片中的多個退化問題，我們設(shè)計了一個帶有 partial nonlocal block 的全局分支，用于處理結(jié)構(gòu)性缺陷，如：劃痕、塵點，和一個局部分支，用于處理非結(jié)構(gòu)性缺陷，如：噪點、模糊。兩個分支在潛在空間融合，提高從多個退化問題中恢復(fù)舊照片的能力。該方法在相片修復(fù)的視覺質(zhì)量方面優(yōu)于現(xiàn)有的方法。

架構(gòu)全覽

1. 我們首先訓(xùn)練兩個變分自編碼器 VAE：VAE1 用于真實照片 r ∈ R 和合成圖像 x ∈ X，通過聯(lián)合訓(xùn)練一個對抗判別器縮小它們的 domain gap；對干凈圖像 y ∈ Y 進行 VAE2 訓(xùn)練。利用 VAE 將圖像轉(zhuǎn)換到緊湊的潛在空間。

2. 我們了解了在緊湊潛在空間將損壞的圖像恢復(fù)到帶 partial non-local block 的干凈照片的映射。

對比圖

更多修復(fù)細節(jié)

近距離圍觀

團隊成員 Ziyu Wan 對 Bringing-Old-Photos-Back-to-Life 的介紹已經(jīng)翻譯完畢，感興趣的小伙伴可以去把玩下，項目地址：

https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life