?[[406753]]?

身臨其境的圖像復(fù)原

之前看《你好李煥英》里，有一個(gè)表現(xiàn)手法非常讓我印象深刻。就是一開始場(chǎng)景是黑白的，然后慢慢變成彩色的，從黑白到彩色的這個(gè)過程，讓我有種「進(jìn)入新的現(xiàn)實(shí)」的感覺。

近期有五四運(yùn)動(dòng)的圖像復(fù)原，看到仿佛置身五四運(yùn)動(dòng)現(xiàn)場(chǎng)，盡管畫面分辨率不高，色彩也不那么完美，但就是能給人一種身臨其境的感覺，回到一百年前，與青年們一起救亡圖存。

 當(dāng)時(shí)的青年尚能挺身而出，憂國(guó)憂民，我相信，現(xiàn)代的青年也能奮發(fā)圖強(qiáng)，肩負(fù)起對(duì)于這個(gè)國(guó)家的歷史責(zé)任，塑造起具有時(shí)代光芒的民族精神。

看了下，大家都對(duì)技術(shù)原理感興趣啊，那我來用簡(jiǎn)單的語言講講吧。

技術(shù)原理

AI上色的原理是什么？那我們就需要介紹一種深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)了，它就是GAN（這里不是粗話）。GAN不是干飯人的干，而是生成對(duì)抗網(wǎng)絡(luò)（英語：Generative Adversarial Network，簡(jiǎn)稱GAN）。當(dāng)然，太復(fù)雜的技術(shù)講解可能會(huì)讓讀者迷惑，于是我找到一張很直白的原理圖。   

  GAN網(wǎng)絡(luò)分兩部分，一個(gè)是生成器（Generator），一個(gè)是鑒別器（Discriminator）。生成器通過對(duì)圖像上色，然后交給鑒別器。鑒別器判斷這一個(gè)圖片看起來真不真，如果覺得假，鑒別器會(huì)返回「修改意見」，讓生成器重新試試，直到鑒別器覺得足夠真了。如果你覺得還不好懂，我再打個(gè)比方，這就好像美術(shù)老師指導(dǎo)學(xué)生畫畫的過程，一開始學(xué)生畫出來的不夠好，老師指出，學(xué)生嘗試改改，老師再檢查，再給意見，直到老師滿意。

這 就是一張圖的上色過程。 而視頻是一幀幀畫面組成的，給視頻上色可以理解為通過這個(gè)網(wǎng)絡(luò)架構(gòu)給視頻里的每一幀上色。 不過沒有這么簡(jiǎn)單，畢竟視頻一秒鐘幾十幀，一幀幀上色有點(diǎn)慢，而且每一幀之前可能會(huì)出現(xiàn)上色效果不一致。 所以有的架構(gòu)會(huì)針對(duì)細(xì)節(jié)調(diào)整。 例如DeOldify采用了NoGAN（一種新型GAN訓(xùn)練模型），用來解決之前DeOldify模型中出現(xiàn)的一些關(guān)鍵問題。 例如視頻中閃爍的物體：

??

使用NoGAN前，畫面閃爍嚴(yán)重

??

使用NoGAN后閃爍減少

當(dāng)然，實(shí)際還原的色彩其實(shí)和原本的色彩是不一樣的，僅僅是能讓其看起來自然。我做了個(gè)實(shí)驗(yàn)（AI上色工具稍后介紹到），能看到上色效果和原來的效果并不一樣。我下載了這么一張向日葵的照片

?[[406756]]?

我手動(dòng)轉(zhuǎn)成黑白的

??

這時(shí)候再讓AI上色，咦，向日葵變成雛菊了。不過看起來竟然也有另一番美感。

??

一般來說，給人上色會(huì)更接近實(shí)際情況些。因?yàn)槿说哪w色比較有限，判別器里已經(jīng)學(xué)習(xí)過人臉的顏色可能是哪些，轉(zhuǎn)換成灰度圖像后對(duì)應(yīng)什么顏色值，所以AI不太可能會(huì)給黑白的人像涂成綠色臉。

動(dòng)手實(shí)現(xiàn)

如果你是技術(shù)小白，你可以直接打開這個(gè)網(wǎng)址，你只需要上傳一張圖片就能自動(dòng)上色。 Image Colorizationdeepai.org 例如效果如下：

??

看起來效果很棒吧。如果你懂點(diǎn)技術(shù)但不懂機(jī)器學(xué)習(xí)，可以用DeepAI提供的API。例如python調(diào)用方法如下：

import requests
r = requests.post(
"https://api.deepai.org/api/colorizer",
data={
'image': 'YOUR_IMAGE_URL',
},
headers={'api-key': 'quickstart-QUdJIGlzIGNvbWluZy4uLi4K'}
)
print(r.json())


# Example posting a local image file:

import requests
r = requests.post(
"https://api.deepai.org/api/colorizer",
files={
'image': open('/path/to/your/file.jpg', 'rb'),
},
headers={'api-key': 'quickstart-QUdJIGlzIGNvbWluZy4uLi4K'}
)
print(r.json())

如果想繼續(xù)深入研究，可以fork DeOldify的repo。附開源 地址：

??https://github.com/jantic/DeOldifygithub.com??