（給機器學習算法與Python學習加星標，提升AI技能）
本文轉自“機器之心”（almosthuman2014）
一段 AI 修復的視頻，讓我們體驗了一把 100 年前的老北京。
小販叫賣、馬車過街，修復後的視頻可以清楚地展現熙熙攘攘的市井生活。
作揖問候的場景也清晰可見。
你能想象，這些生動展現百年前國民生活的彩色影像，是使用人工智能技術修復的嗎？
近日，這段使用人工智能修復老北京影像的視頻在 B 站和微博上火了，引起了極大的關注。僅在 B 站上，阿婆主「大谷的遊戲創作小屋」上傳的這個舊影像修復視頻已經獲得 61.9 萬的播放量、4.9 萬點贊。
網友們紛紛感嘆「厲害」，視頻「清晰連貫」，「讓我們看到了 100 年前的 vlog」。
視頻中，阿婆主使用人工智能技術，對民國初年的一段影像進行了上色、修復幀率和擴大分辨率的改動，從而徹底改變了這段 100 年前老舊影片，讓我們能夠更爲細緻地觀看 100 年前人們的生活。
與舊影像對比之後，我們能夠對修復效果有更爲直觀的感受。
視頻修復前後在色彩、清晰度方面都有了很大的提升，修復前灰濛濛，修復後色彩鮮豔。
那麼從技術層面上看，究竟是如何做到這麼驚豔的效果的呢？阿婆主表示，他也是參考了海外 YouTube 博主 Denis Shiryae 的影像修復教程。
影像修復三大步驟
今年年初，Denis 修復 1896 年經典電影的視頻也在海外火了一把。
電影界最著名的短片之一是 1896 年的一部無聲電影《L’Arrivée d’un train en gare de La Ciotat》，畫面很簡單，只有 50 秒，描述的是一列火車駛入車站的場景。Denis 正式對這個經典的短片進行了 AI 修復，效果非常不錯。下圖可以看出修復前後畫面的強烈對比：
鏈接：https://www.youtube.com/watch?v=3RYNThid23g
從 Denis 的網頁介紹，我們可以看到整個修復過程主要針對三個核心點：4K 分辨率以及 60fps 的幀數，除此之外還增加了背景顏色和聲音的效果。
DAIN 插幀技術
在增加 FPS 方面，Denis 表示他主要應用了由上海交大 Bao Wenbo 等人提出的 DAIN 插幀技術（參見論文《Depth-Aware Video Frame Interpolation》）。
項目地址：https://sites.google.com/view/wenbobao/dain
這項研究提出通過探索插幀中的 depth cue，來顯式地檢測遮擋。
研究者開發了一個深度感知的光流投影層來合成中間流（中間流傾向於對距離較近的對象進行採樣），並學習層級特徵作爲語境信息。然後，該模型基於光流和局部插值 kernel 將輸入幀、深度圖和語境特徵進行變形處理，最後合成輸出幀。
DAIN 模型的架構如下圖所示：
DAIN 架構圖。給出兩個輸入幀，DAIN 首先估計其光流和深度圖，並使用深度感知光流投影層來生成中間流；然後採用自適應變形層（adaptive warping layer），基於光流和空間變化的插值 kernel 對輸入幀、深度圖和語境特徵進行變形處理；最後，使用幀合成網絡生成輸出幀。
4K 分辨率
自從 1998 年第一臺高清電視投入市場以來，“高清”一直是技術追逐的方向之一。簡單羅列幾個數字，老式標清電視的分辨率僅爲 720x480，也就是說一次可顯示的內容爲 345,600 像素。高清電視的分辨率爲 1920x1080，總像素爲 2,073,600，是標清的 6 倍，而 4K 的 3840×2160 分辨率則需要 8294,400 像素。
簡單而言，視頻修復過程至少需要額外填充 600 萬像素來適應 4K 高清分辨率，而這種 “插值” 過程正是 AI 技術的用武之地，所補充顯示的內容皆是基於相鄰周邊像素所呈現的內容。“插值”過程本質上是一種猜謎遊戲，如果讓卷積神經網絡這類 AI 技術去發號施令的話會有更優質的反饋效果。
在此展示中，Denis 通過 Gigapixel AI 軟件將分辨率提升至 4K，該產品由 Topaz Labs 開發，目前已進入到成熟的商業階段。研發之初是爲了幫助攝影師在不丟失任何細節的情況下將照片質量提升 6 倍，將該技術產品化的過程中發現將其應用至視頻是完全可行的。不過值得一提是，渲染幾秒鐘的視頻可能需要幾個小時的處理時間，感興趣的朋友可以一試。
DeOldify 着色模型
而在着色上，相信社區的大部分讀者都知道一個基於 GAN 的圖像着色模型 DeOldify。通過下面的對比圖，我們可以看到該模型的效果。
DeOldify 基於生成對抗網絡，由深度學習研究員 Jason Antic 開發並維護。自從 2018 年項目開啓以來，DeOldify 已經進行了多次迭代。
如果讀者們想要嘗試，通過以下鏈接可直接安裝使用。
項目地址：https://github.com/jantic/DeOldify
Colab：https://colab.research.google.com/github/jantic/DeOldify/blob/master/ImageColorizerColab.ipynb
數字修復中的 AI 技術應用要比想像的多
上述圖像分辨率補充、FPS 提升、色彩填充是數字修復大方向下的三個子環節，而整個影像修復技術處處可見人工智能的身影。
以圖像修復爲例，一般步驟爲：輸入圖像，檢測畫面信息及獲得畫面所有像素並識別受損區域，計算受損區域的像素點優先項，確定優先項最高的爲待修復像素塊，計算源區域中的匹配塊與待修復區域的誤差，確定誤差值最小的爲最佳匹配，進行填充和修復，檢測損傷區域是否全部修復，若已修復則輸出圖像。
來自機器之心 pro
而對視頻修復而言，它是基於圖像修復演變而來的，也同樣是逐幀修復，所以其流程與圖像修復類似。
至於圖像分辨率提升環節，Denis 通過 Gigapixel AI 軟件進行處理。而實際情況中圖像分辨率提升以及圖像超分辨率的解決涉及到許多技術細節，如圖像配準、圖像分割、圖像壓縮、圖像特徵提取、圖像質量評估等等。而這些子方向的研究在各大 AI 學術頂會上頻頻可見。類似地，通過機器學習方法從訓練樣本集中提取視頻中的高頻信息模型，從而對填充所需信息進行合理預測，達到提升視頻圖像分辨率的目的，這樣相似的思路層出不窮。
從應用方面來看，高清設備的普及使得對早期的遊戲及電影進行重製成爲一大需求，圖像修復，圖像超分辨率等衆多修復技術的發展也爲該市場提供了一個可持續的解決思路。
最後，在瞭解完修復舊影像背後的技術後，感興趣的讀者也可以嘗試下。說不定，你也能在 B 站、抖音上火一把。
推薦閱讀
【贈書】曾因「搶車位」出圈兒，神奇的Mask R-CNN瞭解一下？
【教程】還不會用Git的程序員，這個項目讓你邊玩邊學
下載 | 連『吳恩達』都點讚的深度學習筆記
完全圖解GPT-2：看完這篇就夠了（二）
完全圖解GPT-2：看完這篇就夠了（一）