來源：機器之心
本文約1700字，建議閱讀7分鐘。
“大谷的遊戲創作小屋”又用AI修復了一段老北京影像，這次還帶時代原聲……
剃頭挑子、街邊地攤、京韻大鼓，多數人可能只在電影、電視劇中看過老北京的這些景象。
但早在 90 年前，就有人將這些場景都拍了下來，而且完好地保存在美國南卡羅萊納大學影像庫。
影片中還收錄了時代原聲，原汁原味地記錄了當時老北京的平民生活。
90 年後，有人將這些影片翻了出來，還用 AI 進行了修復，包括上色、提高分辨率等操作。
從這段影片中，我們能看到很多非常生活化的場景，比如小學生在學校外邊買飯：
小夥子找個剃頭攤剃頭：
在觀賞修復效果的同時，我們還能聽到剃頭師傅和小夥子一問一答：
“疼不疼？”
“不疼。我還不哭呢外帶着。”
“嘿，你傢什麼地方住？”
“寶坻縣”
“這頭剃得好，不疼。剃不好，真疼！”“剃好了咱還找你去”
“你家幾口人吶？”
“十口！”
“十口人？怎麼那麼些人呢？”
“人多，好。”
“一天掙二毛錢夠挑費不？”
“一天掙兩塊！”
“哦，這還不錯。”
這段場景被當時的拍攝者描述爲 “不用付租金的理髮師”。
剃完之後，小夥子還不忘給個好評，一邊拍着腦瓜一邊說：“剃挺好！” 那時候的人大概沒有預料到，在 90 年後的今天，現代人都忙着生髮、植髮、戴假髮……
希望坐在電腦前的你變強變禿後也能保持這份心態。
剃完了頭逛逛街吧，看看 90 年前的首都地攤長什麼樣：
可以看到，90 年前的北京街頭也是人頭攢動，有賣衣服的、賣（遛）鳥的、賣各種小商品的，其熱鬧程度似乎不亞於疫情前的王府井。
除了這些，街頭還有一些老藝人，向我們呈現百年前的京韻大鼓：
看到這裏，你或許已經猜到了這段視頻的修復者，他就是前段時間很火的 B 站 up 主 “大谷”。
就在不久前，大谷在他的 B 站賬號“大谷的遊戲創作小屋” 上發佈了第一個老北京修復影片 。
截止目前，該視頻的累計播放量已經達到 200 多萬，還得到了央視等權威媒體的報道。
這次的修復影像由“大谷的遊戲創作小屋”和央視新聞聯合發佈。原視頻出處爲南卡羅萊納大學影像庫館藏膠片，音效也不是後期配音，全部爲時代原聲。
看完之後，很多人才發現，一百年前的北京市民和現在長得一模一樣，口音也如出一轍：“還在想回去要咋交流，原來一樣的哈哈哈”
還有人評價說，“剃頭的倆人像在說相聲”。
讓我們一起通過視頻感受一下：
這次修復用了什麼技術？
在第一期的老北京影像修復過程中，UP 主借鑑了海外 YouTube 博主 Denis Shiryae 的影像修復教程，包括上海交大 Bao Wenbo 等人提出的 DAIN 插幀技術（參見論文《Depth-Aware Video Frame Interpolation》）。
這一次，UP 主特別提到，除了上述修復技術，自己還用到了一種新技術：DeepRemaster。
論文地址：
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html
這項技術由日本筑波大學和早稻田大學的兩位研究者合作提出，論文被計算機圖形學頂會 SIGGRAPH Asia 2019 收錄。
與近年來使用遞歸模型處理視頻的方法不同，該方法對老舊影像的修復是基於全卷積網絡實現的。
老舊影片的修復包含多項步驟，比如超分辨率、噪聲消除和對比度增強，旨在讓已經老化的影片介質恢復到原始狀態。
當然，由於特定時代的技術限制，許多老舊影片要麼是黑白影像，要麼色彩呈現質量較低，因此在修復中也常常需要着色。
在這項研究中，研究者提出了一個單一框架，以半交互的方式處理所有重製任務。該框架基於帶有注意力機制的時間卷積神經網絡。
他們提出的 source-reference 注意力允許模型處理任意數量的彩色參考圖像（reference color images），在不需要分割的情況下給長視頻着色，同時保持時間一致性。
與之前的方法相比，該方法的性能隨着視頻長度和彩色參考圖像數量的增長而增長。
DeepRemaster 的網絡架構如下：
輸入一系列的黑白圖像，通過預處理網絡修復，修復的結果作爲最終輸出視頻的亮度通道。
然後，source-reference 網絡將預處理網絡的輸出和任意數目的彩色參考圖像結合，產生視頻的最終色度通道。
在着色過程中，研究者使用了 source-reference 注意力，讓模型依照彩色參考圖像中相似區域的顏色對視頻進行着色。模型輸出部分就是輸入視頻重製後的版本。
爲了測試網絡的效果，研究者對一些老舊影像進行了重製，並對該方法進行了定量和定性的深入評估。
在下圖中，每個視頻最上面一行的圖像是着色的參考圖像。實驗結果表明，利用 source- reference 注意力，使用少量參考圖像即可高效獲得穩定、一致的數千幀圖像。
《Right to Health, A (Part I)》重製結果, 使用了三張參考圖像
《Freedom Highway (1956)》重製結果，使用了兩張參考圖像
《The Jungle Book(1967)》重製結果，使用了 41 張參考圖像
與以往方法相比，用 DeepRemaster 重製的圖像與真實世界的色彩更加一致：
在噪聲消除方面，DeepRemaster 能夠很好地處理各種類型的噪聲，同時也能夠銳化輸入圖像。
編輯：黃繼彥
