點擊上方“3D視覺工坊”，選擇“星標”
乾貨第一時間送達
憑藉AI修復老北京影像火爆B站的Up主大谷兄，今天又來帶我們玩穿越了！
這次是1929年的老北京，除了AI上色、補幀、擴大分辨率外，還百分百還原了時代原聲，老北京的味兒太足了！
人頭攢動，熙熙攘攘，有賺吆喝的、看熱鬧的、閒聊的，老北京集市好不熱鬧。
大鼓、笛子、四胡、三絃，手藝人的一曲《打新春》，有內味了。
盲人"爵士"樂隊
原來理髮最低不是5塊，還有2塊的！
聽他們聊天，網友表示想看相聲了。
師傅：疼不疼？
小夥：不疼。我還不哭呢外帶着。
小夥：這個頭好，剃得不疼，剃不好，真疼，剃好了咱還找你去。
師傅：唉
......
如果精神小夥穿越到現在，會不會是一位優秀的Up主？
精神小夥理髮記
溢出屏幕的開心勁兒，看來發型很滿意。在我們這年代都不用理，用不了幾年就能天然形成[傲嬌]
喫飯還能這麼熱鬧嗎？我們現在都是隔着兩米！
驚現“地攤經濟”
3min的珍貴影像資料，可謂真真切切地感受了老北京九十年前的生活狀態。雖然看起來物質生活不是很富裕，但隔着屏幕都是感受到那時候人們的歡樂。準確的來說，這段影像記錄的是1927-1929年的老北京，出自南卡羅萊納大學影像庫館藏膠片。
另外，這段影像修復視頻依然出自B站Up主大谷之手，此前他曾用AI修復過1920-1927年的一段老北京影像，在B站爆火，視頻點擊量超過了200萬，還受到了央視新聞的報道。不過，從影像的修復效果過來看，顯然這次在去噪和着色方面處理的更好，而且還是自帶原聲的影像資料。
這次的修復作品是與央視新聞聯合發佈的，視頻上傳不到30min，在B站就收穫了30多萬的播放量，彈幕更是爆屏。
1
AI修復是如何實現的？
據大谷介紹，這部修復作品採用了新的AI技術DeepRemaster。與此前相比，它在上色、補幀、分辨率方面都有更出色的表現。這項技術的研發者是日本建築大學的Satoshi Iizuka和和早稻田大學的Edgar Simo-Serra。他們的論文還被計算機圖形學頂會SIGG2019收錄。
論文地址：http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html
我們知道以前的影像資料一般都是黑白的，而且像素、質量比較低。如果修復的話，需要提高分辨率、去除噪聲和增強對比度的處理。基於這些任務，作者中提出了一個DeepRemaster模型。
它基於時間卷積神經網絡，在視頻上訓練注意力機制（Source-Reference），這種注意力機制可以處理任意數量的彩色圖像，同時不需要對長視頻進行分割，因此保持時間的一致性。經過定量分析表明，DeepRemaster的模型性能可以隨着視頻長度和彩色圖像的增加而提高，遠優於現有的修復模型。
DeepRemater模型的內部架構
在模型Input端輸入黑白圖像，經過時間卷積網絡的預處理和Source-Reference注意力機制的深度訓練後，可以結合任意數量的彩色圖像來生成最終的色度信道。在這一過程中， Source-Reference注意力機制允許模型再給視頻上色時，參考彩色圖像（Reference Images）中的相似區域。
基於遞歸的卷積神經網絡，在傳播信息時，通常是逐幀傳播，不能進行並行處理，並形成依賴關係。因此，在參考彩色圖像時，圖像會反覆重新開始，這樣時間上的相關性就會丟失。而基於Source-Reference注意力機制的卷積神經網絡在處理任何幀時能夠並行使用所有的參考信息。
以下是DeepRemaster修復的效果圖：（右側爲參考彩色圖像）
2
修復方法比較
Zhang、Yu和Vondrick等人曾對世界經典電影和和Youtube視頻進行AI修復試驗，結果取得了不錯的效果。作者爲驗證DeepMaster的修復性能，與之進行了對比。
首先是與Zhang、Yu的比較。作者從Youtube的300視頻數據集中隨機抽取了一段8M視頻作爲修復目標，其中所用到參考彩色圖像，取自源視頻，並每隔60幀截取一次。
噪聲處理：從修復結果來看，當前的方法在去噪處理方面，顯然優勢明顯。第一列爲存在噪聲瑕疵的原圖像，前兩種幾乎沒有對齊進行修復，第四列可以看到在高保真的狀態下，噪聲被處理的很好，與第四列真實圖像幾乎沒有差異。
着色處理：圖中第一列爲原始圖像，後三列爲不同方法的處理着色處理結果，最後一列爲參考彩色圖形。可以看出第三列的顏色處理與第四列幾乎無差異。因此，基於Source-Reference注意力機制的模型着色效果更好。
另外，作者將Zhang和Vondrick的修復方法結合，並進行了比較。上部圖像爲參考彩色圖像，分別對第5、85、302幀的圖像進行了修復，結果可以看出目前的方法在着色效果上更好。
更多論文詳細內容參考：
http://iizuka.cs.tsukuba.ac.jp/projects/remastering/data/remastering_siggraphasia2019.pdf
本文僅做學術分享，如有侵權，請聯繫刪文。
推薦閱讀：
重磅！3DCVer-學術論文寫作投稿 交流羣已成立
掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流羣，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流羣，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲後處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信羣，請掃描下面微信號加羣，備註：”研究方向+學校/公司+暱稱“，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備註，否則不予通過。添加成功後會根據研究方向邀請進去相關微信羣。原創投稿也請聯繫。
![]( "3D視覺工坊小助理微信.jpg.jpg")
▲長按加微信羣或投稿
![]()
▲長按關注公衆號
3D視覺從入門到精通知識星球：針對3D視覺領域的知識點彙總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發佈3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業爲一體的鐵桿粉絲聚集區，近1000+星球成員爲創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款
![]()
圈裏有高質量教程資料、可答疑解惑、助你高效解決問題
