北京小夥用AI修復100年前的京城老視頻爆火網絡,作者:7天完成,顏色還有不足...

來源:大數據文摘

本文長度爲4300字,建議閱讀8分鐘。

下次給AI看看清宮劇學習。

標籤:機器學習


昨天,一個“修復老北京街道”的視頻刷屏全網。一段由加拿大攝影師在100年前的北京被AI修復後,活靈活現地展現在人們面前,一百年前人們打招呼的方式、使用的樂器、交通工具,在這段視頻中,都清晰可見。配上頗合時宜的音樂,24小時內,已經有了將近50萬的點贊量,10萬多次的轉發,接近3萬的留言,看來週六大家也有在好好工作啊。

這個視頻來自一位名叫“大谷Spitzer”的博主,據他所說,接觸老片修復是一個偶然,整個項目也只花了7天時間就順利完成了

先來一起看看這驚人的修復效果。

老視頻????

修復後效果????

修復後的視頻把當時的北京城演繹的活靈活現,下邊的片段中,左下角小哥呆呆的看着鏡頭,連細微的表情都清晰可見,青澀中帶有一點可愛,想象一下這位憨厚的小哥來自一百年前,還是讓小編感慨萬千。

怪不得網友們紛紛讚歎。有網友表示,不僅整體氛圍沒話說,連細節部分也分毫畢顯,“每個人臉上都是新奇又不敢接近的表情”。

甚至有網友留言表示,“博物館應該收藏你的作品”

鏈接指路:

https://weibo.com/tv/v/J0ZsQnP6a?fid=1034:4502352820895785

博主在視頻最開始就說道,想用技術爲社會做一些有意義的事情,懷着仰慕的心情,小編聯繫到了這位“大谷Spizer”,來看看他是怎麼說的吧~

7天完工,難在顯卡!整體滿意,顏色上還有不足

自稱將AI視爲業餘愛好的大谷如今身在紐約,接受小編採訪的時候,他感嘆道,自己做AI科普視頻做了七年,沒想到一下子火了,現在完全處於“被信息淹沒”的狀態

大谷透露道,其實這次接觸老片修復純屬偶然,在搜索其他資料時候,偶然間在YouTube看到了人民日報上傳的一段老北京視頻,對其中對視鏡頭的部分十分有感觸,“有一種穿越時空的感覺”。同時,一想到一百年前的人們有那個年代的思想,看問題的角度和現代有所差別,是很有趣的體驗,自己恰好了解相關技術,爲何不將老片上色補幀,做成活靈活現的60幀,和大家分享呢?

具體到操作上,根據大谷介紹,可以大致分爲補幀、擴分辨率、上色三個環節,每個環節也都用了不同的工具,整體框架的流程則主要參考了Denis Shiryaev在社交媒體上分享的經驗貼。

大谷說道,整個項目只用了7天時間,大部分都是硬性的時間消耗,比如補幀需要一到兩天,擴分辨率至少一天,上色也需要花費一天時間,再加上要做到4K60fps,渲染速度很慢。多方考量之下,他把人民日報14分鐘的原片剪到了10分鐘。

相比而言,去年國慶164分鐘修復版《開國大典》讓人們親眼目睹三次戰役勝利到開國大典的歷史過程。除了藉助AI,膠片的撕裂、劃痕等都是專業的修復師一幀一幀地修補。“修復過程中,我們70%的時間都在完成資料片鏡頭的修復工作。”負責本片修復工作的三維六度公司的首席技術官周蘇嶽說道,雖然修復時間只用了40天,但這卻是600人每天工作20小時的奮戰結果

除了硬性的時間消耗,大谷還笑稱,最大的問題就是自己筆記本電腦的顯卡不夠好,“要1070的顯卡才帶得動,否則會out of memory”,迫不得已之下向女朋友求了助。

再困難的部分,大谷選擇了谷歌的Colab Notebook在線系統,通過遠端分配一臺帶顯卡的電腦,就無需在本地操作了,“這也是選擇開源AI的原因”,“很多開源的AI都會把代碼上傳上去”。

對於最後的結果,大谷表示,“還是比較滿意的”,不過在顏色上還存在可以改進的地方

在視頻中,相信大家也會看到時不時會出現顏色跳來跳去的情況,大谷表示,在補幀之前用工具把老電影中經常出現的畫面閃爍去掉了,否則會更嚴重,整體的色彩上,AI的渲染效果也明顯偏淡

除此之外,大谷這次利用的是國外的一套模型,顯然無法直接將其套用到100年前的中國影片修復上,在顏色上就無法做到歷史性的準確,視頻中的上色都是AI學習的成果,雖然膚色大致還原了,但是在紅綠服裝等方面的真實性還有待商榷

也正是考慮到這些不足,大谷對去年參與《開國大典》修復的工作人員表達了敬意,“AI沒辦法做到藝術家那麼準確,尤其是在歷史方面,而《開國大典》對歷史準確性的要求更高”,隨後他也打趣地說道,或許可以“讓AI看看清宮劇,提升一下準確率”。

就像大谷在視頻開頭所說,他想用技術做一些對社會有意義的事,在這次視頻爆紅之後,他表現得相當豁達,“太深刻的大意義倒也說不上”,主要是想借此讓人們對歷史有所反思。不少網友指出,視頻中幾乎看不到女性,這正是歷史生動性的體現,既有光鮮也有不足,讓大家意識到現在的生活是多麼來之不易。

同時,作爲老北京人,大谷也想通過視頻分享他的切身感受,讓更多人看到一百年前的民俗,尤其是上了色幀數提高之後,“感覺確實不一樣,也感慨這一百年的變化”。

對於目前收到得反饋,大谷表示“完全沒想到”,他看了很多評論,也受感觸於一些留言,還有人私信向他表示,給太姥姥看後,也很懷念那個年代。

大谷透露道,這其實是他第一次嘗試做視頻修復,後續或許會出一期視頻介紹一下具體的操作。對於後續的視頻更新計劃,他想要介紹一下國內已經成熟的語音修復技術

目前,大谷在研究一款換衣AI,通過把模特導入系統,在Photoshop裏換好衣服,就能生成模特穿上衣服的各種姿勢,聽上去是淘寶賣家會喜歡的AI。不過,大谷介紹道,這個AI目前還處於“嬰兒狀態”,精度上不是很樂觀,未來需要大量的訓練,以後或許也會做個視頻介紹一下。

AI助力,老片修復一直在路上

對於這次用到的技術,大谷表示,上色主要還是應用在黑白照片和電影上,補幀技術就可以遍地開花了,比如修復像素動畫的跳幀問題,或者在動畫領域加以應用,因爲動畫很多是12幀/秒,甚至6幀/秒,補幀之後效果很好,也終於可以看更流暢的EVA了。

作爲一名獨立遊戲開發者,大谷透露道,因爲一個人做遊戲開發,接觸到AI是想要了解AI能否爲他節省時間,後來發現AI能做的不止這些,在社會公益上也有不少應用,比如老片修復。

正如大谷所說,這次的視頻修復“技術管線參考自Denis Shiryae的影像修復教程”,針對Denis的歐美老片修復,大谷也做過漢化視頻進行了專門的介紹

視頻鏈接:

https://www.bilibili.com/video/BV1Uf4y1m72n

Denis Shiryaev通過神經網絡修復老視頻的內容今年在油管爆紅了一陣子,他使用Topaz Labs的Gigapixel AI和DAIN圖像編輯應用程序將1896膠片縮放到4K分辨率,不僅將素材增加到4K,還將幀率提高到每秒60幀

Shiryaev最火的作品是用Gigapixel AI將1896年拍攝的50秒無聲短片《火車進站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清畫質,完全符合當下的高清視頻標準!

儘管存在一些缺陷,如圖像會出現跳躍或某些細節依舊模糊,但已經很棒了!爲了使這一作品更加完整,Shiryaev還爲這部無聲電影添加了聲音。

這些圖像是通過生成對抗網絡(GANs)得來的

科普一下,GANs是由兩個相反的神經網絡組成的。第一個網絡基於訓練對象的數據生成對象,而第二個的作用是確定對象的真實性。第一個網絡通過不斷嘗試,直到它的作品完美到足以欺騙第二個網絡。通過這種方式,才得以生成最有可能的圖像。

Gigapixel AI軟件使用一種專有的插值算法來分析圖像,它可以使圖像更清晰,甚至在放大了600%之後。

再來說說DAIN(深度感知視頻幀插值),它可以將幀想象並插入現有視頻剪輯的關鍵幀之間。換句話說,DAIN首先分析並映射視頻片段,然後插入在現有圖像之間生成填充圖像。這與4K電視的運動平滑功能是同一個概念。爲了在這段1896年的視頻中達到同樣的效果,Shiryaev添加了足夠多的圖像來將速度提高到60幀每秒。因此,DAIN自動生成,然後在最初記錄的24張圖像之外,每秒添加36張額外的圖像。

Shiryaev的 “火車”的視頻修復版本看起來像是一部使用智能手機或GoPro拍攝的最新電影。與原始視頻相比,效果非常驚人,尤其是在新版本中獲得了流暢性。列車上的陽光反射和月臺上的女士珠寶都被記錄的很完整,也許是最顯着的改進之一。

Shiryaev也用神經網絡對這一修復視頻進行了着色:從一堆彩色照片開始,將它們轉換爲黑白,然後訓練神經網絡以重建彩色原稿。

修復後的視頻傳送門:

https://youtu.be/EqbOhqXHL7E

Shiryaev的新技術也因此在技術圈火了起來,激發了包括大谷在內的更多技術人,修復珍貴的影像文獻。

除了上文提到的《開國大典》,在老片修復上,“中影·神思”的開發,能縮短修復電影所需時間的四分之三,成本可以減少一半,目前已成功應用於《厲害了,我的國》《血色浪漫》《亮劍》等多部影視劇的圖像修復與增強當中。

愛奇藝也推出了其自主研發的視頻增強技術ZoomAI,爲電影修復提出解決方案,這是業內第一個利用較低成本、將深度學習技術應用在視頻畫質增強場景中的方案。

但不可否認的是,這種技術如果被有惡意的人使用,例如,可以用於製作“僞造品”並允許視頻中的身份盜用,也會導致巨大的社會問題。

遍地開花的大谷:AI在遊戲領域完全可以大展拳腳

往前翻翻大谷的微博會發現,他做了很多有趣的小項目,比如AI足球隊,大谷介紹道,他用了Unity的AI系統MLagent來訓練球員,這些球員從最開始什麼都不會到最後互相配合,到現在他已經打不過了。大谷感嘆道,“AI在遊戲領域完全可以大展拳腳”

大谷想用AI把這款遊戲做得更具體,比如做成回合制。大谷相信,如果訓練時間足夠,可以讓AI學會怎麼包抄、怎麼做戰術防略,以往的遊戲AI很傻,玩家操作好就能贏,但如果用AI訓練AI,它就會狡猾很多,什麼戰術都能用上,會有很神奇的化學反應。

大谷還介紹到,Unity最近推出了一個新的AI系統Artengine,主要是做遊戲帖圖的,在生還者、戰神一類的遊戲中,草、岩石等貼圖之前還需要人去畫,或者用照片修剪,但是Artengine可以複製不同的岩石圖片,在花紋上會顯示出差別,或者接合圖片時,對圖片中間的接縫可以憑經驗把接縫塗掉。“有了AI,就可以做很多以前一個人難以實現的高分辨率的遊戲場景”。

自稱“程序員裏最會畫畫的作曲家”,大谷也介紹了一些繪畫和音樂領域上的AI應用。

在遊戲音樂上,大谷表示,OpenAI的MuseNet十分強大,只需自己作前兩小節曲子,就可以讓AI自動補完後續,而且風格可以自選,莫扎特、巴特,都不在話下。

在繪畫上,大谷之前專門做了一期節目介紹繪畫AI,比如英偉達的GauGAN,不少原畫師都用這個來畫背景;再比如Artbreeder,這個網站能“雜交”輸入模型,生成超現實主義風格的離奇圖案,但同時又十分寫視,很多藝術家在網站上進行創作,生成的作品可以商用也可以開源。

比如大谷透露道,之前他用Artbreeder合成了諸葛亮和滅霸,效果很棒。心癢的小編也去試了一下,不過在這裏先賣個關子,大家可以猜猜這是怎麼“雜交”出來的。

現在,大谷正在開發一款叫作漫展模擬器的遊戲,以模擬經營漫展爲核心企畫,其中遊客如果用AI來訓練的話就會智能很多,“讓他們自己逛漫展、買東西,這樣會更自然”。現在遊客都是用狀態機控制的,必須告訴他們餓了就得去吃東西,想上廁所就得去找廁所,否則就得尿地上。

大谷介紹道,從17年底開始正式做這款遊戲,B站會負責發行。玩家進入遊戲後化身主播或者coser等身份成爲漫展主辦方,通過搭建電競舞臺、招租攤位、邀請明星嘉賓等方式,讓患上肥宅綜合徵的人們來參加漫展,以促進虛擬世界的經濟發展。

在衆多網友催更之下,大谷說道,年底前這款遊戲終於會出搶先體驗版了,到時候小編一定要玩爆它!

編輯:黃繼彥

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章