摘要
還記得《哈利波特》裏的「預言家日報」嗎？
《哈利波特》世界裏有一種神奇的魔法報紙，報中照片上的人物可以動起來，看起來有點像 GIF 圖。在故事裏這當然是「魔法」的功勞，現實世界中還沒有造出這樣的報紙。不過，華盛頓大學的幾個科學家不死心，他們想用 AI 算法來讓照片中的人動起來。
圖片來源：Haven & Hearth
這種技術叫做 Photo Wake-Up。先來看一下效果，他們在照片、海報和藝術畫上都進行了實驗。
首先向我們走來的是籃球運動員庫裏，看起來是剛進了球。
然後是鋼鐵俠。哎，你從太空回來了？
是超級賽亞人孫悟空！只是原地蹦了幾下...... 我以爲他要變身了
還有一位長相奇怪的女子，原來是畢加索的《瑪雅和玩具船》。
是不是很酷炫？這些人物就像是從畫中走出來的一樣，不僅從 2D 變成了 3D，還能做各種動作。
其實類似的嘗試之前就有人做過，把照片裏的 2D 形象映射到 3D 模型上，然後讓它們動起來。不過結果嘛，像是行屍走肉。
因爲 2D 形象都是從某一個固定角度去看的，用 3D 模型的標準去控制，會出現不匹配的情況。更不用說畢加索畫裏的人，根本沒有一個合適的模型來匹配。讓 2D 形象動起來還有一個難點，就是身體部位的重疊部分不好控制，走路的時候哪隻手在前？哪隻手在後？還要被身體擋住。這些複雜的問題不解決，根本無法做到栩栩如生。
團隊給出的解決方案是 AI 算法。首先將 2D 形象與 3D 形變模型匹配，標記出身體各部位的位置。然後按照形變算法，一步步構建網格。
按照關鍵點位置控制網格，還原出皮膚數據，構建好貼圖。
最後，把貼圖放回到原圖中，用算法填充背景，人物就可以隨便跑了！
團隊還特別提到，頭部姿勢的準確性對動起來的人十分重要，因爲大部分人會將注意力放在人物的臉上。因此，他們的算法還可以識別形象的頭部角度，還有注視方向。
爲了讓這個算法可以實際應用，團隊還提供一個調整的選項，允許使用者改動關鍵點的位置。
這項技術可以被用到 AR、VR 中，配合相應設備來使用。想象一下，未來我們在博物館中看的藝術畫，可能是動起來的。
Photo Wake-Up 項目地址：https://grail.cs.washington.edu/projects/wakeup/
編輯：Rubberso