最近幾年,realtime的人臉動畫開始風聲水起,不少圖形圖像的研究者開始在這個領域不斷的在頂級會議siggraph和期刊tog上面發文章。
隨着kinect等廉價的三維數據採集設備的運用,以及其功能強大的人臉識別和動作識別的功能,極大的推動了人臉數據驅動電腦中3D模型
的表情表演和動作表演的可能。
下面是幾個大牛的主頁,其中有不少關於這方面的研究:
主要發起者:
li hao 在epfl的lgg實驗室的研究工作:
http://lgg.epfl.ch/publications.php
目前其人在usc:
http://www.hao-li.com/Hao_Li/Hao_Li_-_about_me.html
然後他們還做出了比較成熟的軟件:
http://www.faceshift.com/
國內的話,大牛 zhou kun也不做了不少相關的工作:
http://www.kunzhou.net/
此外 瑞士的迪斯尼研究中心以及傳統的矩陣攝相三維人臉重建和動作捕捉的強者usc的一個實驗室也有不少相關工作:
http://gl.ict.usc.edu/Research/HFFH/
http://www.disneyresearch.com/publications/
本人根據之前的幾個blog的工作,然後整合試試變形的算法,也對實時人臉動畫進行了嘗試,具體步驟如下:
1.通過kinect保存人臉的三維數據爲obj文件
2.啓動網格顯示模型,讀取保存的kinect網格模型
4.打開要驅動的obj模型
5.左鍵選擇與上面頂點對應的座標並且記錄下來。(選中了的點會在模型中有紅點標出,並且在命令行窗口輸出對應的ID和座標)
6.建立對應關係,即實時獲得的kinect數據與需要驅動的頂點的對應關係
7.連接kinect,並且運用laplace或者poission變形方式,實時驅動模型變形,中間過程截圖如下:
至此,kinect驅動三維模型實時變形的demo基本結束,這裏還是非常初步的結果,後續可以通過參數化映射等實現自動的變形點匹配和變形驅動,當然也可以運用LOD等方式驅動更加豐富的人臉的動畫,具體可以參考14年siggraph的paper, http://www.iro.umontreal.ca/~derek/.
另外,也可以按照上面提到的幾個大牛的方法,直接運用machine learning 的方式,學習幾個基本的表情,然後驅動動畫。這將是一件非常有趣的事情。