前情分析
這裏主要寫一下二維人臉重建該人臉的三維模型的一些基礎的知識。
主流做法
- 多視圖幾何重建。其需要採集不同角度的人臉，對設備的要求很高。
- 通過
RGBD或者RGB圖像去重建，由模型特點所致，無法生成模型細節。
單張圖像重建
3DMM方法
- 對設備要求低，算法簡單，易於移動端時間實時重建。
這裏的前提是我們已經有了輸入圖像人臉的關鍵點，已有模型的人臉關鍵點，輸出人臉的三維網格。
在Blanz的方法中，他們掃描200張成年人的人頭模型，每個模型包含大約70000個頂點。經過PCA處理，製作成參數化人臉模型，每張人臉模型的拓撲結構相同，只是頂點位置或顏色有所差異。你可以把各個特徵向量看作是人臉不同的特徵，比如臉的長短，胖瘦等。
這裏人臉模型分成兩個向量：
形狀：\(S = (X_1,Y_1,Z_1,X_2,\dots,Y_n,Z_n)\in R^{3n}\)
紋理：\(T = (R_1,G_1,B_1,R_2,\dots,G_n,B_n)\in R^{3n}\)
因此任意一個新的人臉都可以由這些特徵向量線性組合生成：
\(S = \bar S+\sum^m_{i=1}a_iS_i; T=\bar T+\sum^m_{i=1}b_iT_j;\)
\(\sum_{i=1}^ma_i=\sum^m_{i=1}=1\)
這樣的話原本的任務就變成了對\(a_i,b_i\)的求解了。