一,DAN
由於使用了關鍵點熱力圖的可視化信息,故可以將整張圖輸入網絡。
網絡分爲多個階段(STAGE),每個階段的結構都是相同的(STAGE 1除外)。第一階段的輸入僅有原始圖片,和S0。面部關鍵點的初始化即爲S0,S0是由所有關鍵點取平均得到。每個STAGE都由前饋網絡和connection層組成。前饋網絡用來估計特徵點的位置,connection層生成下一個STAGE的輸入。connection層由Transform Estimation層, Image Transform 層, Landmark Transform 層, Heatmap Generation 層 和 Feature Generation 層組成。結構如下:
transform estimation 層生成變換,t是當前stage的序號。變換(IMAGE TRANSFORM 和 LANDMARK TRANSFORM)用來扭曲輸入圖像和當前的特徵點,使得和規範形態的接近。變換後的特徵點被傳入熱度圖生成層。逆變換用來將前面幾個stage生成的特徵點映射到原來的座標系。
從圖中發現,DAN要做的“變換”,就是把圖片給矯正了,尤其是一行,那麼DAN對姿態變換具有很好的適應能力,或許就得益於這個“變換”。