Saragih 在 Face alignment through subspace constrained mean-shift 統一了asm/clm之類的算法,都稱之爲基於局部模型的算法(CLM)。Saragih主要考慮了
(1) 如何對局部特徵檢測器響應進行擬合近似。
(2)如何對近似後的響應,聯合shape約束,進行最優求解。
對局部特徵檢測器響應的建模可以用二次擬合,高斯模型(ASM),多高斯模型,KDE 核密度估計。
進行最優求解時,需要注意兩個座標系的轉換關係,
訓練時:
對於PDM建模,都是shape對齊以後,因此 s = mean_s + pb. 這裏的shap 座標都是在模型座標系空間定義的。
對於圖像中的目標shape,一般使用在全局座標系空間的座標。
如下式子中,(Xi,Yi)假設爲圖片中目標shape的座標,那麼爲了計算得到bj,即模型座標系空間中的shape 投影到PCA後的參數信息。 需要將(Xi,Yi)對齊到mean_s,對齊後,計算得到 d(Xi,Yi),即variation,再投影得到參數信 息,看是否違背shape 約束。
f(s) = sum(Ri(Xi,Yi)) - sum(bj*bj/lamda_j)
爲了將(Xi, Yi)對齊到mean_s,目前經常使用的是最小二乘法,對齊過程中,只假設(scale,angle,Tx,Ty)四個參數,即假設similar transform.
對齊時:
(1)一般先要獲得初始位置估計,得到startshape.
(2) 在startshape附近尋找局部特徵位置
(3) 聯合局部特徵總體響應和shape約束進行優化,此處需要將圖像座標系shape映射到模型座標系,以求解和約束b參數。
(4)最優化得到shape,未收斂則進入下一次迭代。