CLM 系列代码实现考虑

Saragih 在 Face alignment through subspace constrained mean-shift 统一了asm/clm之类的算法,都称之为基于局部模型的算法(CLM)。Saragih主要考虑了

(1) 如何对局部特征检测器响应进行拟合近似。

(2)如何对近似后的响应,联合shape约束,进行最优求解。


对局部特征检测器响应的建模可以用二次拟合,高斯模型(ASM),多高斯模型,KDE 核密度估计。

进行最优求解时,需要注意两个座标系的转换关系,

训练时:

对于PDM建模,都是shape对齐以后,因此 s = mean_s + pb. 这里的shap 座标都是在模型座标系空间定义的。

对于图像中的目标shape,一般使用在全局座标系空间的座标。

        如下式子中,(Xi,Yi)假设为图片中目标shape的座标,那么为了计算得到bj,即模型座标系空间中的shape 投影到PCA后的参数信息。 需要将(Xi,Yi)对齐到mean_s,对齐后,计算得到 d(Xi,Yi),即variation,再投影得到参数信 息,看是否违背shape 约束。

        f(s) = sum(Ri(Xi,Yi)) - sum(bj*bj/lamda_j)

        为了将(Xi, Yi)对齐到mean_s,目前经常使用的是最小二乘法,对齐过程中,只假设(scale,angle,Tx,Ty)四个参数,假设similar transform.


对齐时:

(1)一般先要获得初始位置估计,得到startshape.

(2) 在startshape附近寻找局部特征位置

(3) 联合局部特征总体响应和shape约束进行优化,此处需要将图像座标系shape映射到模型座标系,以求解和约束b参数。

(4)最优化得到shape,未收敛则进入下一次迭代。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章