均值漂移算法meanshiftTrack
一、实验内容
完成基于 MeanShift 的目标跟踪算法，红框标出目标区域实现实时追踪。
二、算法原理
1.在当前帧，计算候选目标的特征
2.计算候选目标与初始目标的相似度：
3.计算权值
4.利用 MeanShift 算法，计算目标新位置：
5.若
，则停止，否则
转步骤 2
限制条件：新目标中心需位于原目标中心附近
三、思路流程
- 截取跟踪目标矩阵rect；
- 求取跟踪目标的加权直方图hist1；
- 读取视频序列中的一帧， 先随机取一块与rect等大的矩形，计算加权直方图hist2；
- 计算两者比重函数，如果后者差距过大， 更新新的矩阵中心Y，进行迭代（MeanShift是一种变步长可以迅速接近概率密度峰值的方法），直至一定条件（移动步长平方和大于0.5或超过20次迭代）后停止。
四、实验结果
（一）Lemming样本分析
如图 1 使用rgb格式处理图像_Lemming_帧间相似度曲线（横轴为帧数，纵轴为相似度）所示，在310~375帧左右，出现轻度目标漂移，由于’Lemming’视频中目标小熊被物体遮挡，颜色直方图的巴氏距离产生较大差异，导致帧间相似度急剧下降，后来目标小熊从遮挡物中出来，逐渐恢复原先相似度水平。Lemming视频样本检测效果如图 2 使用rgb格式处理图像_Lemming_第96帧所示。
图 1 使用rgb格式处理图像_Lemming_帧间相似度曲线（横轴为帧数，纵轴为相似度）
图 2 使用rgb格式处理图像_Lemming_第96帧
对目标漂移问题进行优化改进，将rgb空间转化为hsv空间，并把h通道权重调至25。再进行目标追踪，得到相似度变化情况如图 3 使用hsv(h权重25)格式处理图像_Lemming_帧间相似度曲线（横轴为帧数，纵轴为相似度）所示，通过与原始方案的相似度曲线对比，可以发现原始方案相似度最低为0.5左右，而改进后的最低相似度上升至0.65左右，虽然依旧受遮挡物影响，但目标追踪性能已经得到了一定的提升。目标检测效果对比如图 4 使用rgb格式处理图像_Lemming_310~375帧、图 5 使用hsv(h权重25)格式处理图像_Lemming_310~375帧所示。
图 3 使用hsv(h权重25)格式处理图像_Lemming_帧间相似度曲线（横轴为帧数，纵轴为相似度）
图 4 使用rgb格式处理图像_Lemming_310~375帧
图 5 使用hsv(h权重25)格式处理图像_Lemming_310~375帧
（二）Woman样本分析
如图 6 使用rgb格式处理图像_Woman_帧间相似度曲线（横轴为帧数，纵轴为相似度）所示，前期相似度曲线不断下降，虽然没有遮挡物，但是由于人走动时肢体摆动幅度较大导致颜色直方图有较大变化，从而使相似度曲线不断下降且波动较大，其中第7178、8289帧出现了不同程度的目标漂移，第9094、119142帧出现目标丢失情况，主要原因是汽车遮挡物对目标区域的影响，使颜色直方图发生较大变化。Woman视频样本检测效果如图 7 使用rgb格式处理图像_Woman_第106帧所示。
图 6 使用rgb格式处理图像_Woman_帧间相似度曲线（横轴为帧数，纵轴为相似度）
图 7 使用rgb格式处理图像_Woman_第106帧
对目标漂移、目标丢失问题进行优化改进，将rgb空间转化为hsv空间，并把h通道权重调至25。再进行目标追踪，得到相似度变化情况如图 8 使用hsv(h权重25)格式处理图像_Woman_帧间相似度曲线（横轴为帧数，纵轴为相似度）所示，通过与原始方案的相似度曲线对比，可以发现原始方案相似度最低为0.2左右，而改进后的最低相似度上升至0.3左右，虽然依旧受人物肢体大幅度摆动影响，但一定程度上优化了目标漂移问题，目标追踪性能已经得到了一定的提升。再观察第119~142帧相似度变化对比，原始方案相似度不断下降且最终导致目标丢失，但改进后的方案目标能够实现顺利获取，此区域的帧间相似度曲线呈上升趋势，解决了目标丢失问题。目标检测效果对比如图 9 使用rgb格式处理图像_Woman_119~142帧、图 10 使用hsv(h权重25)格式处理图像_Woman_119~142帧所示。
图 8 使用hsv(h权重25)格式处理图像_Woman_帧间相似度曲线（横轴为帧数，纵轴为相似度）
图 9 使用rgb格式处理图像_Woman_119~142帧
图 10 使用hsv(h权重25)格式处理图像_Woman_119~142帧
五、问题分析
问题
目标漂移，目标丢失。
可能的原因
1.遮挡物的影响；
2.背景颜色与追踪的很相似时区分度低，颜色直方图相似，识别容易出错；
3.视频中目标距摄像头远近变化，而ROI大小不变，导致ROI区域获取的颜色直方图统计值变化较大。
解决方案
1.调颜色空间：把rgb空间的图像转换为hsv空间的图像；
2.调节各个通道的权值：把hsv空间模式下图片的h通道权重设为25。