It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos

原創

2018-10-20 04:24

項目地址：http://vis-www.cs.umass.edu/motionSegmentation/

方法

如果相機相對背景的運動只有平移（沒有旋轉），背景光流的有很強的約束，由相機平移 $\left ( U,V,W \right )$ 、圖像座標 $\left ( x,y \right )$ 和焦距決定的像素運動方向 $t_{\theta}$ 和場景深度無關。

$t_{\theta} = \arctan \left ( W\cdot y-V\cdot f,W\cdot x-U\cdot f\right )$

對於平移旋轉混合的情況，從原始光流中減去估計的旋轉成分 $\hat{O}_R$ ，得到一個平移成分的估計 $\hat{O}_T$ 。

用於運動分割的概率模型

給定幀的運動分割，共有個運動目標，光流 $O_{T,T+1}$ ，分割幀需要幾個先驗：

對於每個特定的運動模型，每個像素屬於該模型的先驗概率 $p\left ( M_j \right )$
對於前一幀的個運動目標，他們在相鄰幀之間的3D運動方向的估計
對於每一個像素位置，在每個以向量大小爲爲條件的運動模型的先驗下，該像素位置的一個運動方向角的概率 $p\left ( t_{\theta}|M_j,t_r \right )$
一個新運動 $M_{k+1}$ 的先驗概率 $p\left ( M_{k+1} \right )$ 和角可能性分佈 $p\left ( t_{\theta}|M_{k+1},t_r \right )$

有這些先驗和概率，使用貝葉斯原理去得到每個像素位置中每個運動的後驗概率：

$p\left ( M_j|t_\theta,t_r \right )\propto p\left( t_\theta|M_j,t_r\right )\cdot p\left(M_j|t_r \right )=p\left( t_\theta|M_j,t_r\right )\cdot p\left(M_j \right )$

第二個等號時因爲的概率和無關（不理解）

Bruss and Horn's 運動估計

1983年的工作……沒心思去看，大概的意思是估計相機相對背景的運動方向。

把Bruss and Horn 方法用於通過背景先驗選擇的像素：

光流 $\text{v}_i$ 可以被分解爲 $\text{v}_i=\text{p}_i+\text{e}_i$ ， $\text{p}_i$ 是 $\text{v}_i$ 在運動模型推導的方向上的分量， $\text{e}_i$ 則是與 $\text{p}_i$ 正交的分量，Bruss and Horn方法就是尋找一個運動模型使得 $\text{e}_i$ 的和最小，只有平移的優化如下：