光流（1）

我們會對視頻中運動物體十分感興趣，人們經常用光流法做這項事情。光流法有很多用處，比如物體追蹤、攝像頭矯正等等。

所有的光流法都是基於以下假設：

A、亮度恆定。同一個點隨時間變化，其亮度不會發生改變。用於得到光流法的基本方程；

B、小運動。時間的變化不會引起位置的劇烈變化，這樣灰度才能對位置求偏導數。小運動情況下才能用前後幀之間單位位置變化引起的灰度變化去近似灰度對位置的偏導數。

C、空間一致。一個場景上鄰近的點投影到圖像上也是鄰近點，且鄰近點速度一致。在Lucas-Kanade光流法中，要求x，y的方向速度，但基本方程只有一個，假設特徵點鄰域做相似運動，就可以聯立n多個方程求取x，y方向的速度。

基於這些假設，如果有兩張圖片（比如視頻兩個幀），我們需要發現兩個圖片像素的對應關係。因爲亮度恆定（RGB不變），不要要考慮RGB的值的改變。因爲小運動，可以發現兩張圖片在很小的鄰域範圍內像素的對應關係。

假設亮度恆定，則有方程：

假設小運動，則有（一階泰勒展開）：

得到光流約束方程：

1、Horn–Schunck method

Horn-Schunck算法假設整個圖像的流動是平滑的。因此，它試圖最小化流程中的失真，並更喜歡顯示更平滑的解決方案。

流動表示：設定方程爲全局方程，將其最小化。對於二維圖像，有：

$E=\iint \left[(I_{x}u+I_{y}v+I_{t})^{2}+\alpha ^{2}(\lVert \nabla u\rVert ^{2}+\lVert \nabla v\rVert ^{2})\right]{{{\rm {d}}}x{{\rm {d}}}y}$

Ix，Iy，It是圖像強度值分別沿x、y和時間維度的導數。 ${\vec {V}}=[u(x,y),v(x,y)]^{\top }$ 是光流向量。 $\alpha$ 是正則化的常數。大數值的 $\alpha$ 能夠讓函數平滑。使用多維拉格朗日方程解決：

${\frac {\partial L}{\partial u}}-{\frac {\partial }{\partial x}}{\frac {\partial L}{\partial u_{x}}}-{\frac {\partial }{\partial y}}{\frac {\partial L}{\partial u_{y}}}=0$

${\frac {\partial L}{\partial v}}-{\frac {\partial }{\partial x}}{\frac {\partial L}{\partial v_{x}}}-{\frac {\partial }{\partial y}}{\frac {\partial L}{\partial v_{y}}}=0$

被積函數L如下：

$I_{x}(I_{x}u+I_{y}v+I_{t})-\alpha ^{2}\Delta u=0$

$I_{y}(I_{x}u+I_{y}v+I_{t})-\alpha ^{2}\Delta v=0$

$\Delta ={\frac {\partial ^{2}}{\partial x^{2}}}+{\frac {\partial ^{2}}{\partial y^{2}}}$ 代表Laplace Operator（拉普拉斯算子）。實際中拉普拉斯算子用有限差分表示。 $\Delta u(x,y)=\overline {u}(x,y)-u(x,y)$ ， $\overline {u}(x,y)$ 是在像素（x，y）周圍鄰域內算出的平均。所以，上式可以寫成：