1. 定義

空間運動物體在觀察成像平面上的像素運動的瞬時速度,是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動信息的一種方法。也就是說，由空間域到圖像平面的投影。而通俗來講，把圖像中的每一個點的瞬時速度和方向找出來就是光流。

2. 光流有什麼用

通過光流判斷物體距離我們的遠近。一般而言，遠景的物體相對來說光流較小，而近景物體光流較大，尤其是動態場景中的運動物體。

3. 如何計算光流

光流法的第一層推導

3.1 計算光流的幾個假設
（1）相鄰幀之間的亮度恆定；
（2）相鄰視頻幀的取幀時間連續，或者，相鄰幀之間物體的運動比較“微小”；
（3）保持空間一致性；即，同一子圖像的像素點具有相同運動

3.2 光流的基本方程
假設位於(x,y,t) 的像素的亮度是 I(x,y,t) ，該像素在兩個圖像幀之間移動了Δx Δy Δt ,由泰勒展開式我們可以得到：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+∂I∂xΔx+∂I∂yΔy+∂I∂tΔt+o

由假設1可知
I(x+Δx,y+Δy,t+Δt)=I(x,y,t)

故有：
∂I∂xΔx+∂I∂yΔy+∂I∂tΔt=0
或者
∂I∂xΔxΔt+∂I∂yΔyΔt+∂I∂t=0
這個方程便是我們計算光流的基本方程。

其中ΔxΔt 和ΔyΔt 爲該點在x和y方向上的瞬時速度，也就是光流。
∂I∂t 代表像素點在時間上的變化。可以通過在像素位置(x,y)處兩張圖像之間的像素差。

但是這個我們要計算一個點的光流，有兩個未知數，只有一個方程，該如何解呢？針對這個問題，有很多解決方法：
- 基於梯度的方法
- 基於匹配的方法
- 基於能量的方法
- 基於相位的方法

下面我們介紹一個很經典的算法， LK光流提取算法

LK-光流算法

基本假設：光流在像素點的鄰域是一個常數
然後使用最小二乘法對鄰域中的所有像素點求解基本的光流方程。因爲方程個數已經超過了爲未知量個數
假定像素位置p周圍的領域像素由q1q2q3... ，那麼就有
Ix(q1)Vx+Iy(q1)Vy+It(q1)=0 ;
Ix(q2)Vx+Iy(q2)Vy+It(q2)=0 ;
Ix(q3)Vx+Iy(q3)Vy+It(q3)=0 ;
…
將其寫爲矩陣的形式，則有

然後通過僞逆的形式解最小二乘就可以求解到光流v
v=(ATA)−1ATb

L-K 光流算法的缺點

我們首先要設置一個鄰域的窗口，之後計算光流
當窗口較大時，光流計算更魯棒
當窗口較小時，光流計算更正確
原因在於，當圖像中每一個部分的運動都不一致的時候，如果開的窗口過大，很容易違背假設：窗口（鄰域）內的所有點光流一致，這可能與實際不一致，所以窗口小，包含的像素少，更精確些。當運動較爲劇烈的時候，無法實現光流的基本假設，即I(x+Δx,y+Δy,t+Δt)=I(x,y,t) ,因爲Δx Δy 而我們的領域小於實際運動的位移，所以當我們的領域加大的時候，算法更魯棒。