由於之前的L-K光流法對於大運動的跟蹤束手無策，然後有人又提出圖像金字塔的方法來解決這個問題。通過建立金字塔，在多尺度下計算光流，使得光流的計算的準確性又跨越了一步。
金字塔光流的思想是對每個圖像幀向下採樣，分別建立多級金字塔，當採樣到足夠小以後，相鄰的圖像幀之間的運動將變得很小，以至於可以看成是物體的運動隨時間變化很慢的運動情況，這時候就可以用L-K方法計算目標的光流，再將計算出來的光流向底層投影，計算下一層的光流，直到估算出原圖像幀的光流。
實際運用中，通常只計算到3-4層金字塔，沒有必要建立更多的金字塔層數，因爲隨着圖像的移動，算法可以應對光流大於窗口尺寸的特徵點跟蹤問題。
金字塔L-K光流通常用來估計圖像特徵點的光流，以提高圖像光流場的計算速度。若給定圖像I中的像素點u,計算圖像J中與其匹配的像素點v，使得v=u+d。
其計算的總體流程如下：
首先，計算金字塔最頂層圖像的光流，根據最頂層光流結果計算其次上層的光流初始值，再進一步估算其光流的精確值。最後，用計算的次上層光流結果估計下一層光流的初始值，計算其精確的值後再繼續帶入下一層計算，直到金字塔的最底層。下面以僞代碼的形式給出金字塔L-K光流的計算過程：
以上就是整個L-K 算法的核心，如果懂了以上的步驟，我相信裏看懂此算法的距離不遠了,加油！！。