基本原理：
簡單理解，它就是預測圖像和原始圖像之間的差值。
首先我們知道，圖像金字塔的實現，就是對原圖像進行採樣，獲得低分辨率的新圖像。接着對新圖像繼續採樣，或者更低分辨率的下一張圖像。依次不斷迭代，進而最後得到一張最低分辨率的採樣圖像，依次往下，分辨率逐漸加大直到原圖。
殘差金字塔：
在進行圖像金字塔採樣時候，一般會先對原圖像做一次高斯之類的濾波。然後獲得新圖像的width和height都爲原圖像的1/2。接着將新圖像放大爲原圖像的相同size。原圖像減去新圖像的差值就得到當前的殘差圖像，依次迭代下去，便得到對應的殘差金字塔。
注意：
注意，圖像直方圖的最小圖沒有對應的殘差圖，將最小圖的width和height都放大一倍之後，和對應的殘差圖相加。接着繼續往前面迭代，直到迭代完所有殘差圖像之後，變復原了原圖像。