圖像金字塔

本文介紹了圖像金字塔的基本概念和推到過程，進而清晰闡明Gaussian and Laplacian Pyramid。
接着介紹了子帶編碼，進一步引出小波變換的概念。

背景

當觀察圖像時，通常看到的是相連接的紋理與灰度級相似的區域，它們相結合形成物體。如果物體的尺寸很小或對比度不高，通常採用較高的分辨率觀察；如果物體尺寸很大或對比很強，只需要較低的分辨率。如果物體尺寸有大有小，或對比有強有弱的情況同時存在，以若干分辨率對它們進行研究將具有優勢。當然，這就是多分辨率處理的魅力所在。

從數學的觀點看，圖像是一個亮度值的二維矩陣，像邊界和對比強烈區域那樣的突變特性的不同組合會產生統計值的局部變化。如圖7.1所示(該圖像將在本章的其他部分多次出現)。在同一圖像的不同部分，即使是一階統計值也會大不相同，因此，無法對整個圖像定義一個簡單的統計模型。

以多分辨率來解釋圖像的一種有效但概念簡單的結構就是圖像金字塔(Burt和Adelson[1983])。圖像金字塔最初用於機器視覺和圖像壓縮，一幅圖像的金字塔是一系列以金字塔形排列的分辨率逐步降低的圖像集合。如圖7.2(a)所示，金字塔的底部是待處理圖像的高分辯率表示，而頂部是低分辨率的近似。當向金字塔的上層移動時，尺寸和分辨率就降低。因爲基礎級J的尺寸是2^J×2^J或N×N(J=log₂N)，中間級j的尺寸是2^j×2^j，其中0≤j≤J。完整的金字塔由J+1個分辨率級組成，由2^J×2^J到2⁰×2⁰，但大部分金字塔只有P+1級，其中j＝J-P，……，J-2，J-1，J且1≤P≤J。也就是說，通常限制它們只使用P級來減少原始圖像近似值的尺寸。例如，一幅512×512圖像的l×1或單像素近似值將非常小。P+1級金字塔(P>0)中的元素總數是：

圖7.2(b)顯示了一個建立圖像金字塔的簡單系統。j-l級的近似輸出用來建立近似值金字塔，包括原始圖像的一個或多個近似值。作爲金字塔基級的原始圖像和它的P級減少的_盼辨率近似都能直接獲取並調整。圖7.2(b)中j級的預測殘差輸出用於建立預測殘差金字塔。這些金字塔包括了原始圖像的J-P級低分辨率的近似信息，以及建立P級較高分辨率的近似信息。j級的信息在相應近似金字塔的j級近似與基於j-1級預測殘差得到的近的估計之間是不同的。對這些差異進行編碼(用於存儲或傳輸)將比對近似值進行編碼有效得多.

如圖7.2(b)的框圖所表明的，近似值和預測殘差金字塔都是以一種迭代的方式進行計算的。P+1級金字塔通過執行P次框圖中的操作建立。第一次迭代和傳遞時，j=J，並且2^J×2^J的原始圖像作爲J級的輸入圖像，從而產生J-1級近似值和J級預測殘差。對於j=J-1，J-2，…，J-P+I(按這一順序)的傳遞，前面迭代的j-1級近似值輸出將作爲輸入。每次傳遞由3個連續步驟組成：

1.計算輸入圖像的減少的分辨率近似值。這可以通過對輸入進行濾波並以2爲步長進行抽樣去做(即子抽樣)。可以採用的濾波操作有很多，如鄰域平均(它可生成平均值金字塔)，高斯低通濾波器(它可生成高斯金字塔)，或者不進行濾波，生成子抽樣金字塔。生成近似值的質量是所選濾波器的函數，在圖7.2(b)中以j-1級近似值進行標記。沒有濾波器，在金字塔的上一層混淆變得很顯著，子抽樣點對所採取的區域沒有很好的代表性。

2.對上一步的輸出進行內插——因子仍爲2——並進行過濾。這將生成與輸入等分辨率的預測圖像。由於在步驟1的輸出像素之間進行插值運算，插入濾波器決定了預測值與步驟1的輸入之間的近似程度。如果插入濾波器被忽略了，預測值將是步驟1輸出的內插形式，複製像素的塊效應將變得很明顯。

3.計算步驟2的預測值和步驟1的輸入之間的差異。以j級預測殘差進行標識的這個差異將用於原始圖像的重建(見例7.1)。在沒有量化差異的情況下，預測殘差金字塔可以用於生成相應的近似金字塔，包括原始圖像，而沒有誤差。

執行上述過程P次將產生密切相關的P+l級近似值和預測殘差金字塔。j-I級近似值的輸出用於提供近似值金字塔；而j級預測殘差的輸出被放在預測殘差金字塔中。如果不需要預測殘差金字塔，步驟2、3和內插器、插入濾波器以及圖7.2(b)中的加法器都可以省略。

例

圖7.3顯示了圖7.1中花瓶的一種可能的近似值和預測殘差金字塔。圖7.3(a)中的近似值金字塔是一個高斯金字塔。使用4.2.4節的圖4.9(c)所描述的5×5低通高斯卷積核在空間域進行過濾。正如所看到的那樣，處理後的金字塔包括512×512分辨率的原始圖像(在底部)和3個低分辨率的近似值(分辨率分別是256 × 256，128×128以及64 ×64)。即P=3且金字塔被縮減到4級——可能的log₂(512)十1級(或者10級)中的9，8，7，6級。注意，金字塔的分辨率越低，伴隨的細節越少。例如，第6級(即64×64)近似對於定位窗框很合適，但對於尋找黃櫱的莖就很不合適了。通常金字塔的低分辨率圖像用於分析大的結構或圖像的整體內容，而高分辨率圖像用於分析單個物體的特性。這樣的由粗糙到精細的分析策略在模式識別中特別適用。

圖7.3(b)中的拉普拉斯金字塔包含了用於計算7.3(a)中其高斯對應部分的預測殘差。爲建立高斯金字塔，首先從拉普拉斯金字塔的第6級，64×64近似圖像開始預測高斯金字塔的第7級，分辨率l28×128的近似值(通過內插和濾波實現)，並加上拉普拉斯的第7級預測殘差。這個過程被重複使用計算近似圖像.直到生成5l2×512的原始圖像。注意.拉普拉斯金字塔的預測殘差圖像的一階統計值是零點附近的高峯值。與它們的高斯對應部分不同，這些圖像可以通過爲更多可能值分配較少比特數實現高比例壓縮(參見8.1.l節的變長編碼)。最終，將注意到圖7.3(b)中的預測殘差達到一種使較小的預測誤差更明顯的程度。然而，預測誤差的直方圖卻是基於預標定的殘差.以第128級表示O誤差。

二.子帶編碼
　

另一種與多分辨率分析相關的重要圖像技術是子帶編碼。在子帶編碼中，一幅圖像被分解成爲一系列限帶分量的集合，稱爲子帶，它們可以重組在一起無失真地重建原始圖像。最初是爲語音和圖像壓縮而研製的，每個子帶通過對輸入進行帶通濾波而得到。因爲所得到的子帶帶寬要比原始圖像的帶寬小，子帶可以進行無信息損失的抽樣。原始圖像的重建可以通過內插、濾波和疊加單個子帶來完成。

圖7.4(a)顯示了兩段子帶編譯碼系統的基本部分。系統的輸入是一個一維的帶限時間離散信號x(n)，n=0，1，2，…；輸出序列 (n)是通過分析濾波器h₀(n)和h₁(n)將x(n)分解成y₀(n)和y₁(n)，然後再通過綜合濾波器g₀(n)和g₁(n)綜合得到的。注意，濾波器h₀(n)和h₁(n)是半波數字濾波器，其理想傳遞函數H₀和H₁如圖7.4(b)所示。濾波器H₀是一個低通濾波器，輸出是x(n)的近似值；濾波器H₁是一個高通濾波器，輸出是x(n)的高頻或細節部分。所有的濾波都通過在時間域將每個濾波器的輸入與其衝激響應(對單位強度衝激函數δ(n)的響應)進行卷積來實現。我們希望能通過選擇h₀(n)，h₁(n)，g₀(n)和g₁(n)(或G₀，G₁，H₀和H₁)來實現對輸入的完美重構。即(n)=x(n)。

離散傅里葉變換的一般推廣(z變換)是研究如圖7.4(a)所示的離散時間、數據採樣系統的理想工具。序列x(n)(n=O，1，2，…)的Z變換是：

(7.1.1)

其中z是一個復變量[如果用e^jω代替z，式(7.l.1)將成爲x(n)的離散傅里葉變換]。對Z變換的興趣源於它處理採樣率變化的便捷性。時域中以2爲因子的抽樣對應到Z域中爲：

(7.1.2)

其中，雙箭頭表示左右兩端的表達式組成了一對Z變換對。同樣，以2爲因子的內插，可以由變換對定義爲：

(7.1.3)

如果對x(n)先抽樣再內插得到 (n))，由式(7.1.2)和式(7.1.3)結合可得：

(7.1.4)

其中 (n)=z^-1[ (z)]就是對序列抽樣.內插得到的結果。這個等式中X(-z)項是序列x(n)混疊的或調製的Z變換。其反Z變換是：

(7.1.5)

根據上述z變換簡介，再來考慮圖7.4(a)中的子帶編譯碼系統。由式(7.1.4)可將系統輸出表達爲：

(7.1.6)

其中，圖7.4(a)中的濾波器h₀(n)的輸出由下述變換對定義：

(7.1.7)

與傅里葉變換一樣，時域(或空間域)的卷積等價於Z域的乘積。整理式(7.1.6)可得：

(7.1.8）

其中,第二項由於含有-z的關係.它代表了抽樣.內插過程帶來的混疊。

對於輸入的無失真重建， (n)=x(n)和 (z)=X(z)。因此，可以假定下列條件：

(7.1.9)

(7.1.10)

式(7.1.9)通過強制式(7.1.8)的第二項爲零消除了混疊；而式(7.1.10)通過強制第一項等於X(z)消除了幅度失真。二者都可以合併成一維矩陣表達式：

(7.1.11)

其中分析調製矩陣H_m(z)爲：

(7.1.12)

假定H_m(z)是非奇異矩陣(即左右倒置)，整理式(7.1.11)，左乘可得：

(7.1.13)

det(H_m(z))表示H_m(z)的行列式。

式(7.1.9)到式(7.1 13)揭示了重建濾波器組的若干重要特性。如，矩陣(7.1.13)告訴我們G₁(z)是H₀(-z)的函數，而G₀(z)是H₁(-z)的函數。分析和綜合濾波器交叉調製，也就是說，在7.4(a)的框圖中對角線上相對的濾波器在Z域中以-z相關聯。對於有限衝激響應(FIR)濾波器，調製矩陣的行列式是一個純時延，即det(H_m(z))=αz^-(2k+1) (見Vetterli和Kovacevic[1995])。因此，交叉調製的準確形式是α的函數。z^-(2k+1)項可被認爲是任意的，因爲它只改變濾波器的羣時延。忽略時延，令α=2，對式(7.1.13)做反Z變換，可得到：

(7.1.14)

如果α=-2，結果的表達式符號相反：

(7.1.15）

因此，FIR綜合濾波器是分析濾波器的交叉調製的副本，有且僅有一個符號相反。

式(7.1.9)到式(7.1.13)也可以用來證明分析和綜合濾波器的雙正交性。令低通分析濾波器和綜合濾波器傳遞函數的乘積爲P(z)。由式(7.1.13)代入G₀，可得：

(7.l.16）

由於det（H_m(z))=-det（H_m(-z))，

(7.1.17)

因此，G₁(z)H₁(z)=P(-z)=G₀(-z)H₀(-z)，式(7.1.10)變成：

(7.1.18)

做反Z變換可得：

通常衝激函數δ(n)在n＝0時等於1，而在其他情況下等於0。由於奇次方項相互抵消.可得①：

(7.1.19)

由式(7.1.9)和式(7.10)開始，並將H₀和G₀表示成G₁和H₁的函數，可得：

(7.1.20)

與式(7.1.19)合併，可得到更有普遍意義的表達式：

(7.1.21)

滿足該條件的濾波器組稱爲具有雙正交性。此外，所有兩頻段實係數的完美重建濾波器組的分析和綜合濾波器的衝激響應服從雙正交性約束。雙正交FIR濾波器的例子有雙正交spline族(Cohen，Daubechies和Feauveau[1992])和雙正交此同時以coiflet族(Tian和Wells[1995])。

表7.1給出了式(7.1.9)和式(7.l.10)的通解。雖然它們都能滿足式(7.1.21)的雙正交要求，但各自的求解方式不同，定義的可完美重建的濾波器類也不同。每類中都依一定規格設計了一個“原型”濾波器，而其他濾波器由原型計算產生。表7.1的l，2列是濾波器族文獻的經典結果，稱爲正交鏡像濾波器(QMF)(Crosier，Estaban和Galand[1976])和共軛正交濾波器(CQF)（Smith和Barnwell[1986])。第3列中的濾波器稱爲具有正交性，用於後面快速小波變換的開發中(見7.4節)。它們在雙正交的基礎上更進一步，要求：

(7.1.22)

這對可完美重建的濾波器族定義了正交性。注意，表中第3行G₁(z)的表達式。2K代表各濾波器係數的長度或數目(即濾波器抽頭)。可見，G₁與低通綜合濾波器G₀的聯繫在於調製[見式(7.l.5)]、時域反轉或奇數平移。此外，H₀和H₁分別是相應綜合濾波器G₀和G₁的時域反轉。從表7.1的第3列中選取適當的輸入，做反Z變換，可得：

(7.1.23)

其中，h₀，h₁，g₀和g₁是定義的正交濾波器的衝激響應，如Smith和Barnwell濾波器(Smith和Barnwell『1984])，Daubechies濾波器(Daubechies[1988])，Vaidyanathan和Hoang濾波器(Vaidyanathan和Hoang[1988])。

表7.1中的一維濾波器也可用於圖像處理的二維可分離濾波器。如圖7.5所示，可分離濾波器首先應用於某一維(如垂直向)，再應用於另一維(如水平向)。此外，抽樣也分兩步執行——在第二次濾波前執行一次以減少計算量。濾波後的輸出結果，用圖7.5中的a(m,n)，d^V(m,n)，d^H(m,n)和d^D(m,n)表示，分別稱爲近似值、垂直細節、水平細節和圖像的對角線細節子帶。一個或多個這樣的子帶可被分爲4個更小的子帶，並可重複劃分。

例

圖7.6顯示了一個8抽頭正交濾波器的衝激響應。低通濾波器h₀(n)(0≤n≤7)的係數是-0.01059740,0.03288301，0.03084138，-0.18703481，-0.02798376，0.63088076，0.71484657和O.23037781(Daubechies[1992])；其餘正交濾波器的係數可以通過式(7.1.23)計算。注意，圖7.6中分析和綜合濾波器的交叉調製。用數字計算來說明這些濾波器既是雙正變的[滿足式(7.1.21)]又是正交的[滿足式(7.1.22)]相對容易。此外，它們也滿足式(7.1.9)和式(7.1.10)，支持已分解的輸入的無誤差重建。

圖7.7顯示了圖7.1中花瓶的512 ×512圖像基於圖7.6中濾波器的4頻段分離。該圖像的每一個象限都是256×256的一個子帶。從左上角開始，按順時針方向旋轉，4個象限分別包括近似子帶a，水平細節子帶d^H，對角細節子帶d^D和垂直細節子帶d^V。除了左上角的近似子帶，所有子帶都經過標定以使其基本結構更爲明顯。注意d^H和d^V中所表現出的混疊，這是由於對圖7.l僅可分辨的窗口進行抽樣造成的。根據式(7.1.9).通過綜合濾波器g₀(n)和g₁(n)實現的由子帶完成的原始圖像重建將消除這些混疊。爲執行重建，需要圖7.5系統的嚴格鏡像濾波器組。在新的濾波器組中，h_i(n)，i={O，1}，被它們的g_i(n)對應部分所取代，並添加了內插器和加法器。

三.哈爾變換
　

將要了解的第三個和最後一個與多分辨率分析有關的圖像處理手段是哈爾變換(Haar[1910])。本章的內容中，其重要性體現在它的基函數是衆所周知的最古老也是最簡單的正交小波。下述部分將給出若干應用範例。

哈爾變換本身是可分離的，也是對稱的，可以用下述矩陣形式表達：

(7.1.24)

其中，F是一個N×N圖像矩陣，H是N×N變換矩陣，T是N×N變換的結果。對於哈爾變換，變換矩陣H包含哈爾基函數h_k(z)，它們定義在連續閉區間z∈[O，1]，k=0，1，2，…，N-1，這裏N=2ⁿ。爲生成H矩陣，定義整數k，即k=2^p+q一1(這裏O≤P≤n一1，p=0時，q=0或1，p≠0時，1≤q≤2^p)。可得哈爾基函數爲：