圖像融合評價指標

圖像融合評價指標

1. 人類視覺系統（HVS）

a) 從空間頻域來看，人眼是一個低通線性系統

b) 人眼對亮度的響應具有對數非線性性質

c) 人類對亮度信號的空間分辨率大於對色度信號的空間分辨率

d) 人眼視覺系統對信號進行加權求和運算，相當於使信號通過一個帶通濾波器。

e) 圖像的邊緣信息對視覺很重要，特別是邊緣的位置信息，人眼容易感覺到邊緣的位置變化，而對邊緣的灰度誤差並不敏感

f) 人眼的視覺掩蓋效應是一種局部效應，受背景照度、紋理複雜性和信號頻率的影響，具有不同局部特性的區域，在保證不被人眼察覺的前提下，允許改變的信號強度不同

2. 分類

圖像質量評價（IQA），根據參考圖片（reference image），即原始圖片的存在與否，可分爲：

a) 全參考（full-reference）方法

b) 半參考（reduced-reference）方法

c) 無參考（no-reference）方法

其中，FR方法研究比較成熟，相關方法較多。RR方法只有原始圖片的部分信息，相關方法不是很有效，NR方法目前還處於研究中，因此我們這裏只對FR方法進行介紹

圖像融合評價指標： 信息熵（IE）、標準差（STD）、對比度（CON）、空間頻率（SF）、平均梯度（AG）及 Piella 基於結構相似性的兩個指標 QW與 QE等。

定義：（正向指標，反向指標） 記 I1 與 I2 爲任意兩幅同源融合圖像, O1 與 O2 爲指標 M 給出的 I1 與 I2 的客觀評價結果. 當 I1 的主觀評價結果優於 I2 時, 若 O1 > O2, 則稱指標 M 爲正向指標; 否則, 稱 M 爲反向指標. 如無特殊說明, 均爲正向指標.

一般方法

---

1. 信息熵（IE）

在信息論中，熵（英語：entropy）是接收的每條消息中包含的信息的平均量，又被稱爲信息熵、信源熵、平均自信息量。

計算公式：
$H(X)=\sum \limits_{i}P(x_i)I(x_i)=-\sum \limits_{i}P(x_i)\log_bP(x_i)$

2. 標準差（STD）

標準差（又稱標準偏差、均方差，英語：Standard Deviation，縮寫SD），數學符號σ（sigma），在概率統計中最常使用作爲測量一組數值的離散程度之用。標準差定義：爲方差開算術平方根，反映組內個體間的離散程度；標準差與期望值之比爲標準離差率。

計算公式：
$SD=\sqrt{\frac{1}{N}\sum\limits_{i=1}^N(x_i-\mu)^2} \qquad \mu爲平均值（\bar{x}）$

3. 對比度（CON）

對比度是畫面黑與白的比值，也就是從黑到白的漸變層次。比值越大，從黑到白的漸變層次就越多，從而色彩表現越豐富。對比度對視覺效果的影響非常關鍵，一般來說對比度越大，圖像越清晰醒目，色彩也越鮮明豔麗；而對比度小，則會讓整個畫面都灰濛濛的。

計算公式：
$C=\sum\limits_{\delta}\delta(i,j)^2P_{\delta}(i,j)$
其中，$\delta(i,j)=|i-j|$，即相鄰像素間灰度差；$P_{\delta}(i,j)$爲相鄰像素間灰度差爲$\delta$的像素分佈概率。

4. 空間頻率（SF）

空間頻率（spatial frequency），空間頻率反映的是圖像灰度的變化率.

其計算公式爲 ：
$SF(F)=\sqrt{RF^2+CF^2}$
其中，RF 和 CF 分別爲圖像的行頻率和列頻率，如下：
$RF=\sqrt{\frac{1}{mn}\sum_{i=1}^{M-1}\sum_{j=1}^{N-1}(F(i,j)-F(i,j+1))^2}$

$CF=\sqrt{\frac{1}{mn}\sum_{i=1}^{M-1}\sum_{j=1}^{N-1}(F(i,j)-F(i+1,j))^2}$

空間頻率可用於反映圖像的清晰度. 一般地, 圖像越清晰, 空間頻率越高.

5. 平均梯度（AG）

點（m,n）處的梯度定義爲：
$S(m,n)=\sqrt{G_x(m,n)^2+G_y(m,n)^2}$
清晰度評價準則定義：
$Definition\_metric=\sum_m^M\sum_n^N(S(m,n)-\bar S)^2$
其中，$G_x$ 和 $G_y$ 分別代表使用 Sobel 梯度算子求得的 $x$ 和 $y$ 方向的圖像梯度，$\bar S$ 代表梯度圖像 $S$ 的平均梯度。清晰度評價準則值越大表示圖像越清晰，反之，圖像越模糊。

6. 交叉熵（cross entropy）

主要用於度量兩個概率分佈間的差異性信息。
$H(p,q)=\sum_i p(i)\cdot \log (\frac{1}{q(i)})$
交叉熵可在神經網絡(機器學習)中作爲損失函數，p表示真實標記的分佈，q則爲訓練後的模型的預測標記分佈，交叉熵損失函數可以衡量p與q的相似性。交叉熵作爲損失函數還有一個好處是使用sigmoid函數在梯度下降時能避免均方誤差損失函數學習速率降低的問題，因爲學習速率可以被輸出的誤差所控制。

7. 邊緣強度（Edge Intensity）

FR方法

FR方法需要同時用到原始圖片和失真圖片，對二者的特徵進行相似性比較。一般來說，FR-IQA包括兩類方法，一種是傳統的自底向上方法，這類方法基於HVS的某些視覺通路，如掩蓋效應，對比靈敏度，最小可視差等，由於HVS的複雜性和認知的有限性，這類自底向上的方法通常很難與主觀感知保持一致；比較經典的自底向上方法有MSE/PSNR。另一種是自頂向下的方法。這類方法對HVS的整體函數進行建模，利用了圖像的全局信息，與主觀感知的一致性要高於前一類方法。這類方法比較經典的算法包括，SSIM，MDSI以及GMSD

1. SSIM(structural similarity)

HVS能高度自適應提取場景中的結構信息，它分別從亮度、對比度、結構三方面度量圖像相似性。

• 亮度：
  $\mu_x=\frac{1}{N}\sum_{i=1}^N x_i$

$\sigma_x=\left( \frac{1}{N-1}\sum_{i=1}^N(x_i-\mu_x)^2 \right)^{\frac{1}{2}}$

• 亮度相似性：
  $l(X,Y)=\frac{2\mu_x\mu_y+C_1}{\mu_x^2+\mu_y^2+C_1}$

• 對比度相似性：

$c(X,Y)=\frac{2\sigma_x\sigma_y+C_2}{\sigma_x^2+\sigma_y^2+C_2}$

• 結構相似性：
  $s(X,Y)=\frac{\sigma_{xy}+C_3}{\sigma_x\sigma_y+C_3}$

計算得：
$SSIM(X,Y)=[l(X,y)]^\alpha\cdot [c(X,Y)]^\beta\cdot[s(X,Y)]^\gamma$
其中，$C1,C2, C3$爲常數，用於防止分母爲零。SSIM取值範圍[0,1]，值越大，表示圖像失真越小.

2. Piella 結構相似性指標$Q_W$、$Q_E$

在結構相似理論的基礎上, Piella 提出了三個融合質量評價指標 $Q$, $Q_W$和$Q_E$. $Q$ 的計算思想是: 首先, 使用滑動窗口對融合圖像和源圖像進行切割. 然後, 分別對每個子圖計算結構相似性.
$Q(A,B,F)=\frac{1}{|W|}\sum_{w \in W}(\lambda_A(w)SSIM(A,F|w))+\lambda_B(w)SSIM(B,F|w)$
式中,$ SSIM(A,F|w)$ 是融合圖像 $F$ 與源圖像 A 在w 處的子圖塊 (大小爲$ block_size×block_size$) 結構相似度. ‚$\lambda_A(w) =\frac{ s(A|w)}{ s(A|w)+s(B|w)}$ ，$s(A|w)$ 和 $s(B|w)$分別爲圖像 $A$ 與 $B$ 在窗口 $w$ 處的顯著性.

考慮到每個圖像塊的重要程度存在差異, 如果按重要程度設置圖像塊質量在質量評價中的比重，可以進一步改善評估效果. 因此, Piella 等提出一種加權質量評估指標.
$Q_W(A,B,F)=\sum_{w \in W}c(w)(\lambda_A(w)SSIM(A,F|w))+\lambda_B(w)SSIM(B,F|w)$
$c(w) $是 $w$ 處的圖像塊在整個圖像中的重要程度:$ c(w) =C(w)/\sum_{w’\in W}C(w’)$, 這裏, $C(w) = \max(s(A|w),s(B|w))$.

圖像質量優劣與邊緣的完整度、 清晰度等密切相關，HVS 對圖像邊緣敏感度最高. 因此，Piella 在求出 $Q_W$ 之後，分別對源圖像和融合圖像進行邊緣檢測，再將邊緣圖像帶入上式 中求其加權相似度，最後綜合兩個 $Q_W$ , 得到基於邊緣的結構相似指標：
$Q_E(A,B,F)=Q_W(A,B,F)^{1-\alpha}\cdot Q_W(A',B',F')^\alpha$
$SSIM$ 參考鏈接

3. 互信息（Mutual information, MI）

對於圖像 A、B 和 F，互信息的數學表達式爲：
$MI=\frac{JE_{A,F}+JE_{B,F}}{IE_A+IE_B} \\ JE_{A,F}=\sum_{i=0}^{L-1}\sum_{j=0}^{L-1}P_{A,F}(i,k)\log P_{A,F}(i,k)/(P_A(i)×P_F(k))$
$JE_{A,F}$表示$A$與$F$之間的聯合熵，$IE$爲圖像的信息熵，$P_{A,F}(i,k) $和$ P_{B,F}(j,k)$ 分別爲$A$與$F$、$B$與$F$之間的歸一化聯合直方圖。$MI$越大代表融合圖像包含源圖像的信息越多。

4. PSNR

MSE：反向指標，PSNR：正向指標

峯值信噪比（英語：Peak signal-to-noise ratio，常縮寫爲PSNR）是一個表示信號最大可能功率和影響它的表示精度的破壞性噪聲功率的比值的工程術語。由於許多信號都有非常寬的動態範圍，峯值信噪比常用對數分貝單位來表示。

峯值信噪比經常用作圖像壓縮等領域中信號重建質量的測量方法，它常簡單地通過均方誤差（MSE）進行定義。兩個m×n單色圖像I和K，如果一個爲另外一個的噪聲近似，那麼它們的的均方誤差定義爲：
$MSE=\frac{1}{mn}\sum \limits_{i=0}^{m-1}\sum \limits_{j=0}^{n-1}[I(i,j)-K(i,j)]^2$
在圖像融合質量評價過程中, 通常沒有參考圖像, 所以用源圖像代替參考圖像.

峯值信噪比定義爲：
$PSNR=10\cdot \log_{10}(\frac{MAX_I^2}{MSE})=20\cdot\log_{10}(\frac{MAX_I}{\sqrt{MSE}})=10\cdot \lg \frac{255}{\sqrt{MSE}}$

src = double(imread('src.bmp'));
dst = double(imread('dst.bmp'));
 
diff_img = src - dst;
diff_img_x = diff_img(:,:,1);
diff_img_y = diff_img(:,:,2);
diff_img_z = diff_img(:,:,3);
 
diff_square = (diff_img_x.^2 + diff_img_y.^2 + diff_img_z.^2);
diff_mean = mean(mean(diff_square));
 
val = 255;
 
psnr = 10*log10((val^2)/diff_mean);

---

參考

[1] 張小利, 李雄飛, 李軍. 融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報, 2014, 40(2):306-315.

[2] Lin Zhang. Research on Image Quality Assessment[EB/OL]. 2014[11/12 2018]. http://sse.tongji.edu.cn/linzhang/IQA/IQA.htm.