圖像質量評估論文 | Deep-IQA | IEEETIP2018

---

主題列表：juejin, github, smartblue, cyanosis, channing-cyan, fancy, hydrogen, condensed-night-purple, greenwillow, v-green, vue-pro, healer-readable, mk-cute, jzman, geek-black, awesome-green, qklhk-chocolate

貢獻主題：https://github.com/xitu/juejin-markdown-themes

theme: juejin
highlight:

文章來自：同作者微信公衆號【機器學習煉丹術】~

• 論文名稱："Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment"
• 論文鏈接：https://arxiv.org/pdf/1612.01697.pdf

0 綜述

這一篇文章和上一篇的rank-IQA感覺都是不錯的處理NR-IQA任務的框架，讓我們好好學一學這一篇文章中的精髓。

1 related work

這一篇文章的related work列舉了很多之前的NR-IQA的模型：

• 【18】
  • DIIVINE：先識別圖像失真的類型，然後選擇對應類型的迴歸模型得到具體質量分數；
• 【20】
  • BRISQUE：利用非對稱廣義高斯分佈在空間域對圖像進行建模，模型特徵是空間鄰域的差值；
• 【21】
  • NIQE：利用多元高斯模型提取特徵，然後利用無監督的方法把他們和質量分佈結合起來；
• 【22】
  • FRIQUEE：把人工提取的特徵圖輸入到4層的深度置信網絡中，輸出特徵向量，利用SVM分類；
• 【24】
  • CORNIA：最先使用純數據驅動解決NR-IQA問題的模型之一，使用k-mean聚類處理亮度和對比度被標準化的圖片patch，然後從數據中抽取軟編碼距離來預測質量分數；
• 【28】
  • BIECOM：第一步用標準話的圖片patch經過CNN估計出一個本地質量分數（這個模型是使用現有的FR數據集預訓練），然後在把分數的均值和方差作爲特徵回顧分數；

不說了，看了半天很多都是很老的人工特徵的方法，不太行不太行。

1 細節

1.1 FR-IQA

論文中也是使用了和上一篇文章rank-IQA一樣的模型，孿生網絡saimese net，論文中先提出了FR-IQA的模型框架：

在這個框架中，圖片是被patch稱32x32的大小，然後feature extractor使用的是VGG19，包含5個maxpool層，也就是說，經過features extractor後，特徵會變成（512，1，1）這樣的shape。

對於FR-IQA問題，reference patch和distorted patch經過feature extractor得到兩個512的向量，然後在fusion階段使用concat拼接在一起，除了這兩個，還把兩個特徵向量的差值也一同拼接進來，顯式的把兩個特徵的區別也作爲特徵了，總之是這個樣子的：\(concat(f_r,f_d,f_r-f_d)\)

在fusion features vector後面有兩個部分，一個是迴歸，一個是weights；關於如何從很多的patches中得到整個圖片的質量分數，作者給出了兩個方法： 這個patch是從圖像中無重疊的採樣

1. 簡單的平均。
   

對於這種平均的方法，所有patch對於整個圖片的影響是相同的，所以損失函數也定位MAE：

2. 加權平均。
   如上圖的結構，對特徵進行融合之後，進行迴歸，輸出一個patch的質量分數之後，還要在另外一個分支輸出這個patch在整個圖片中的權重分數。權重參數保證是大於0的。
   

1.2 NR-IQA

就是單純的把reference去掉，然後不做特徵融合。

2 總結

這是一種利用CNN來處理質量評估的一個基本框架和思路。作爲入門學習是比較好的一個框架。