視覺顯著性發展與現狀（一）
——大四顯著性研究總結
一、Koch與Ullman的早期研究工作（1985）
研究方向：實驗室屬於計算機神經系統，研究主要分爲三個領域：Biophysics（基於神經計算的仿生物機制），Vsion（基於仿生物的視覺注意機制），Consciousness（大腦活動與意識之間的聯繫）
C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology,
4(4):219-227, 1985.
該文通過對靈長類動物和人類視覺系統的研究，提出了視覺顯著性注意轉移的三個特點：（1）不同圖像的一些基本底層特徵：顏色、朝向、運動方向和差異；（2）、選擇性註釋的一個功能是使不同圖之間的信息變成一個連貫的整體；（3）提出了WTA機制，即在注意過程中先選擇最明顯的目標，然後選擇次明顯目標。
二、Itti和Koch的將視覺顯著性模型第一次進行了實現（IT）（1998）
研究方向：運用計算機模型探索大腦功能。生物視覺就是其實驗室研究的重點。實驗室很多視覺的前沿知識，在仿生物與計算機算法研究領域有很多創新
L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis.
IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998
該文的主要貢獻是將選擇性注視理論變成了實際模型——IT模型。該模型是基於Koch和Ullman在1985年提出的視覺選擇性注視理論。算法基本流程與Koch提出方案基本類似，即：顏色、亮度和朝向特徵的提取——中央周邊差（1991年Leventhal提出的）計算三種特徵的特性顯著圖——對特徵圖進行歸一化處理然後進行特徵圖的合成——運用WTA機制標註出圖像中的顯著目標。這篇文章是顯著性算法實現的鼻祖，涉及到顯著性的文章大多會從該文出發談起。
優點：第一次將視覺顯著性理論變成實際理論，採用的WTA機制大致符合人眼的注意順序，對圖像的底層特徵分析比較詳細
缺點：仿生物模型的結構建立比較複雜，計算速度慢，效率低，目標輪廓無法辨識，圖像分辨率低。
三、Harel和Koch提出的基於圖的顯著性算法（GBVS）（2006）
研究方向：（師從Koch）視覺神經學，機器視覺和感知神經學
J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.
該文是在IT模型上進行改進的顯著性算法。前期特徵提取的方式基本類似，不同的是IT算法通過中央周邊差計算特徵顯著圖，而GBVS是通過馬爾科夫隨機場來計算特徵顯著圖。首先通過像素的特徵值定義圖中任意兩點間的距離，再通過一個公式得到圖中任意兩點間的權重，最後通過馬爾科夫隨機場的穩定狀態來確定最後的顯著圖。最後得到的顯著圖也經過了歸一化後的合成處理。
優點：該文對IT算法有了不錯的改進，其實驗效果比IT算法有了明顯提高，也爲顯著性跨學科提供了新的思路。
缺點：圖的計算量大，特別是當圖像分辨高時，得到的圖的頂點會很多，頂點之間的權重以及馬爾科夫隨機場穩定狀態都是相當麻煩的，很難快速得到顯著圖。在實時應用過程中效果會很差。
四、侯曉迪提出的頻率殘差法（SR）（2007）
研究方向：（師從Koch）人類視覺感知的計算機模型，計算機神經網絡
X,Hou &L,Zhang. Saliency Detection: A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition, 2007, pp.1-8.
該文從頻率的角度提出了一種新的顯著性算法。作者認爲，從信息理論出發，圖像可以分爲冗餘部分和新穎部分，通過對圖像庫1000幅圖像的對數譜進行分析，作者發現圖像的平均譜都是平滑的曲線，那麼單一圖像對數譜中突出的部分不就是顯著性部分嗎。基於該想法，作者提出了剩餘譜理論。即計算圖像的振幅和相位——通過振幅譜突出部分相減得到特徵譜——再通過傅里葉反變換得到顯著圖。
優點：從頻率角度提出了視覺顯著性的新的研究方向，並從信息角度分析了圖像的組成部分。該算法只需要進行傅里葉變換和反傅里葉變換，因此計算速度相當快。
缺點：顯著性區域不明顯，只是標出來高亮的區域。更重要的在2012年他新發表的論文和2013年國際CVPR會議中，他說明自己剩餘譜理論是不正確的，很多建立在該基礎上的假設都是不完善的。在2012發表的論文中，他從理論角度，通過公式詳細證明並解釋了圖像頻率顯著圖的正真內涵。
Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)
六、清華M.M.Cheng的工作
這是MIT的一遍Saliency Benchmark中摘錄的圖片，對現階段的顯著性方法進行了很全面的總結和比較。
http://saliency.mit.edu/
![]()
五、Achanta的相關研究（AC,IG）（2008,2009,2010）
研究方向：機器視覺，圖像處理和顏色成像
1、R. Achanta, F. Estrada, P. Wils
and S. Süsstrunk, Salient Region Detection and Segmentation,International
Conference on Computer Vision Systems (ICVS '08), Vol. 5008, Springer Lecture Notes in Computer Science, pp. 66-75, 2008.
該文的目的是對圖像中的顯著性區域進行檢查和分割。文章提出的AC算法是基於局部對比度的純粹的計算方法。AC算法通過比較圖像中每個像素的亮度色彩值與一定區域的平均亮度色彩值來確定該點的顯著性值，然後根據每個點的顯著值得到整幅圖像的顯著值。
優點：該算法是多尺度的局部對比度方法，能夠高亮顯示整個目標區域，並能夠很好的凸顯出目標的邊緣信息，而且由於變化的尺度並不是原圖，能夠保證顯著圖的分辨率。
缺點：由於目標中心區域相互之間的顯著性可能不明顯，不能高亮的顯示顯著目標的中心區域。
2、R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk,
Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.
該文提出的IG算法與之前的AC算法思想有類似之處，是通過在Lab色彩空間計算平均特徵值Iu與高斯濾波之後的特徵值Iwhc的差來定義圖像的顯著值。
文章的還提出了顯著性檢測的必要條件：（1）突出最大的顯著性目標；（2）同時高亮顯示出所有的顯著性區域；（3）更好的定義顯著性目標的邊緣；（4）忽略噪聲、紋理和人工塊帶來的高頻信息；（5）有效地輸出完整分辨率的顯著圖。
文章還比較了幾種典型算法的特點：IT,MZ,GB,SR和AC，文章先是分析了不同算法的特點以及優缺點，然後重點在頻率角度分析了這幾種算法的缺陷，在此基礎上提出了本文的頻率調諧算法。
優點：基於圖像全局對比度，模型構造簡單，計算速度比較快，能夠得到很好的顯著圖，並保證了顯著圖的高分辨率。
缺點：
3、Radhakrishna Achanta
and Sabine Susstrunk, Saliency Detection using Maximum
Symmetric Surround, International Conference on Image Processing (ICIP), Hong Kong, September 2010.
作爲國際會議論文，該論文與其09年提出的IG算法基本類似，不同之處是改進了平均特徵值的計算方式。由於目標的中心區域容易被忽略，本文提出的算法主要是爲了解決目標中心的高亮問題。
優點：能夠更高亮的顯示出目標物體，包括其中心區域。
缺點：增加了計算複雜度，需要對全圖每個點進行掃描。
六、清華M.M.Cheng的工作
個人主頁：http://mmcheng.net/zh/目前已在南開做副教授，剛進入視覺領域，覺得他的論文都是good ideal，高質量的論文。目前他的幾篇關於目標快速檢測和場景解析，圖像矯正的文章都還在研究。個人覺得他的主頁很值得一看。
研究方向：(I) biological motivated salient region detection and segmentation; (II)
sketch based image retrieval and composition; (III) interactive image analysis and manipulation; (IV) similar scene elements analysis for smart image manipulation.
1、Global Contrast based Salient Region Detection. Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang,
Shi-Min Hu. IEEE International Conference on Computer Vision and Pattern Recognition (IEEE
CVPR), 2011, p. 409-416.
該論文主要在Achanta的FT思路上受到的啓發，論文提出了HC和RC兩個基於全局對比的顯著性分割算法。HC方法是基於直方圖統計的全局對比度方法，RC方法是在HC方法上添加了空間位置關係的方法，能夠獲得更好的結果。HC算法將輸入圖像在RGB色彩空間進行色彩統計分類，然後有對像素在Lab色彩空間進行距離度量，並通過平滑濾波減少了顏色分類的噪聲，然後通過改進LC算法計算圖像的顯著度。而RC算法是將輸入圖像進行分割，然後對分割之後的區域進行顯著度的計算。
論文還提出一種改進性的迭代圖像分割算法，能夠得到當今最好的圖像分割算法。
優點：HC和RC能夠得到高精度的顯著圖，並在複雜自然環境中準確分割出目標圖像。HC算法改進了直方統計和全局對比度算法，能夠獲得不錯的計算速度，在RC算法中，作者提出的區域分割思路爲顯著性算法注入了新的思路；
缺點：RC算法提出了新的思路，但是其計算複雜度比較大，實現麻煩，還有待改善。
這是MIT的一遍Saliency Benchmark中摘錄的圖片，對現階段的顯著性方法進行了很全面的總結和比較。
http://saliency.mit.edu/
