聯合圖像分割論文摘記

[1][2]分別用潛在前景直方圖的L1L2距離來衡量前景的差異,並把該差異作爲一項全局約束加入基於馬爾科夫隨機場的能量。通過優化該能量方程來實現共同前景的分割。但注意,不論是L1還是L2,方程整體都是NP-hard的,因此作者採用了不同的近似方法逼近準確結果,前者採用的TRGC後者採用了二次僞布爾優化(QPBO

沿着這一思路文[3]採用了一個“獎勵”模型,基於該模型可以得到次模的優化解,但其中有個問題在於。前景向量的內積並不能完全說明前景向量的相似度

[2][3]都需要用戶交互來完成初始的圖像中點的特徵先驗模型的建立

[4]把目標方程簡化爲只有平滑約束和全局約束的優化形式。其中全局約束拋棄了文1中模型的選擇的過程,而把前景一致性當成了一個前提。然後把全局約束定義爲1個前景模型和n個背景模型,基於該潛在的n+1個模型確定各點屬於前背景的概率,以EM的方式實現分割。該方法的分割結果偏向於將同一個bin同時設定爲前景或者背景

以上四種方法均是基於MRF幷包含一個全局約束項,實驗作用於2張的圖像對,且圖像之間前景的尺度基本不變。

[7]同文[1-4]一致,都是致力於建立一個基於MRF的優化能量。能量的第一項爲單張圖像內部的能量項,包括像素點標號代價能量項和像素點之間標號一致性的能量項。前者通過引入的聯合重要度計算了每個點的平均重要度,並規範化到[0,1],計算能量。能量的第二項爲全局能量項,作者通過引入前景區域的一致性和每張圖像前景和背景的不一致性,化簡後得到一個次模的優化方程。此外作者還對詞典的生成方法進行的改進,基本原則是基於L1L2模的特點(當作爲最小化約束時,L1模趨向於集中到某幾個bin入口,L2模趨向於平均到每個bin入口)。用L12模約束kmeans聚類過程是的不同圖像上的相似表徵可以聚類到同一類,相同圖像上的各種表徵儘量分開

[11]建立了一個基於MRF的能量函數,同前面的優化方程一樣該函數包含圖像內能量和圖像間能量,圖像內的能量包含三項,第一項爲各像素點的標號代價,第二項爲超像素的標號代價,第三項爲子區域與父區域標號差異性的代價。圖像間的能量基於區域匹配得到,即匹配區域的標號差異代價。區域的匹配由基於匹配對圖的方法實現。算法的開始採用了“物體性”的自動分割方法,得到初始分割區域後建立前景像素點的顏色模型及超像素的紋理模型,計算像素點和超像素的標號代價。因此整體算法也可以說是無監督的。

[8]把待分割的圖像潛在前景特徵向量組合成矩陣,由於前景只有一個,因此前景特徵矩陣的階爲1。在建立優化方程把該條件作爲約束放入優化方程,其優點是1)不同圖像上的前景尺度可容許變化 2)迭代優化的過程可分解到在每幅圖像上單獨進行,因此保證了分割過程與圖像數目的線性關係。

[9]把待分割圖像的潛在前景特徵向量組成矩陣,由於只有有限幾個前景,因此該矩陣中各個向量之間的相互關係可以用一個關聯矩陣C來表示。且C是稀疏的。通過將這種稀疏性形式化爲全局約束放入基於MRF的能量方程中,用EM的方法優化求解各圖像像素點的前背景標號。以上方法的一個侷限是背景必須不同,當有相同背景出現是,作者給出了一個基於用戶指導的聯合分割方法。此時由於前景已固定,可採用前景向量的直接組合方式給出能量方程並通過QPB的方法求解

[5]考察一系列分割標準,並給每個超像素的標號難度打分,每次選擇一個難度最高的超像素塊交給用戶進行交互,完成交互後,完善先前模型,再對每個超像素塊重新打分並進入新一輪的循環,知道所有的圖像得到滿意的分割結果爲止。值得注意的是,該方法只能作用於所有圖像的前景和背景都各自屬於同一個類的情形,因此按文中方案爲所有圖像的前景和背景分別建立一個高斯混合模型(GMM

[6]可針對多圖像(>2)進行圖像分割。使用判別聚類來實現分割。判別聚類的概念是指,通過建立優化方程求解給定的特徵的類別標號使得如果把這些特徵和所求對應標號放入SVM時,所得到的分割超平面距離最大。由判決聚類的概念很適合聯合分割的問題。本文使用Ncut作爲圖像內部的分割基礎,用判別聚類作爲整個圖像集的特徵分類基礎。

把圖像分成2部分讓用戶選擇哪一部分爲前景。文[7]是把文[6]的問題擴展到多object情形,

圖像內分割採用多分割,全局的分割用多標記判別聚類來形式化。只是整體的優化方法有所不同

[10]的基本思想是通過對每個圖像進行多次基於“對象性”的分割,並跳出其中分數最高的前n(n=50)個分割。再對目標圖像集的中所有圖像組成一個完全圖,圖的每條邊有n*n種可能的權值,權值的大小通過隨機樹迴歸器學習並推導得到。最後優化得到最大化該帶權圖的能量,得到聯合分割結果。優化算法通過A*-搜索或LBP得到

[12]所要解決問題的基本定位是多前景分割問題,其解決方法是個迭代的過程,主要包括2個子過程,前景建模和區域標號。前景的建模過程分別基於GMMSVM對顏色和SIFT爲每個前景建模(所有的背景也當做一個前景)。區域標號過程是一個拍賣算法過程,基於前面的建模過程,爲每個區域計算其屬於各個前景類的得分。在此基礎上,將區域標號過程轉化爲使得整體標號劃分所得分數最大的最優化組合問題。由於該問題是個指數級的組合爆炸問題,作者採用了啓發式的算法近似求解最後的標號結果,具體來說,通過相鄰關係減少可組合區域,在通過保留各類最高得分的區域減少候選區域集。過濾有重疊的區域的候選集,最後通過搜索算法完成標號。

 

[1]C. Rother, T. Minka, A. Blake, and V. Kolmogorov. Cosegmentation

of image pairs by histogram matching: Incorporating a global constraint into MRFs.

[2]L. Mukherjee, V. Singh, and C. Dyer. Half-integrality based

algorithms for cosegmentation of images. In CVPR, pages

2028–2035, 2009.

[3]D. Hochbaum and V. Singh. An efficient algorithm for cosegmentation.

In ICCV, pages 269–276, 2009.

[4] S. Vicente, V. Kolmogorov, and C. Rother. Cosegmentation

revisited: Models and optimization. In ECCV, pages II: 465–479, 2010.

[5] D. Batra, A. Kowdle, D. Parikh, J. Luo, and T. Chen. iCoseg:

Interactive co-segmentation with intelligent scribble guidance.

In CVPR, pages 3169–3176, 2010.

[6] A. Joulin, F. Bach, and J. Ponce. Discriminative clustering

for image co-segmentation. In CVPR, pages 1943–1950, 2010.

[7] K. Chang, T. Liu, and S. Lai. From co-saliency to cosegmentation:

An efficient and fully unsupervised energy

minimization model. In CVPR, 2011.

[8] L. Mukherjee, V. Singh, and J. Peng. Scale Invariant Cosegmentation

for Image Groups. In CVPR, 2011.

[9] L. Mukherjee, V. Singh, X. Jia and C. Maxwell D. .Analyzing the Subspace Structure of Related Images: Concurrent Segmentation of Image Sets. In ECCV 2012.

[10] S. Vicente, C. Rother, and V. Kolmogorov. Object cosegmentation.

In CVPR, 2011.

[11] Jose C. Rubio1, Joan Serrat1, Antonio L′opez1, Nikos Paragios Unsupervised co-segmentation through region matching CVPR 2012

[12] Gunhee Kim Eric P. Xing On Multiple Foreground Cosegmentation CVPR 2012

[13] Maxwell D. Collins1 Jia Xu1 Leo Grady2 Vikas Singh1, RandomWalks based Multi-Image Segmentation: Quasiconvexity Results and GPU-based Solutions CVPR 2012

 

Distributed Cosegmentation via Submodular Optimization

on Anisotropic Diffusion

將分割問題建模爲各向熱擴散的溫度最大化問題並通過次模優化來求解。應用到聯合分割時只是簡單地把對應的發熱點手動綁定

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章