文章轉自：知乎 原文鏈接：https://zhuanlan.zhihu.com/p/146513522
作者：python小宗師
提出的super-BPD 與 之前方法MCG相比，精度相當或者更優，而卻可以達到 25fps，MCG僅 0.07fps。速度更快且有更好的遷移性，可應用於未見的場景。
作者 | Jianqiang Wan, Yang Liu, Donglai Wei, Xiang Bai, Yongchao Xu
單位 | 華中科技大學；哈佛大學
論文 下載地址|
Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentationarxiv.org
代碼 下載地址|
JianqiangWan/Super-BPDgithub.com
簡介
圖像分割是一項基本的視覺任務，是許多應用程序的關鍵步驟。本文提出了一種基於超邊界到像素方向的圖像快速分割方法和自定義分割算法。將每個像素上的BPD定義爲一個從其最近邊界指向像素的二維單位向量。在BPD中，來自不同區域的鄰近像素彼此之間有相反的距離，同一區域的鄰近像素之間有相互指向的方向(即相互指向)。
利用這一特性將圖像分割成超像素點，這些超像素點是一種新的具有魯棒方向一致性的信息性超像素點，可以快速分組分割區域。在BSDS500和Pascal背景下的實驗結果證明了該算法在分割圖像時的準確性和效率。在實際應用中，在25fps和0.07fps的情況下，提出的Super-BPD實現了與MCG相當或更優的性能。
介紹
BPD不僅提供輪廓位置，而且編碼每個像素到對應區域邊界的相對位置，從而得到相鄰像素之間的關係。這使得我們可以有效地將圖像分割成Super-BPD，這樣每個像素和它所指向的方向相似的像素都在同一個Super-BPD中。Super-BPD可以看作是經典超像素的一種新形式，爲進一步的分割區域分組提供了魯棒性方向。
Super-BPD的集合形成了一個區域鄰接圖(RAG)，其中的邊按相鄰Super-BPD的邊界的大小方向進行加權。不同區域內鄰近像素的BPD近似相反，因此方向相似度較小。這種性質甚至在弱邊界處也存在，在弱邊界處，已學習的BPD沿該方向平滑地向大致相反的方向發散。這使得Super-BPD具有魯棒的方向相似度，可以將相似的Super-BPD在同一感知區域內分組，將Super-BPD從不同的感知區域中分離出來。我們利用相鄰Super-BPD之間的這種方向相似性將RAG分割成不同的簇，從而實現分段。
本文的主要貢獻有:
1本文提出了一種新的超邊界到像素導向(Super-BPD)，它能夠替代經典的超像素導向。超級bpd在相鄰的超級bpd之間提供了魯棒的方向相似度，可以實現高效的圖像分割。
2本文提出了一種基於方向相似度的由粗到細的Super-BPD分割算法，在分割精度和分割效率之間取得了很好的平衡。
優點：
提出的Super-BPD屬於監督方法。與現有的基於學習的方法不同，Super-BPD不依賴於輪廓線，不需要費時的處理方法，也不需要對輪廓線的變換進行分割。Super-BPD是一個強大的替代經典的超像素。 該算法提供了魯棒的相似度，可以有效地將同一區域內的像素進行分組，並在邊界較弱的情況下分離鄰近區域。這就在準確性和效率之間取得了很好的平衡。Super-BPD不需要單獨的超像素生成和嵌入步驟，更有效地分離邊界較弱的鄰近區域。
上圖爲Super-BPD結果。給定一紅色的圖像Super-BPD分割邊界，放大到一幅圖像邊界較弱的區域(黃色)，雖然像素有相似的值，Super-BPD可以通過魯棒預測的邊界到像素方向將像素連接起來，在邊界的兩邊生成條狀的段，以便分組。
方法：
Super Boundary-to-Pixel Direction
對於每個像素藍色P(紅色的爲ground truth boundary)，找到其最近的邊界像紅色Bp。 BPD向量定義爲Bp指向p的二維單位向量。對每個像素密集預測BPD，並對其方向進行顏色編碼。
超級邊緣點分割算法能夠在相鄰的超級邊緣點之間提供魯棒的方向相似度，從而通過區域劃分實現快速的圖像分割。
Boundary-to-Pixel Direction (BPD)：
定義：對於圖像中每個像素領p找到其最近的邊界像素Bp。那麼，在像素點p, dp處的BPD被定義爲一個二維的單位向量，表示爲：
BPD提供了每個像素點的輪廓位置和相對於其區域邊界的位置的線索。距離變換算法可以有效地從地面真值註釋生成BPD。
模型結構：
採用了全卷積網絡(FCN)將BPD預測爲與輸入圖像空間大小相同的雙通道映射，如下圖所示。VGG16作爲主幹網，捨棄最後的最大池層和後面的所有層。ASPP層擴大接受野，更好地應對大的區域。從VGG16的不同階段提取特徵來聚合多尺度信息，對conv3、conv4、conv5和ASPP層應用1×1卷積，將這些邊輸出特徵連接起來。最後，我們在融合後的特徵圖上連續應用三個1×1卷積，然後利用雙線性插值的上採樣來預測BPD。
損失函數：L2範數
從已有的BPD中，提取圖像P編碼的條形段super-BPD及其根像素R類靠近區域對稱軸，首先，每個像素p的父元素被設爲自身，p (p) = p，根像素R的集合爲空。對於每個像素p，將其下一個像素np定義爲dp所指向的鄰近像素。
根據上圖算法5 - 9行描述的，每個像素的光柵秩序，如果夾下一個像素np和BPD小於給定的閾值θ，就將其組在一起。否則，將p插入到根像素r的集合中，最終的根圖像p將圖像分割成一個樹森林，每個樹的根都是r中的一個根像素。將每棵樹定義爲一個Super-BPD。
Super-BPD用於語義分割
根據相似度方向，大小不等的細分(算法2，第13-16行)。根據初始段的大小建立方向相似閾值。
按方向相似度的遞減順序遍歷e = (r1, r2)。合併R 1和R2，如果方向相似性S (e)大於h θ，觸發更新的排斥信息——漸變super-BPDs。
實驗結果
