轉自：http://blog.csdn.net/u012494820/article/details/78944806
發表於ICCV2017的論文Segmentation-Aware Convolutional Networks Using Local Attention Masks用segmentation-aware的convolution代替CNN中傳統的convolution，使得計算過程中神經元可以注意於和它屬於同一類的區域。在semantic segmentation和optical flow estimation問題上取得了好的效果。
文章亮點：
1. Embedding的作用及實現
使用和VGG-16前7層類似的網絡結構訓練一種FCN網絡，來實現pixel的embedding，即由R3映射爲R64，使得同一物體的像素點距離近，不同物體的像素點距離遠。各層都有監督信息，各層的輸出融合後得到最終的embedding。學embedding network的目標函數爲：
embedding得到的feature vector，用於指示各個像素點與周圍像素點的類別近鄰關係。在計算卷積時用作加權。
2. segmentation-aware convolution
論文中的卷積採用和Caffe類似的卷積計算方式實現，即先做image-to-column的變換，然後將卷積轉化爲矩陣乘法。本論文的方法需要對矩陣乘法插入weight mask。
對於輸入H*W的feature map，每個點與其K個近鄰計算距離，通過image-to-column的操作，得到（H*W)*K的mask矩陣。按照image-to-column的排列，原圖像每個位置抽取其K個近鄰，也可以得到（H*W)*K的矩陣。點對點相乘即實現加權。
3. segmentation-aware CRF
計算CRF時，將原始的RGB特徵替換爲embedding後的特徵。
