16-Seed_expand_and_constrain Three_principles_for_weakly-supervised_image_segmentation

概括

• Seeding Loss——對目標進行弱定位（weak localization）生成初始mask
• Expansion Loss——對弱定位的mask進行合理的擴大
• Constrain-to-boundary Loss——對擴大後的mask進行合理的約束，更貼近目標邊界
• 因此將該方法命名爲SEC（Seed + Expand + Constrain）

創新

• 圖像分類神經網絡，例如AlexNet 或VGG，可用於生成可靠的對象定位線索（種子），但無法預測對象的確切空間範圍。 我們通過使用種子損失來結合這一方面，該種子損失鼓勵分割網絡匹配定位提示，但是對於圖像的其餘部分是不可知的。
• 爲了從每個圖像標註訓練分割網絡，可以使用全局池化層將分割mask聚合成圖像級標籤分數。該層的選擇對分割的質量有很大影響。 例如，最大池化傾向於低估對象的大小，而平均池化往往會高估它。 我們提出了一個全球加權等級池化，它通過擴展損失來利用，將對象種子擴展到合理規模的區域。 它擴展了最大池化和平均池化，並在我們的實證研究中表現優於它們。
• 從圖像級標籤訓練的網絡很少捕獲圖像中對象的精確邊界。 在測試時通過全連接條件隨機場（CRF）進行後處理通常不足以克服這種影響，因爲一旦網絡經過訓練，他們就會對錯誤分類的區域產生信心。 我們提出了一種新的約束到邊界損失，可以在訓練時緩解不精確邊界的問題。 它努力約束預測的分割mask以重視低級圖像信息，特別是對象邊界。

框架

Seeding loss

• 首先需要使用某種方法對圖像中的目標進行弱定位（weak localization），所謂的弱定位，就是通過圖像層面（image-level）的label對圖像中的目標進行定位。採用的主要方法爲CAM（Class Activation Mapping）—— Learning Deep Features for Discriminative Localization（CVPR 2016）

• Seeding loss的流程及效果如圖2 所示，圖片中主要有兩個目標：person和cow（圖2 左），使用弱定位方法將兩個目標以及背景分別生成熱力圖（圖2 中），最後合成，生成這三類的初始位置信息（圖2 右）

• Seeding loss定義如下：

• 其中$f(X)$表示在圖像$X$中，區域$u$被預測爲類別$c$的概率，$Sc$表示通過弱定位得到的那些被標註爲類別$c$的區域由此式，seeding loss可以約束神經網絡，使其只關注那些高亮區域，而忽略剩餘區域，提高預測能力;

Expansion loss

• 由於Seeding loss生成的弱定位區域太小，沒有實用性，因此需要對其進行合理的擴大，而Expansion loss就是爲此而設計

• 爲了訓練一個圖像分割網絡，可以使用全局池化層，將卷積層得到的特徵圖（即segmentation mask）進行全局池化操作，得到對應的圖像層面的label得分

• 全局池化主要有兩種：

  1. Global Max Pooling：只能使單個區域的響應較高，低估（underestimate）了目標的尺寸
  2. Global Average Pooling：所有區域的響應都比較高，高估（overestimate）了目標的尺寸

• 爲了消除這些弊端，提出了GWAP（Global Weighted Rank Pooling）方法，對每個類別計算加權平均得分，對於那些可信度較高的區域（即更有可能是目標的區域），對應的權重就比較大，反之亦然

• 對於圖像X，類別爲c的GWRP定義如下：

• 其中dc是衰減係數

  • 當dc=0時，GWRP就是GMP
  • 當dc=1時，GWRP就是GAP

• 我們首先需要將圖像X對於類別c的所有預測得分進行降序排列，即在索引集合$I_{c}={i_{1},...,i_{n}}$中，使得$f_{i_{1},c}(x)\geq f_{i_{2},c}(x)\geq ...\geq f_{i_{n},c}(x)$，如此，GWRP定義式中$\sum _{j=1}^{n}(d_{c})^{j-1}f_{i_{j},c}(X)$就表示概率越大的所賦予的權重越大

• 對於GWRP中的衰減參數dc，對每張圖片和每個類別可以單獨設置，但需要很多先驗知識，因此這裏簡單地將dc分爲三類：

  1. d+：在圖像中出現的目標類別的衰減參數
  2. d-：在圖像中未出現的目標類別的衰減參數
  3. dbg：背景類的衰減參數

• Expansion Loss 定義如下：

• 其中，T表示在圖像X中出現的類別的集合，C’\T表示在圖像X中未出現的類別的集合,由此，Expansion loss可以將由Seeding loss生成的初始mask進行合理的擴充

3、Constrain-to-boundary loss

• 由於由Expansion loss擴充後的mask較大，因此需要對其進行合理的約束，使其更貼近目標邊界，而Constrain-to-boundary loss就是爲此而設計。

• 首先，我們構造一個fully-connected CRF（全連接條件隨機場），提取得到圖像中的目標邊界；

• 然後，將神經網絡的輸出和CRF的輸出計算平均KL散度，以此作爲損失函數，使得網絡輸出的mask逐漸擬合CRF輸出的目標邊界

• Constrain-to-boundary loss定義如下：

實驗結果

• 原始圖像：

• Seeding Loss

• Expansion Loss

• Constrain-to-boundary Loss