圖論分割與全景分割

圖論分割與全景分割

---

傳統圖分割算法相關工作

預計在2.10（春節假期結束爲止）完成相關工作，儘可能提前完成工作

工作目標：（春節假期結束前完成 （20天左右））

• 明確問題的定義

• 明確圖分割算法的評價標準（1天）

• 理解總結各個算法的核心思想 （15天）
• 總結算法中存在的問題以及思考改進措施 （與上一步同步進行）
• 挑選比較好的算法（多個）進行復現 （5天）

全景分割相關工作

工作目標：

• 閱讀論文，瞭解目前的算法主體流程以及核心思想 （1周）
• 挑選合適的數據集，明確評價指標
• 復現一部分算法以及核心的框架or自己搭建合理的框架
• 對網絡結構進行優化，使用深度學習方法以及加入合適的傳統方法，創新

---

傳統圖分割算法

1. 概述
   • 把圖像分割問題與圖的最小割（mincut）問題相關聯。
   • 將圖像映射爲帶權無向圖G=<V，E>
   • 圖中每個節點N∈V對應於圖像中的每個像素，每條邊∈E連接着一對相鄰的像素
   • 邊的權值表示了相鄰像素之間在灰度、顏色或紋理方面的非負相似度。
   • 圖像的一個分割s就是對圖的一個剪切，被分割的每個區域C∈S對應着圖中的一個子圖。
   • 分割的最優原則就是使劃分後的
     • 子圖在內部保持相似度最大
     • 子圖之間的相似度保持最小
   • 基於圖論的分割方法的本質就是移除特定的邊，將圖劃分爲若干子圖從而實現分割。
2. 現有算法
   • GraphCut
   • GrabCut
   • RandomWalk
   • Entropy Rate Superpixel Segmentation
   • Superpixels
     • Graph-based segmentation
     • Ncut
     • Turbopixel
     • Quick-shift
     • GCa10 and GCb10
     • SLIC
   • 最小生成樹等
3. 基本步驟
   • 轉化問題
   • 建立分割準則
   • 通過特定算法求解

全景分割（Panoptic Segmentation）

幾個概念：超像素、語義分割、實例分割、全景分割

1. 數據集

   • 現在僅有的三個同時包括語義分割和實例分割標註的數據集：

     • Cityscapes

       5000 張圖片，2975 張 train，500 張 validation， 1525 張 test.

       自動駕駛場景;像素級標註，19 類語義分割，其中 8 類實例級分割.

     • ADE20k

       25k 張圖片，20k 張 train， 2k val，3k test.

       像素級分割，100 類 thing，50 類 stuff.

     • Mapillary Vistas

       25k 張街景圖片， 18k 張 train，2k 張 val，5k 張 test.

     • COCO 2018 Panoptic Segmentation

2. 評價標準： Panoptic Quality(PQ).

   • 分割質量（SQ）
     $SQ=\frac{\sum_{(p,g)\in{TP}}IoU(p,g)}{|TP|}$

     對象的平均IoU

   • 檢測質量（DQ）
     $DQ=\frac{|TP|}{|TP|+\frac{1}{2}|FP|+\frac{1}{2}|FN|}$
     F1 score，precision和recall的調和平均

   • PQ
     $PQ=SQ*DQ$