向大家推薦一個近期出現的全景分割算法 EfficientPS，在全景分割的 4 大數據集Cityscapes,、KITTI、Mapillary Vistas、IDD中測評精度全部位於榜首，且其語義分割和實例分割性能也表現不俗，可謂分割領域三項全能選手。
EfficientPS 出自論文 EfficientPS: Efficient Panoptic Segmentation，該文作者來自德國弗萊堡大學：
請看一段 EfficientPS 視頻效果Demo：
什麼是全景分割？
從上述自動駕駛環境中的視頻可以看出，自駕汽車需要感知外景環境，包括建築物、地面、天空、樹木這些背景，和行人、汽車、交通標誌等前景，背景需要用語義分割技術計算出來，前景則需要標示出個體，即需要實例分割。
全景分割（Panoptic Segmentation）即同時實現對背景的語義分割和前景的實例分割。這是圖像分割領域近來的新趨勢，是對環境感知的進一步演化。
EfficientPS 算法分割結果如下：
EfficientPS 網絡架構
EfficientPS的設計目標是在計算效率高的同時，實現比之前的最先進的模型更優越的性能。
最初的全景分割方法是同時進行實例分割和語義分割，然後在後處理步驟中，將二者的預測結果結合在一起。可想而知這種方法計算開銷大，存在信息冗餘且每個網絡的預測存在差異不易結合。儘管近來的方法已經在使用自上而下的共享網絡組件或自下而上的順序方式在解決這一任務方面取得了重大進展，但這些方法仍然存在計算效率和精度不足的問題。
EfficientPS 算法架構圖如下：
從 EfficientPS 名字即可看出其與 EfficientNet 有關，它包括改進的 EfficientNet（圖中紅色部分）主幹網和雙路FPN（紫色、藍色和綠色部分）、語義分割頭（黃色部分）、基於Mask R-CNN的實例分割頭（橙色），以及最後的全景融合模塊。設計特點：
1）使用 mobile inverted bottleneck 單元的共享主幹網，由EfficientNet改進而來，其最大創新是在縮放策略上，使用複合縮放的方式來均勻地擴展網絡的所有維度（輸入圖像大小、網絡寬、深等）；
2）發明了雙路特徵金字塔網絡（2-way Feature Pyramid Network），作者發現標準的FPN由於信息的單路流動，在聚合多尺度特徵方面有其侷限性，於是提出了新型的雙向FPN，它可以實現信息的雙路流動，在運行時間上保持變化不大的同時，大幅提高了前景類的全景分割質量;
3）在語義分割頭，使用可分離卷積，更好的捕捉精細特徵和長程上下文信息，實現了更好的目標邊界細化；
4）在實例分割頭，使用了Mask RCNN，並用可分離卷積和iABN同步層來增強它；
5）在融合語義分割與實例分割結果生成全景分割輸出時，作者提出一種新的全景融合模塊，可根據語義頭和實例頭的mask的置信度自適應的動態調整它們的融合，另外共軛集成特定前景類的實例和背景類，形成最終的輸出結果。
實驗結果
作者在四個具有挑戰性的城市場景理解基準數據集上對 EfficientPS 進行了評估，分別是Cityscapes、Mapillary Vistas、KITTI和IDD（KITTI原本沒有全景分割標註，作者們進行了標註）。
在 Cityscapes 數據集上，EfficientPS 排名第一，並且遠遠超過了之前的SOTA，同時參數更少，計算量更少，推理時間更快。
在Cityscapes語義分割基準和Cityscapes實例分割基準中，EfficientPS也在已發佈的方法中排名第二。
在Mapillary Vistas、KITTI和IDD基準數據集上，EfficientPS 均爲目前最先進的全景分割算法。
更多 EfficientPS 全景分割結果視頻：
論文：
https://arxiv.org/pdf/2004.02307.pdf
代碼：
https://github.com/DeepSceneSeg/EfficientPS
（尚未開源）
END
