Fast Soft Color Segmentation
非常偶然的在胖圈看到有人推薦這篇CVPR2020的論文，Fast Soft Color Segmentation，感覺名字很有趣，本想在百度裏面就可以百度到，結果…不過天無絕人之路，我竟然非常偶然的在b站看到了一個up主（一鍵三連嘛～Richard日常讀paper）有分享過這篇論文的閱讀並且成功蹭到了pdf，感動的留下了淚水，所以借花獻佛也來和大家分享一下這篇論文。
但是！！！近期CVPR2020的論文已經可以全部獲取了，放上鍊接：
CVPR2020 Paper鏈接：http://openaccess.thecvf.com/CVPR2020.py
給大家推薦：近幾年頂會Paper鏈接：http://openaccess.thecvf.com/menu.py
Soft Color Segmentation 什麼是軟顏色分割
Soft Color Segmentation，由Yu-Wing Tai在2007年提出的，指的是將輸入圖像分解稱均勻顏色的圖層，對於圖像編輯和圖像重新着色非常關鍵。 文中提出了大多數的色彩可以用六種soft color來混合形成，並且和原圖色差極小，六種soft color如下圖所示。
在這篇論文中提到soft color segmentation的應用是很廣泛的，例如用於衛星的颶風圖像和星雲圖像的分割，如下圖。個人認爲，soft color segmentation在衛星圖像上的應用算是一個很好的切合點，因爲衛星雲層是由厚度的，下圖中的(h)圖實際上就是涵蓋了雲層的厚度信息，彌補了hard segmentation的不足。此外，目前的衛星遙感通道可以獲取除了可見光三個通道外的信息（例如葵花八氣象衛星有16個通道的數據，包含紅外通道等等），也就是說不只是可見的圖像信息。
但是，在2018年提出的Semantic soft segmentation（SSS，發表於Siggraph，我們也會另開博客介紹這一篇的工作）中，顯示定義了語義軟分割，語義軟分割主要指的是某一個像素在分類是可能屬於A類也可能屬於B類，但是在標註的過程中沒有辦法精細標註，這就造成了一定的誤差和影響，例如摳圖中的頭髮絲的分割標籤標註問題。Soft color segmentation是soft segmentation的一種，在論文中進一步解釋了語義軟分割和色彩軟分割的不同如下圖。從下圖中可以看出，語義軟分割是基於某一類的，例如人、背景、物體等等，而色彩軟分割是突破了物體邊緣的限制，從色彩角度來考慮像素的相關性，這比語義軟分割在某些特定場景下更加適用。
和Soft Color Segmentation相關的論文:
Fast Soft Color Segmentation 快速軟色彩分割
【摘要】 在這篇論文裏，解決了軟色彩分割問題（Soft Color Segmentation），軟色彩分割定義爲將給定的圖像分解爲幾個RGBA圖層（Red+Green+Blue+Alpha），每個圖層僅包含均勻的色彩區域。分解產生的圖層爲受益於基於圖層的編輯（例如圖像和視頻的記錄和合成）的應用鋪平了道路。由於其迭代性質，當前處理此問題的最新方法因處理時間緩慢而受阻，因此無法擴展到某些實際情況。爲了解決此問題，我們針對此任務提出了一種基於神經網絡的方法，該方法將給定圖像在單個前向過程中分解爲多層。此外，我們的方法分別分解顏色層和alpha通道層。 通過利用一種新穎的訓練目標，我們的方法可以在各層之間正確分配顏色。結果，我們的方法達到了有希望的質量，而沒有迭代方法的推理速度問題。我們全面的實驗分析表明，我們的方法在定性和定量結果上可與以前的方法相提並論，同時實現了30萬倍的速度提高。最後，我們在多種應用程序中使用了我們提出的方法，並展示了其速度優勢，尤其是在視頻編輯中。
話不多說，先上圖來感受一下⬇️～ 輸入是一張RGB圖像和一個特定的顏色調色板（Color palette），分解這些顏色形成對應的多層的RGBA層。這種圖層的分解在重新着色和圖像合成方面有很多的應用場景。
01 Introduction
文中提到的有些related work在前面已經提過了，我們在這裏就不贅述了。在這篇論文中，將alpha predictor和residue predictor在自監督下聯合訓練，這樣就不需要額外的人工標籤或者標註。主要有三個貢獻：
- 提出了第一個基於神經網絡的方法和柔和的顏色分割的新的訓練目標。
- 進行了定性和定量實驗，以證明我們的方法在保持可比的視覺質量的同時，大大超過了最先進的方法。
- 將這種方法以前所未有的效率應用於多種實際應用中，尤其是視頻編輯。
02 Method
在這篇論文中，提出的方法主要涵蓋了三個階段：
- Palette Selection，調色板選擇階段。自動或者手動選擇調色板，表示目標顏色的均值。
- Alpha layer estimation，Alpha層估計階段。alpha predictor預測與調色板相關的alpha層。Alpha predictor是基於一個U-Net的結構，輸入是輸入圖像+調色板顏色，輸出的對應每個調色板顏色的Alpha layers，爲了可以滿足alpha相加的條件，對其做了歸一化，或者是通過一個後處理模塊，例如平滑濾波或者mask操作。
- Color layer estimation，色彩層估計階段。residue predictor估計顏色殘差，這些顏色殘差指示出顏色從調色板顏色的位移。Residue predictor同樣是基於一個U-Net的結構，輸入是輸入圖像+調色板顏色+上一個模塊輸出的processed alpha layers，主要是用於估計每一層的GT和調色板顏色之間的不同，以便於將輸入圖像存儲成分解層。
- Trained jointly。兩個U-net結構是聯合訓練的。
03 Experience
整體的實驗結果如上圖所示，和Aksoy提出的算法和Koyama提出的算法做對比，從**定性分析（Qualitative Evaluation）上，這篇論文所提出的方法與目前的算法想過相當，並且這篇論文基於的是某幾種調色板的顏色，並不是Aksoy所需要的顏色分佈，而在Koyama中顏色是有序的混合，這篇論文可以實現與色彩順序無關的混合。從定量分析（Quatitative Evaluation）**上，在速度和重構損失上，論文所提出的算法都足夠優秀。此外，這篇論文還做了大量的消融實驗，有興趣的夥伴可以自行的食用原文。
文中也提到了Fast Soft Color Segmentation的許多應用，例如：
- 邊界模糊的圖像分解：對於帶有運動模糊的前景對象的圖像，儘管前景和背景在單個像素處都是可見的，但硬分割必須將該像素分配給任一類別。在這種情況下，軟分割可以將像素識別爲前/背景的混合，因此比傳統的硬分割更具優勢。
- 自然圖像的編輯：應用在自然圖像的重新着色和合成上。
- 視頻分解：可以逐幀分解視頻，對時間一致性沒有任何限制，分解的層不會出現跳幀的情況。
- Alpha層處理：在alpha層處理階段，由於alpha層的估計與顏色層無關，因此用戶可以編輯預測的alpha層，然後將這些編輯的alpha層用於顏色估計，可以使用引導濾鏡來平滑圖像，或者對遮罩進行矯正以更改alpha區域。
當然，在Fast Soft Color Segmentation也存在一定的不足和限制，例如：
- 內存限制：因爲我們使用GPU進行推理，所以我們無法處理超出GPU內存限制的高分辨率圖像。 同樣，需要足夠的GPU內存來保存具有跳過連接的編碼器-解碼器網絡的中間特徵。
- 固定的調色板大小：在我們的方法中，每個訓練模型的分解層數是固定的。 爲了處理各種數量的圖層，一種解決方案是訓練一個模型，該模型將圖像分解爲足夠數量的圖層，並使用具有重複顏色的調色板，在分解後合併重複顏色的圖層 。
也是因爲Fast Soft Color Segmentation在CVPR2020中算是小衆研究，所以解讀可能不夠深入，隨時請大佬們批評指正，感恩一路同行❤️❤️❤️！