論文地址：在公衆號「3D視覺工坊」，後臺回覆「EF-Net」，即可直接下載。
簡介
顯著目標檢測(SOD)在計算機視覺領域得到了廣泛的關注。但面臨低質量的深度圖，現有模型的檢測結果都不是很理想。爲了解決這一問題，該文提出了一種新型多模態增強融合網絡(EF-Net)，用於有效的RGB-D顯性檢測。具體來說，首先僅僅利用RGB圖像提示映射模塊來預測提示映射，編碼突出對象的粗略信息。然後利用得到的提示圖經過深度增強模塊來增強深度圖，從而抑制噪聲並銳化對象邊界。最後，該文構造了分層聚合模塊，用於融合增強後的深度圖與RGB圖像中提取的特徵，以精確地檢測突出對象。該文提出的EFNet利用增強和融合框架進行顯着性檢測，充分利用了RGB圖像和深度圖中的信息，有效地解決了深度圖的低質量問題，顯著提高了顯着性檢測性能。在五個廣泛使用的基準數據集上的廣泛實驗表明，該方法在五個關鍵評價指標方面優於12種最先進的RGB-D顯着性檢測方法。
主要貢獻
- 該文提出了一種新型深度增強和融合框架來解決深度地圖的低質量問題，它利用RGB圖像的顏色提示映射模塊提供的先驗知識，有效地提高了深度地圖的質量。
- 該文提出了一個有效的分層聚合模塊，充分利用多模態數據用以融合從RGB圖像和增強深度圖中提取的特徵。
- 該文提出的EF-Net在五個廣泛使用的基準數據集上的評價指標優於12種SOTA方法。通過進一步評價RGB-T數據表明，EF-Net是一般多模態顯着性檢測的有效解決方案。
與其他方法比較的可視化圖片：
模型：
1）首先將RGB圖像輸入ResNet-50編碼架構，得到四層編碼特徵，再利用一個1×1和兩個3×3卷積層提取顯着性特徵{Hi0, i = 1, 2, 3, 4}和邊緣特徵{Ei0, i = 1, 2, 3, 4}，同時將特徵通道數變爲32通道。
2）將顯着性特徵{Hi0, i = 1, 2, 3, 4}和邊緣特徵{Ei0, i = 1, 2, 3, 4}輸入CRUs模塊，具體公式如下：
下載鏈接：
http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）
附圖如下：
3）將特徵Hi和Ei分別輸入U-Net網絡，即利用U-Net解碼結構將特徵Hi和Ei得進行一系列卷積、上採樣和級聯，以自頂向下的方式融合四個層得到初步的顯著性預測圖hint map Sh與邊緣預測圖edge map Se。
4）將Sh 與深度圖depth輸入深度增強模塊DEM，模塊圖如下：
得到增強的深度初始圖，再輸入ResNet-18進行訓練，得到增強的深度圖 {EDi, i = 1, 2, 3, 4}。初始深度圖與增強後的深度圖對比如下，可以看到質量明顯提升。
5）將增強的深度圖 {EDi, i = 1, 2, 3, 4}與步驟2）得到的顯著特徵圖{Hi, i = 1, 2, 3, 4}輸入跨模態融合模塊，模塊圖如下：
公式爲：
在特徵聚合之後，再次使用U-Net來組合和細化{DHi，i=1、2、3、4}來預測最終的顯着性映射Sf。
損失函數：
該文利用多監督提升模型的性能，損失函數爲交叉熵損失。將深度監督應用於初步的顯著性預測圖 Sh 與邊緣預測圖 Se，用GT圖Gs監督Sh，用GT取梯度得到的邊界圖Ge監督Se，用GT圖Gs監督最終的顯着性映射Sf。公式如下：
實驗結果
EF-Net和其他8種最先進的方法在四個基準數據集上的F-測度和精度-迴歸曲線：
定量評價結果：
除了在RGB-D數據集上訓練測試網絡之外，該文還在RGB-T上訓練測試網絡，結果如下：
總結
該文提出了一種有效的RGB-D顯性檢測方法EF-Net，它首先利用從高質量RGB圖像中學習到的先驗知識增強深度圖，然後在增強和融合框架中融合RGB和增強的深度特徵。EF-Net由三個主要模塊組成，包括用於生成提示圖的CHMM、用於增強帶有顏色提示圖的深度圖的DEM和用於聚合多模態特徵的LAM。該方法有效地解決了深度圖的低質量問題，並解決了與多模態融合相關的挑戰，這最終導致了有希望的顯着性檢測性能。在四個流行的基準上的廣泛實驗表明，EFNet明顯優於現有的SOTA方法。此外，在兩個RGB-T數據集上進行了額外的實驗，以探索EF-Net進一步擴展到RGB-T顯性檢測。實驗結果表明，EF-Net能夠準確地從RGB-T數據中檢測出突出物體，這意味着EF-Net是一種有效的雙流顯著物體檢測解決方案。
備註：作者系我們「3D視覺從入門到精通」特邀嘉賓：一個超乾貨的3D視覺學習社區
本文僅做學術分享，如有侵權，請聯繫刪文。
3D視覺工坊-目標檢測交流羣
已建立3D視覺工坊-目標檢測微信交流羣！想要進目標檢測交流羣的同學，可以直接加微信號：CV_LAB 。加的時候備註一下：目標檢測+學校+暱稱，即可。然後就可以拉你進羣了。
強烈推薦大家關注3D視覺工坊知乎和3D視覺工坊微信公衆號，可以快速瞭解到最新優質的3D視覺論文。
論文地址：在公衆號「3D視覺工坊」，後臺回覆「EF-Net」，即可直接下載。
簡介
顯著目標檢測(SOD)在計算機視覺領域得到了廣泛的關注。但面臨低質量的深度圖，現有模型的檢測結果都不是很理想。爲了解決這一問題，該文提出了一種新型多模態增強融合網絡(EF-Net)，用於有效的RGB-D顯性檢測。具體來說，首先僅僅利用RGB圖像提示映射模塊來預測提示映射，編碼突出對象的粗略信息。然後利用得到的提示圖經過深度增強模塊來增強深度圖，從而抑制噪聲並銳化對象邊界。最後，該文構造了分層聚合模塊，用於融合增強後的深度圖與RGB圖像中提取的特徵，以精確地檢測突出對象。該文提出的EFNet利用增強和融合框架進行顯着性檢測，充分利用了RGB圖像和深度圖中的信息，有效地解決了深度圖的低質量問題，顯著提高了顯着性檢測性能。在五個廣泛使用的基準數據集上的廣泛實驗表明，該方法在五個關鍵評價指標方面優於12種最先進的RGB-D顯着性檢測方法。
主要貢獻
- 該文提出了一種新型深度增強和融合框架來解決深度地圖的低質量問題，它利用RGB圖像的顏色提示映射模塊提供的先驗知識，有效地提高了深度地圖的質量。
- 該文提出了一個有效的分層聚合模塊，充分利用多模態數據用以融合從RGB圖像和增強深度圖中提取的特徵。
- 該文提出的EF-Net在五個廣泛使用的基準數據集上的評價指標優於12種SOTA方法。通過進一步評價RGB-T數據表明，EF-Net是一般多模態顯着性檢測的有效解決方案。
與其他方法比較的可視化圖片：
模型：
1）首先將RGB圖像輸入ResNet-50編碼架構，得到四層編碼特徵，再利用一個1×1和兩個3×3卷積層提取顯着性特徵{Hi0, i = 1, 2, 3, 4}和邊緣特徵{Ei0, i = 1, 2, 3, 4}，同時將特徵通道數變爲32通道。
2）將顯着性特徵{Hi0, i = 1, 2, 3, 4}和邊緣特徵{Ei0, i = 1, 2, 3, 4}輸入CRUs模塊，具體公式如下：
下載鏈接：
http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）
附圖如下：
3）將特徵Hi和Ei分別輸入U-Net網絡，即利用U-Net解碼結構將特徵Hi和Ei得進行一系列卷積、上採樣和級聯，以自頂向下的方式融合四個層得到初步的顯著性預測圖hint map Sh與邊緣預測圖edge map Se。
4）將Sh 與深度圖depth輸入深度增強模塊DEM，模塊圖如下：
得到增強的深度初始圖，再輸入ResNet-18進行訓練，得到增強的深度圖 {EDi, i = 1, 2, 3, 4}。初始深度圖與增強後的深度圖對比如下，可以看到質量明顯提升。
5）將增強的深度圖 {EDi, i = 1, 2, 3, 4}與步驟2）得到的顯著特徵圖{Hi, i = 1, 2, 3, 4}輸入跨模態融合模塊，模塊圖如下：
公式爲：
在特徵聚合之後，再次使用U-Net來組合和細化{DHi，i=1、2、3、4}來預測最終的顯着性映射Sf。
損失函數：
該文利用多監督提升模型的性能，損失函數爲交叉熵損失。將深度監督應用於初步的顯著性預測圖 Sh 與邊緣預測圖 Se，用GT圖Gs監督Sh，用GT取梯度得到的邊界圖Ge監督Se，用GT圖Gs監督最終的顯着性映射Sf。公式如下：
實驗結果
EF-Net和其他8種最先進的方法在四個基準數據集上的F-測度和精度-迴歸曲線：
定量評價結果：
除了在RGB-D數據集上訓練測試網絡之外，該文還在RGB-T上訓練測試網絡，結果如下：
總結
該文提出了一種有效的RGB-D顯性檢測方法EF-Net，它首先利用從高質量RGB圖像中學習到的先驗知識增強深度圖，然後在增強和融合框架中融合RGB和增強的深度特徵。EF-Net由三個主要模塊組成，包括用於生成提示圖的CHMM、用於增強帶有顏色提示圖的深度圖的DEM和用於聚合多模態特徵的LAM。該方法有效地解決了深度圖的低質量問題，並解決了與多模態融合相關的挑戰，這最終導致了有希望的顯着性檢測性能。在四個流行的基準上的廣泛實驗表明，EFNet明顯優於現有的SOTA方法。此外，在兩個RGB-T數據集上進行了額外的實驗，以探索EF-Net進一步擴展到RGB-T顯性檢測。實驗結果表明，EF-Net能夠準確地從RGB-T數據中檢測出突出物體，這意味着EF-Net是一種有效的雙流顯著物體檢測解決方案。
備註：作者系我們「3D視覺從入門到精通」特邀嘉賓：一個超乾貨的3D視覺學習社區
本文僅做學術分享，如有侵權，請聯繫刪文。
3D視覺工坊-目標檢測交流羣
已建立3D視覺工坊-目標檢測微信交流羣！想要進目標檢測交流羣的同學，可以直接加微信號：CV_LAB 。加的時候備註一下：目標檢測+學校+暱稱，即可。然後就可以拉你進羣了。
強烈推薦大家關注3D視覺工坊知乎和3D視覺工坊微信公衆號，可以快速瞭解到最新優質的3D視覺論文。