作者 | 劉雲、程明明、胡曉偉、邊佳旺等
譯者 | 劉暢
整理 | Jane
出品 | AI科技大本營
近日，南開大學媒體計算實驗室提出的最新邊緣檢測和圖像過分割（可用於生成超像素）被 IEEE PAMI 錄用。研究的第一作者也發微博稱：“這是第一個在最廣泛使用的圖像分割數據集 BSD500 上 F-Measure 評價值超越數據集本身人工標註平均值的實時算法。圖像分割效果也刷新了精度記錄。其算法也已經開源。”
先對各位作者進行簡單的介紹：
一作 劉雲，目前在實驗室內攻讀博士學位，他的博導也是程明明老師。從劉博士發佈過的論文成果列表中可以看到，他在 CVPR、ICCV、ECCV 上都有投過論文。
論文的第二作者——程明明老師。2012 年博士畢業於清華大學，之後在英國牛津從事計算機視覺研究，並於 2014 年回國任教，2016 年起任南開大學教授，國家“萬人計劃”青年拔尖人才，首批天津市傑出青年基金獲得者。其主要研究方向包括：計算機圖形學、計算機視覺、圖像處理等。已在 IEEE PAMI, ACM TOG 等 CCF-A 類國際會議及期刊發表論文 30 餘篇。
三作 胡曉偉。四作 邊佳旺，目前就職於華爲 media computing Lab。這四位作者都來自於南開大學媒體計算實驗室。另外三位作者爲 Le Zhang（南洋理工大學，ADSC）、Xiang Bai（華中科技大學，HUST）、唐金輝（南京理工大學，NUST）
下面 AI科技大本營就爲大家分析講解這個算法。先把相關介紹和開源地址分享給大家：
https://mmcheng.net/zh/rcfedge/
http://mftp.mmcheng.net/Papers/19PamiEdge.pdf
https://github.com/yun-liu/rcf
在計算機視覺領域，邊緣檢測屬於一個經典問題。在近期的研究中，卷積神經網絡（CNN）方法已經顯著的推動該領域的發展。現有的方法，由於使用特定層數的卷積神經網絡，可能無法成功提取複雜的數據模型，其中這些數據會隨着圖像尺度和縱橫比進行變化。在本文中，我們提出了一種使用更豐富的卷積特徵（Richer convolution features, RCF）的精準邊緣檢測方法。
RCF 方法將所有卷積特徵封裝成一種更具判別性的表達，這樣就可以很好地利用豐富的特徵層次結構，並且該方法也可以通過反向傳播進行訓練。RCF 方法充分利用目標的多尺度和多級信息來實現圖像到圖像（image-to-image）的預測。
程明明老師在他的微博中分享說：”這裏面最核心的是 Richer feature： 每個 stage 裏面的所有 conv 層都是有用的，而不是傳統只要每個 stage 的最後一個 conv 層。這是很通用的技巧，基本上幹什麼任務都用得着，而且改幾行代碼就能實現。“
（來源：程明明老師的個人微博）
使用 VGG16 網絡，我們的方法在幾個公共數據集上有最好的性能（state-of-the-art）。在BSDS500基準數據集上進行測試評估時，F-Measure 分數（F-measure） 我們取得了 0.811 的成績 ，並同時獲得了8 FPS的速度。此外，快速版的 RCF 方法取得了 0.806 分和 30 FPS 的速度。爲了證明所提出方法的多功能性，我們還將 RCF 檢測的邊緣應用於圖像分割問題。
我們構建了一個基於 VGG16 的簡單神經網絡，以得到 conv3_1，conv3_2，conv3_3，conv4_1，conv4_2 和 conv4_3 這幾層每層的輸出。通過上圖，可以清楚地看到卷積特徵逐漸變得粗糙，並且中間層 conv3_1，conv3_2，conv4_1 和 conv4_2包含許多有用的精確細節，而這些細節沒有在其他層中出現。
上圖展示的是 RCF 網絡架構。網絡的輸入是具有任意大小的圖像，而網絡的輸出是具有相同大小的邊緣檢測圖。我們將每個卷積層的層次特徵組合成一個整體框架，而其中的所有參數都是可以訓練學習的。由於 VGG16 中卷積層的感受野大小彼此不同，因此我們的網絡可以學習多尺度，包括低尺度和對象級的信息，而這些信息將有助於邊緣檢測。
上圖是該多尺度算法的管道圖。調整原始圖像的大小以構建圖像金字塔。然後將這些多尺度圖像輸入到 RCF 網絡中進行正向傳遞。接着，我們使用雙線性插值將結果邊緣檢測圖恢復爲原始大小。對這些邊緣圖進行簡單平均計算就可以輸出高質量邊緣圖。
在 BSDS500 數據集上的評估結果
上圖是超過 50 年的邊緣檢測方法性能總結。 我們的方法是第一個比人類註釋器獲得更好 F-Measure 分數的實時系統。
--【完】--