點擊下面卡片關注“AI算法與圖像處理”，選擇加"星標"或“置頂”
重磅乾貨，第一時間送達
本文作者： lam lau，僅作爲學術交流，侵刪
https://zhuanlan.zhihu.com/p/358337679
文章題目：Robust Reflection Removal with Reflection-free Flash-only Cues
本文是港科大陳啓峯老師組的一篇文章，不得不說，從learning to see in the dark到現在，陳老師組做的底層視覺的相關工作都對我很有啓發。
大家做計算機視覺應該知道，計算機視覺任務大致可以分爲高層（檢測，分類），中層（語義分割）和底層（超分辨率..）的任務。越偏向高層的任務越需要語義的信息和人的理解，越底層的任務越注重邊緣，紋理之類local的細節。其實高層任務也有偏底層的任務，如單目標跟蹤（tracking）。底層任務也有需要語義理解的，今天介紹的去反光（reflection removal）就是一個。
我們平時透過玻璃看外面的風景的時候，因爲玻璃的反射，所以不可避免的會有反光內容的干擾，這些反光的內容各種各樣，有的情況反光強烈的時候連人都無法辨別哪些內容是反光，哪些是真實的物體信息。
因此就需要引入一些外部信息來幫助我們。最常見是採用偏光鏡技術，也有一些對應的論文。但是偏光鏡技術會造成顏色偏移。去年cvpr，brown組有一篇用dual pixel技術來做的。
至於用閃光圖像來輔助做的，去年有一篇文章。
Siamese dense network for reflection removal with flash and no-flash image pairs. IJCV, 2020
這篇文章就是對IJCV這篇文章更進一步的探討。
一. 理論部分：
我們先分析一下論文中的這張圖像吧。先看圖（a），藍色矩形是玻璃後的物體，紅色圓形是反射的物體。（a）就是不開閃光的時候，因爲有環境光的存在（ambient light），所以相機接收到了藍色矩形和紅色圓形的信息。我們用
代替吧
再來看（c）當有閃光燈和環境光的時候，因爲閃光燈是有方向性的（對着藍色物體射）,因此反光燈的光只是照着藍色物體，這樣進入相機的信息就有了三個：環境光對着藍色矩形，環境光對着紅色圓形，反光燈對着藍色矩形：所以總的光是
。
然後我們發現了什麼? 
就是剩下閃光燈對着藍色物體的光了（圖（b））。也就是說，這兩個圖像一減，紅色圓形/反光的物體，就從相機中消失了！是不是很神奇？
可是理論很豐滿，現實很骨感。科學家把這個圖像拿出來一看，發現偏色的厲害T_T, 看下面那個圖的Flash only image，就相當於圖1（b），原圖則是下圖的our transmission。可能的原因是跟閃光燈的曝光和環境光的不同等的有關係。
但是這個flash-only image吧，肯定可以作爲一個線索來幫助去反光的。因爲他的圖都已經沒有反光了，只是有一點色偏。
二. 工程部分：
圖三就是整個網絡的結構，（a）就是我們第一部分說的如何得到，也就是flash-only image的過程。（b）則是利用flash-only image，用神經網絡訓練去除反光的過程。
論文裏的圖有點迷惑，我看的時候有點懵，具體看我標的紅線和藍色線。
提幾個要點吧，具體的可以去看論文:
1.（a）中可以看出，我們獲得的兩張圖的相減是在raw域進行的。然後用isp變回rgb域。flash-only image圖的白平衡其實是做的不太對的，因爲他採用了另外一張圖的meta-data。
2. 圖（b）說的是，先預測一個反射的反光圖 
，再預測去反射後的圖像
。至於爲啥不直接預測圖像。文章中有說明白，這裏限於篇幅不闡述。
三. 缺點和優點：
文章中作者自己就說了缺點，
1. 相機假如離拍攝物體比較遠，閃光燈的燈到不了拍攝物體，這時候得到的flash-only image可能就是一團黑的。
2. 物體快速移動的時候，兩張圖像會不一樣，這個缺點是所有多幀圖像處理都有的缺點吧。
優點:
優點不必多說，有理論創新有工程方法創新。之前說過最佩服的是用硬件和軟件結合做底層圖像處理的方法。看了一下作者的主頁，他們團隊在去反光技術上也有很多的積累了，這篇這麼solid的文章不得中cvpr啊。
本文論文PDF和代碼下載
文章鏈接：arxiv.org/pdf/2103.04273
代碼鏈接：https://github.com/ChenyangLEI/flash-reflection-removal
個人微信（如果沒有備註不拉羣！）
請註明：
地區+學校/企業+研究方向+暱稱
![]()
下載1：何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆：c++，即可下載。歷經十年考驗，最權威的編程規範！
下載3 CVPR2021
在「AI算法與圖像處理」公衆號後臺回覆：
CVPR
，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
點亮 
，告訴大家你也在看
本文分享自微信公衆號 - AI算法與圖像處理（AI_study）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。