圖像篡改痕跡檢測：Adobe雙流Faster R-CNN網絡

爲了檢測圖像是否被篡改，Adobe在最近的論文中提出了一種雙流Faster R-CNN網絡，對圖像進行端對端的訓練，檢測經過處理圖像中被篡改的區域。
雙流中的一個流是RGB流，用於從RGB圖像輸入中提取特徵，通過對比度差異、不自然邊界等找出篡改的痕跡。另一個流是噪聲流，利用SRM(steganalysis rich model）模型的過濾層中提取噪聲的特徵，找出圖像中真實區域和被篡改區域的噪聲間的不一致。然後將從RGB流和噪聲流中提取的特徵用一個雙線性池化層整合來進一步改進兩種模式的空間共線性(spatial co-occurrence)
Faster R-CNN網絡整體結構如下圖：

網絡中的各部分爲：
（1）RGB stream input：也就是RGB流輸入；對可見的篡改痕跡（例如：物體邊界經常出現的高對比度）進行建模，並將邊界框（bounding boxes）迴歸爲ground-truth
（2）SRM filter layer：SRM 過濾層；提取噪聲 feature map，然後利用噪聲特徵提供圖像處理分類的附加依據；
（3）Noise stream input：噪聲流輸入；分析圖像中的局部噪聲特徵，先讓輸入RGB圖像通過一個 SRM 過濾層
（4）RGB Conv Layers：RGB 卷積層
（5）Noise Conv Layers：噪聲卷積層
（6）RGB 流和噪聲流共用 RPN 網絡生成的 region proposals，RPN 網絡只將 RGB 特徵作爲輸入。Faster R-CNN 中的 RPN（Region Proposal Network）負責 propose 可能包含相關目標的圖像區域，其經過改造後可以執行圖像處理檢測。
（7）RPN layer：RPN 層
（8）RoI pooling layer：Rol 池化層；從 RGB 流和噪聲流中選擇空間特徵；
（9）RGB RoI features：RGB RoI 特徵
（10）Bilinear pooling：雙線性池化
（11）Noise RoI features：噪聲 Rol 特徵
（12）預測邊界框（表示爲‘bbx pred’）是 RGB Rol 特徵中生成的。爲了區別被篡改和未被篡改的區域，我們利用從 RGB 通道中提取的特徵來捕捉線索，例如：被篡改邊界視覺上的不一致，被篡改區域和真實區域間的對比效應等
（13）在完成 Rol 池化後，網絡的線性池化層將整合從 RGB 流和噪聲流中分別提取的空間共現特徵
（14）最後，將所得結果輸入到一個全連接層和一個 softmax 層，網絡生成預測標籤（表示爲‘cls pred’)）並確定預測邊界是否經過處理
第二個流背後，當源圖像中移除一目標並將其粘貼到目標圖像時，源圖像和目標圖像的噪聲特徵是不匹配的，但如果用戶對目標圖像進行壓縮，就可以掩蓋這些特徵的差異。
爲了利用這些特徵，可以將RGB圖像轉換爲噪聲域(noise domain), 然後將局部噪聲特徵作爲第二個流的輸入。這裏選用了SRM過濾器核（SRM filter kernels）來生成噪聲特徵，然後將SRM過濾器核作爲第二個Faster R-CNN的輸入通道。
對RGB流和噪聲流中提取的特徵進行雙線性池化，然後每個Rol池化層將依據這兩個流提取的特徵檢測篡改痕跡。

reference：https://www.theverge.com/2018/6/22/17487764/adobe-photoshopped-fakes-edit-spotted-using-machine-learning-ai

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf