論文閱讀:A Deep Tree-Structured Fusion Model for Single Image Deraining

也是一篇輕量級的網絡,簡要梳理一下

2018 ArXiv:樹狀網絡

也是傅雪陽的一篇文章,主要提出了一種樹狀的特徵融合網絡,文章使用擴張卷積作爲基本塊,同時減少了網絡參數。
在這裏插入圖片描述

文章主要提出了一種基於特徵融合的樹狀結構融合模型。
網絡使用擴張卷積作爲基本模塊來捕捉雨的空間結構。
圖像的相鄰特徵之間包含着大量的冗餘信息,可以通過分層融合相鄰特徵來減少冗餘。
可以有效地利用空間信息和內容信息來使模型更加緊湊。

關鍵詞: 樹狀結構+擴張卷積+特徵融合+減少參數

網絡結構:

在這裏插入圖片描述
整體網絡結構由一個特徵提取層,八個擴張卷積模塊和一個重建層組成。
由圖可知,網絡輸入一個雨圖 X,然後首先是進行特徵圖的提取,接着是一組8個擴張卷積模塊形成樹形結構,並不斷進行特徵融合,然後得到重建後的特徵圖,提取出估計的殘差部分 R,最後得到去雨的圖像Y。

具體實現:

1、網絡組成

特徵提取:
在這裏插入圖片描述
擴張卷積模塊:
擴張卷積增加感受野,通過將同一個濾波器放大到不同的尺度來保持分辨率。爲了減少參數的數量,我們在每個塊中使用一個具有不同擴展因子的卷積核。計算得到各擴張卷積塊內的多尺度特徵:
在這裏插入圖片描述
WDF和b參數對於不同的擴展卷積是共享的。多尺度特徵通過樹狀結構聚合來融合,生成單尺度特徵。

使用跳躍連接來生成每個模塊的輸出:
在這裏插入圖片描述

2、樹狀特徵融合

在這裏插入圖片描述
設計了一個樹狀結構的操作來融合相鄰的特徵,使用1×1卷積來允許網絡自動執行這種融合。

融合:
在這裏插入圖片描述
其中Z1和Z2是具有相同維度的相鄰特徵,concat表示連接。Wfuse是一個大小爲1×1的內核,用於融合Z1和Z2,融合後生成的Z與Z1和Z2的尺寸相同。

相鄰特徵融合減少冗餘:
在這裏插入圖片描述

3、損失函數

損失函數採用了MSE和SSIM損失。在這裏插入圖片描述

分頁

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章