DAR-Net: Dynamic Aggregation Network for Semantic Scene Segmentation[Arxiv]

[論文鏈接]
$\qquad$這篇文章中作者提出了一個支持動態特徵聚合的網絡DAR-Net。DAR-Net的核心思想是生成一個自適應的pooling skeleton，這個結構既考慮了場景的複雜結構也結合了局部幾何特徵。skeleton提供可變的半局部感受野和權重，成爲了連接局部卷積特徵提取器和全局循環特徵聚合器的橋樑。

$\qquad$skeleton如上圖所示，我的理解所謂skeleton就是一些能夠反映點雲集合特徵的keypoint。

$\qquad$網絡的pipeline如上圖所示，首先根據點雲無監督、自適應地學習skeleton，使其合理分佈在點雲中。這個過程作用類似於從下圖的a到b（node個數應人爲指定）。

$\qquad$然後從點雲中學習局部的逐點特徵，編碼後的局部特徵被動態地聚合到骨架中，作爲信息抽象的中間尺度，得到node-wise的特徵。

$\qquad$定義$P_N=\{p_i|0<i\leq N\}$爲點雲，$S_M=\{s_j|0<j\leq M\}$爲pooling skeleton。$F^{agg-i}$爲pointwise特徵空間，$F^{agg-o}$爲node-wise特徵空間。$T_j:0<Tj\leq N$爲屬於第$j$個node的點的個數，用於控制node的感受野。全局干涉因子 $g$。

$\qquad$特徵的動態聚合就是將與每個node相關的點的特徵使用聚合函數整合到node上。 可以表示爲：
$\begin{array}{c} f_{j}^{agg-o}=f_{j}^{agg-o}(f_{i_1^{j}}^{agg-i},...,f_{i_{T_j}^{j}}^{agg-i},g),0<i_t^j\leq N \end{array}$
$\qquad$屬於每個node的點的索引可以通過構建每個點對node的k近鄰索引矩陣$I\subset \mathbb{N}^{N\times K}$來得到。$I(i,k)$表示點$p_i$的第k個近鄰node。屬於node $s_j$的點的索引可以表示爲$\{i_t^j\}=\{i|I(i,k)=s_j\}$。特徵的聚合函數表示如下：
$\left\{ \begin{array}{l} f_{j}^{agg-o}=\sum_j(f_{i_1^{j}}^{agg-i},...,f_{i_{T_j}^{j}}^{agg-i})/g\\ g=\sum_j|{i_t^j}|/M=\sum_jT_j/M \end{array} \right.$
$\qquad$在此基礎上，利用全局神經網絡對中間接受域獨立對應的節點特徵進行處理，可以有效地學習遠程知識。將全局整合的信息傳回點雲進行局部特徵連接和分層解碼。最後使用1×1的pointwise卷積生成語義預測結果。