An Efficient PointLSTM for Point Clouds Based Gesture Recognition[CVPR2020]

[論文鏈接]
$\qquad$本文提出了一種在保留空間結構的前提下實現信息從過去幀傳播到未來幀的PointLSTM方法來對序列點雲數據做手勢識別和動作識別。PointLSTM通過權值共享的LSTM層，將過去幀鄰近點的狀態信息與當前特徵相結合，更新當前狀態。這種方法可以集成到許多其他的序列學習方法中。

$\qquad$近年來RNN和LSTM在序列建模上取得了成功，利用LSTM可以從時空的一致性捕捉到運動和外觀隨時間的變化。論文中所使用的長短期記憶網絡爲一般的LSTM：
$\pmb{h}^{(t)},\pmb{c}^{(t)}=\mathbf{LSTM}(\pmb{y}^{(t)},\pmb{h}^{(t-1)},\pmb{c}^{(t-1)}).$
$\qquad\pmb{h}^{(t)}$爲隱狀態，$\pmb{c}^{(t)}$爲細胞狀態。

$\qquad$接下來，作者提出了使用LSTM處理點雲序列的兩種方式：

$\qquad$$(a)$ Point-independent states：考慮序列中的每個點$(p_i^{(t)}$擁有獨立的隱狀態和細胞狀態。由於輸入的點雲通常爲無序的集合，因此鄰近的兩幀點雲之間沒有精確的對應關係。這裏作者放鬆了限制，使用當前幀中點在先前幀中的鄰近點來代替。首先將先前幀中的臨近點的特徵傳遞給下一陣，然後在統一進行處理。對每個點對 $(p_i^{(t)},p_j^{(t-1)})$，$p_j^{(t-1)}\in N_{-1}(\pmb{x}_i^t)$ 進行如下操作：
$\pmb{y}_{i,j}^{(t)}=[\pmb{x}_i^{(t)}-\pmb{x}_j^{(t-1)};\pmb{f}_i^{(t)}] \\ \tilde{\pmb{h}}_{i,j}^{(t)},\tilde{\pmb{c}}_{i,j}^{(t)}=\mathbf{LSTM}(\pmb{y}_{i,j}^{(t)},\pmb{h}_j^{(t-1)},\pmb{c}_j^{(t-1)})$
$\qquad\tilde{\pmb{h}}_{i,j}^{(t)},\tilde{\pmb{c}}_{i,j}^{(t)}$爲點對$(p_i^{(t)},p_j^{(t-1)})$的虛擬隱狀態和細胞狀態，最終點$p_i^{(t)}$的狀態更新爲：
$\pmb{h}_i^{(t)}=g(\tilde{\pmb{h}}_{i,1}^{(t)},\tilde{\pmb{h}}_{i,2}^{(t)},...,\tilde{\pmb{h}}_{i,n_{t-1}}^{(t)}),\\ \pmb{c}_i^{(t)}=g(\tilde{\pmb{c}}_{i,1}^{(t)},\tilde{\pmb{c}}_{i,2}^{(t)},...,\tilde{\pmb{c}}_{i,n_{t-1}}^{(t)}).$
$\qquad$$(b)$ Point-shared states：考慮到每個點都獨立會消耗巨大的計算量，爲加速特徵的更新過程，提出了一個簡化版的PointLSTM：PointLSTM-PSS。這種情況下，相同幀中的點共享隱狀態$\pmb{h}^{(t)}$和細胞狀態$\pmb{c}^{(t)}$:
$\pmb{y}_{i}^{(t)}=[\pmb{x}_i^{(t)};\pmb{f}_i^{(t)}] \\ \tilde{\pmb{h}}_i^{(t)},\tilde{\pmb{c}}_i^{(t)}=\mathbf{LSTM}(\pmb{y}_i^{(t)},\pmb{h}^{(t-1)},\pmb{c}^{(t-1)})$
$\qquad\tilde{\pmb{h}}_i^{(t)},\tilde{\pmb{c}}_i^{(t)}$爲點對$(p_i^{(t)},p_j^{(t-1)})$的虛擬隱狀態和細胞狀態，點$p_i^{(t)}$的狀態更新爲：
$\pmb{h}^{(t)}=g(\tilde{\pmb{h}}_1^{(t)},\tilde{\pmb{h}}_2^{(t)},...,\tilde{\pmb{h}}_{n_t}^{(t)}),\\ \pmb{c}^{(t)}=g(\tilde{\pmb{c}}_1^{(t)},\tilde{\pmb{c}}_2^{(t)},...,\tilde{\pmb{c}}_{n_t}^{(t)}).$
$\qquad$對於鄰近點的尋找方法，作者同樣提出了兩種思路：

$\qquad(a)$ Direct grouping：鄰近點直接取當前點在先前幀中的k近鄰。

$\qquad(b)$ Aligned grouping：通過對齊兩個鄰近點雲的質心來對他們進行粗略的對齊：
$∆\bar{\pmb{x}}^{(t)}=\frac{1}{n_{t-1}}\sum_{i=1}^{n_{t-1}}\pmb{x}_i^{(t-1)}-\frac{1}{n_t}\sum_{i=1}^{n_t}\pmb{x}_i^{(t)} \\ ∆\pmb{x}_i^{(t)}\approx∆\bar{\pmb{x}}^{(t)},\mathbb{for}\ i=1,...,n_t.$
$\qquad$其中$∆\pmb{x}_i^{(t)}=\tilde{\pmb{x}}_i^{(t-1)}-\pmb{x}_i^{(t)}$，利用$∆\pmb{x}_i^{(t)}$可以在先前幀中找到虛擬點，進而找到近鄰，這樣做也可以反應前面提出的方法對於小位移的魯棒性。

$\qquad$網絡的基本結構如上圖所示，包括5個階段：Stage-1使用空間分組學習幀內特徵，Stage-2到Stage-4使用時空分組和基於密度的採樣學習幀間特徵，Stage-5提取逐點的特徵，最後使用Max pool得到全局特徵。

$\qquad$Density-based sampling layer 從深度視頻提取到的點雲點的數量是很大的，而且絕大部分包含相同的深度信息。爲減少冗餘的計算，文中使用了基於密度的採樣方法。點的密度計算方法爲：
$\rho(x_i^{(t)})=\frac{1}{n_tr^d}\sum_{j=1}^{n_t}w(\frac{x_i^{(t)}-x_j^{(t)}}{r})$
$\qquad r$爲$p_i^{(t)}$與其在$\mathbb{P}^{(t)}$幀中k近鄰的歐幾里得距離，$w$是一個有界可積的權重函數。在每個採樣層選取密度較低的點，因爲這些點對應於點雲的邊界。

$\qquad$爲研究PointLSTM的有效性，作者通過用PointLSTM分別替換Stage-1,2,3,4得到了PointLSTM-raw以及PointLSTM-early，PointLSTM-middle和PointLSTM-late。
$\qquad$具體實現的細節還需要等代碼開源後再進行學習。