VolumeDeform: Real-time Volumetric Non-rigid Reconstruction 筆記

簡介
系統 pipeline：

non-rigid 重建的整個流程如下圖所示：
首先由重建的 TSDF 模型，採用 marching cube 算法提取重建好的表面，然後搜索表面和輸入 RGB-D 圖像的匹配點，由匹配點計算 deformation field 參數，最後根據優化得到的 deformation field 參數將新輸入的 RGB-D 圖像融合到 TSDF 模型中。整個流程相對於 dynamicfusion 算法主要有三點不同：
1)VolumeDeform 系統表示重建空間的幾何結構和 deformation field 時，採用同一個 volumetric 模型。
2)在計算 deformation field 時，加入 SIFT 特徵點約束。
3)採用一種新的優化策略實時求解 deformation field 非剛性配準參數。

場景表示
同 DynamicFusion 不同的是，VolumeDeform 採用同一個 volumetric 模型表示重建的空間，同時表示 deformation field 參數，每個 voxel 存儲的信息包括 6 項：

truncated signed distance $D_{i} \in \mathbb{R}$
color
confidence value
deformation field 參數 $\mathbf{t} \in \mathbb{R}^{3}$
deformation field 參數 $\mathbf{R}_{i}$（論文表達不清楚自行腦補）
deformation field 權重 $\alpha_i$（論文表達不清楚自行腦補）

由 TSDF 模型通過 marching cube 算法提取重建的表面，再通過 deformation field 參數計算得到 warp 後的表面，warp 後的表面和當前系統輸入的 RGB-D 圖像搜索對應點。
匹配關聯

VolumeDeform 系統通過兩種方式匹配對應點：
1)通過投影算法確定 warp 後的 mesh 和輸入深度圖像之間的匹配點。
2)通過 SIFT 匹配，確定當前輸入圖像（還是從模型投影的 RGB-D 圖像，作者沒表達清楚），和之間3)存儲的所有幀 RGB-D 圖像（模型投影）對應點，SIFT 特徵點座標通過 deformation field 參數變換到統一的 canonical 座標系。

deformation field 優化能量函數
優化能量函數包括三項：
$E_{t o t a l}(\mathbf{X})=\underbrace{w_{s} E_{s p a r s e}(\mathbf{X})+w_{d} E_{d e n s e}(\mathbf{X})}_{\text {data term}}+\underbrace{w_{r} E_{r e g}(\mathbf{X})}_{\text { prior term }}$
其中，data 項同 DynamicFusion：
$E_{d e n s e}(\mathbf{X})=\sum_{c=1}^{C} w_{c} \cdot\left[\left(\mathcal{S}\left(\hat{\mathbf{p}}_{c}\right)-\mathbf{p}_{c}^{a}\right)^{T} \cdot \mathbf{n}_{c}^{a}\right]^{2}$
SIFT 特徵約束項：
$E_{\text {sparse}}(\mathbf{X})=\sum_{s=1}^{S}\left\|\mathcal{S}\left(\hat{\mathbf{f}}_{s}\right)-\mathbf{f}_{s}\right\|_{2}^{2}$
以及 ARAP（As Rigid As Possible）約束：
$E_{r e g}(\mathbf{X})=\sum_{i \in \mathcal{M}} \sum_{j \in \mathcal{N}_{i}}\left\|\left(\mathbf{t}_{i}-\mathbf{t}_{j}\right)-\mathbf{R}_{i}\left(\hat{\mathbf{t}}_{i}-\hat{\mathbf{t}}_{j}\right)\right\|^{2}$

參數優化
優化的總的能量函數：
$\mathbf{X}^{*}=\underset{\mathbf{X}}{\operatorname{argmin}} E_{total}(\mathbf{X})$

優化時，並不是將所有 voxel 的 參數都優化，只優化 TSDF 0 值附近網格點的參數。

優化時作者用了 iterative flip-flop optimization strategy 的優化策略：首先固定 warp field R 優化 t，然後固定 t 再優化 R，兩步循環迭代指導收斂。

Data-Parallel Rotation Update
每個 voxel 優化的 deformation field 參數 R 是獨立的，並行優化，對於 R 參數優化有閉式解（怎麼解出來閉式解的還要再細看參考文獻）。

對於 t 優化需要迭代，作者採用 PCG 迭代求解。

Hierarchical Optimization Strategy
作者採用分層優化，將 coarse 層計算結果作爲初值賦給 fine 層，這樣可以提高收斂範圍和優化效率。
融合

融合步驟同 DynamicFusion。