MVSNet系列

背景介紹

Multi-image stereo reconstruction 就是利用multiple，overlap的圖像來重建3D場景，並且這些圖片使用透視相機並知道內外參數。
Stereo reconstruction一般可以分成三步：

1. Rectification
2. Stereo matching
3. Triangulation
   
   其中最重要的就是獲得視差圖，得到了視差圖其實也就得到了深度圖。得到視差圖就是要計算左右兩張圖中，匹配點在對應圖中的視差；最直接也是最慢的就是逐點計算對應匹配，但是實在是太耗時了，因此往往構建損失立方（cost volume）來計算視差。
   
   cost volume就是在給定的深度中，在左右兩張圖極線上搜索；比如左側的p點，在右側的極線對應地方有D_min ~ D_max範圍存在對應的正確匹配點，那麼計算所有d的損失值併疊加在一起就是volume了。在最終的視差圖p點的視差就是cost volume中損失最小的層（就是最匹配的）。
   
   Cost Volume在所有MVSNet方法中都使用到了，其實是傳統Multi-view Stereo、Stereo Matching和光流中借鑑過來的思想，早期的DL直接使用2D CNN預測深度但是精度都不高，自MVSNet開始使用CostVolume之後普遍接受了這種思想。

For stereo matching the labels l correspond to vectors (u, v) which define the displacement in x and y direction. In the x direction, the displacement corresponds to the disparity d (u = d) and there is no shift in y direction (v = 0). Cost computation: The cost volume expresses how well a pixel i in image I matches the same pixel in the second image I shifted by vector l
1
2
A taxonomy and evaluation of dense two-frame stereo correspondence algorithms
4

目前已知方法在DTU Benchmark的得分，分別是精度，完整度和綜合得分，數據來源各自論文。

Methods	Acc.	Comp.	Overall(mm)
Furu	0.613	0.941	0.777
Tola	0.342	1.190	0.766
Camp	0.835	0.554	0.695
Gipuma	0.283	0.873	0.578
Colmap	0.400	0.664	0.532
SurfaceNet	0.450	1.040	0.745
MVSNet	0.396	0.527	0.462
P-MVSNet	0.406	0.434	0.420
R-MVSNet	0.383	0.452	0.417
MVSCRF	0.371	0.426	0.398
Point-MVSNet	0.342	0.411	0.376
CVP-MVSNet	0.296	0.406	0.351
Fast-MVSNet	0.336	0.403	0.370
CasMVSNet	0.346	0.351	0.348

MVSNet(ECCV18)

MVSNet

DeepMVS(CVPR18)

Unsupervised MVSNet(CVPR19)

Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency
論文代碼

R-MVSNet(CVPR19)

Point-MVSNet(ICCV19)

Point-based Multi-view Stereo Network
論文代碼

P-MVSNet(ICCV2019)

P-MVSNet: Learning Patch-wise Matching Confidence Aggregation for Multi-View Stereo

MVS^2(3DV 19)

MVS^2: Deep Unsupervised Multi-view Stereo with Multi-View Symmetry

Fast-MVSNet(CVPR20)

論文地址
論文代碼
速度真快，但是有的場景點太稀疏了吧，應該是最快的方法。

CVP-MVSNet(CVPR20)

Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
論文代碼
很慢的方法，如果單看精度，應該是目前最高的

Cascade-MVSNet(CVPR20)

Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
延續MVSNet，使用串行操作逐漸得到高精度的深度圖，但是精度真的高。

PVA-MVSNet(未投)