最近在讀三維稠密恢復。要從數萬的點雲信息中去恢復百倍以上的物體表面像素是非常有想象力的挑戰。GAN實現物體像素的填充，技術的成功想到用深度學習方法去實現像素的添加。這裏直接給出MVG這篇非常好的論文。
多視角場景點雲重建模型PointMVS：http://hansf.me/projects/PMVSNet/
參考文章：https://www.sohu.com/a/339951806_610522
重要思想和步驟梳理：
PointFlow是這篇文章中新穎的迭代深度優化方法。在已知相機參數的情況下，可以將深度圖反投影成點雲。針對每個點，優化的目標是通過對各個視角下鄰近點的觀察，估計這個點在相機方向與基準點雲表面的偏移，並最終迫使點“流向(flow to)”目標位置，這個方法就稱爲PointFlow。
PointMVS區別於先前利用cost volum來進行多視角處理的方法，直接基於點雲的方式對場景進行處理。從過由粗到細的迭代優化過程，充分結合了幾何先驗信息和2D紋理信息來來增強點雲特徵，並利用圖網絡的來對深度的殘差進行有效估計。這種由粗到精的迭代結構獲得非常好的重建精度。PointFlow方法主要由假設點生成、邊緣卷積、流預測和上採樣迭代優化等四部分構成。
利用代價空間進行計算的深度圖精度受限於3D cost volume的分辨率。爲了進一步利用圖像特徵增強的點雲網絡來提升深度圖的分辨率，
直接利用抽取的圖像特徵對每個點的位移進行抽取是比較困難的，由於透視變換的存在2D特徵圖無法有效反映3D歐氏空間中的空間結構特性，所以PointFlow提出了在參考相機方向上設置一系列假設點。紅色點是反投影點，藍色點是不同的位移步長生成的假設點。PointFlow的目的在於利用圖像特徵增強後的點雲，計算出紅色點相對於每個藍色鄰域假設點的位移概率，並最終得到與基準目標表面間的位移。
爲了進行魯棒的深度預測，PointFlow從DGCNN中從鄰域抽取信息獲得啓發，利用了knn構建的有向圖來表示局域幾何結構信息，從而可以被用於點特徵的傳播。定義邊緣卷積來對點雲特徵進行抽取：
爲特徵增強後的點集合，方框爲逐個通道的對稱聚合操作（包括池化、加權等），最終用於學習每一點對應的局部特徵。
在充分利用圖像特徵增強後的點雲信息就可以進行流預測了。PointFlow中利用了3個邊緣卷積層來聚合多尺度點雲信息，並加入了跳接層保留局部信息。最終通過共享的MLP將逐點特徵轉換爲每一反投影點的假設點的概率。最終通過所有假設點的概率加權和得到最終點的位移（每個假設點都在原始點周圍領域上，通過特徵抽取獲取每個假設點的概率，加權後即可得到原始點向目標點流動的位移）克服3D cost volum固定剖分的性質。