閱讀筆記:Modeling surface appearance from a single photograph using self-augmented CNN

文獻名

Xiao Li, Yue Dong, Pieter Peers,. Modeling surface appearance from a single photograph using self-augmented convolutional neural networks[J]. acm transactions on graphics, 2017, 36(4):45.

主要創新思想

爲了減少所需的標記訓練數據量,利用嵌入在未標記圖像中的外觀信息隨空間變化的材料來自我增強訓練過程。從初始的近似網絡開始,從一小套標有標籤的訓練對中獲得,估計標樣訓練示例之前的臨時模型參數。鑑於此標本反射率估計,通過在新的照明條件下渲染精確的對應圖像來合成臨時標有標籤的訓練對。在使用這些額外的訓練樣本精煉網絡之後,估計用於未標記數據的臨時模型參數,並在收斂之前重複進行自我增強過程

主要原理剖析及說明

擬議的SVBRDF網絡分離的網絡結構;一個用於均一的參數(相對(對數)鏡面反射率和(對數)粗糙度),另一個用於空間變化的參數(相對散度的反射率和表面法線)。
層數和卷積/上採樣濾波器的大小類似於先前的工作。兩個網絡共享相同的分析子網絡結構,該結構由一系列卷積層和池化層組成。每個卷積層通過分批歸一化層進行連接,每個子層通過光子網絡進行分析,並通過分析將其重新激活。
訓練擬議的SVBRDF-net的主要挑戰之一是獲得足夠大的訓練數據集,以捕獲目標材料類別的自然分佈下降的空間變異。 本質上,由於反射特性的空間變化,自然採光條件的不同以及視點的差異,我們正在迴歸的搜索空間是外觀變化的外部產物。另兩個維度通常是相對不同的材料類別,並且相對容易地進行採樣。另一方面,形成者高度依賴於材料類型並且理想地依賴於數據類型。

主要實驗結果(現有原文章中的)

神經網絡結構
在這裏插入圖片描述
訓練結果:
在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章