閱讀筆記:Image based relighting using neural networks

文獻名:

Peiran Ren, Yue Dong, Stephen Lin, Xin Tong, and Baining Guo. 2015. Image based relighting using neural networks. ACM Trans. Graph. 34, 4, Article 111 (August 2015), 12 pages.

主要創新思想

核心是提出的神經網絡設計,其中包含各種元素,這些元素有助於對來自小型圖像集的光傳輸進行建模。與大多數基於圖像的補光技術相比,這種基於迴歸的方法允許在任意照明條件下捕獲輸入圖像,包括用手自由移動的光源。使用包含複雜照明效果的真實場景的光傳輸數據驗證了方法,並證明與相關技術相比,所需的輸入圖像更少。

主要原理剖析及說明

利用了光傳輸中的數據一致性,但認爲相干性既是非線性的又是局部的,非線性建模的更大靈活性允許更少的圖像用於重建矩陣之間的高頻變化元素。 此外,通過局部建模運輸空間具有更高的連貫性,可以獲得可以用更少的圖像重建的更有效的表示。通過神經網絡的建議設計和使用,該方法利用光傳輸的非線性和局部相干性從一小組圖像重建。 而且,它可以使用以自由移動的光源作爲輸入照明的場景圖像,從而簡化了圖像獲取。
光傳輸矩陣代表每個光源到達每個光源的輻射比例圖像像素。 給定真實世界的場景,我們對光傳輸進行建模矩陣作爲連續光傳輸函數的離散樣本。
我們用多層非循環前饋神經網絡來近似光傳輸函數。 作爲通用函數逼近器,神經網絡可以擬合給定足夠的網絡規模,任意精度的任何功能和訓練數據。多層無環前饋神經網絡可以表示爲加權和有向的帶有節點層的圖形。 第一層是輸入層,由代表輸入向量(p,l)的每個元素的節點組成的光傳輸功能。 最後一層,稱爲輸出層,由三個節點組成,其輸出被視爲RGB傳輸矩陣元素M(i,j)的分量。 層數中間的兩個隱藏層稱爲輸入到對輸出層有用的值中。
網絡架構圖:
在這裏插入圖片描述

主要實驗結果(現有原文章中的)

在這裏插入圖片描述
非線性相干性局部圖像區域中的光傳輸並對光傳輸進行建模在自適應模糊聚類框架內構建的神經網絡集成。 我們研究了數量之間的關係網絡節點的數量及其可以圖像區域的大小模型,並使用此分析設計神經網絡結構,該結構可用於捕獲來自少量的輸入圖像。 與其他輕型運輸相比採集方法,我們需要較少的輸入圖像重建質量水平高,不需要特殊照明設備。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章