論文閱讀20200603

1.基於卷積神經網絡的蠟染染色模擬

 

算法步驟:

  1. 基於距離變換生成裂紋,並添加高斯噪聲使得到的裂紋更真實
  2. 使用Labelme進行語義分割分割內容圖和風格圖中的特定區域,生成標籤
  3. 使用PhotoWCT算法對圖像內容圖進行染色,並通過像素相似性對染色結果進行平滑

 

PhotoWCT的網絡結構爲編碼解碼結構。

編碼器採用VGG19,採用像素重建損失和特徵損失訓練解碼器。

編碼器與解碼器對稱,解碼器採用上池化層,並加入池化掩碼以記錄相應池化層中每個最大池化區域的最大值。

訓練編碼器之後,在網絡瓶頸處插入一對投影功能,通過 2 個投影將內容圖像的特徵相關性與風格圖像的特徵相關性直接匹配。

最後,通過將變換的特徵圖直接反饋到解碼器中來獲得風格化圖像。

體會:

該算法不直接利用圖像風格遷移算法,而是將蠟染過程進行分解,利用已有算法或結構進行改進,從而改進現有基於深度學習的風格遷移算法導致的結構僞像、邊緣扭曲等問題。

圖像渲染時,普遍情況可以直接渲染,但是針對複雜場景或者風格轉換等情況時,還是要具體問題具體分析。所以可以尋找一種具體情況,且這種情況有背景/需求,則針對具體問題分步驟解決,避免一概而論。

2.基於多尺度筆刷的分層油畫風格化

 

算法步驟:通過模擬實際繪畫中由粗到精的繪製過程,以提高風格化的質量。

首先使用增量 Voronoi序列採樣點和圖像切線方向場確定筆刷流線;

然後依據筆刷流線使用筆刷形狀與筆刷高度場進行紋理貼圖模擬油畫效果;

最後使用不同尺度的筆刷按照從大到小的順序迭代並繪製出最終結果.

體會:

真實繪畫過程是利用畫筆逐漸繪畫,逐漸逼近理想效果。但是一般的油畫只是神似,而沒有統一的結果。所以利用風格遷移之類的算法總會導致邊緣模糊。利用這種方法渲染圖像容易模糊、不真實。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章