深度學習中特殊的參數更新方式

在傳統的印象當中Back-propagation一般是根據定義的損失函數來更新定義好的網絡中的權重參數的，但在DL中有一種比較特殊的情形，更新的目標是圖片中的像素點，其用於渲染各種豐富多彩的圖片。
這主要包括以下兩種情形:

• 1.Deep Dream
  Deep Dream是谷歌在2015年的論文，其主要的出發點就是想看看神經網絡究竟學習到了什麼。Deep Dream的優化目標是最大化特徵提取層所輸出的向量的L2範數，然後通過對損失函數求偏導數，對輸入圖片中的像素點進行梯度下降，更新輸入圖片中的像素值，使得輸入的圖片更加的穩定趨向於分類器中的某一個類別。Deep Dream做的事情如下圖所示：

• 2.Style Transfer
  風格轉換也是出自於2015年的一篇論文,其主要目的就是將圖片$X$的藝術風格遷移到圖片$Y$,而不改變圖片$Y$的主體內容。其優化的過程和Deep Dream也是通過對設定的損失函數進行進行梯度下降，然後通過反向傳播算法來更新圖片$Y$中的像素值。其損失函數主要包括$Content-Loss$以及$Cycle-Loss$,$Content-Loss$是通過計算圖片$X$以及圖片$Y$在深度卷積層輸出的特徵之間的MSE得出的。而$Cycle-Loss$則是通過計算圖片$X$以及圖片$Y$在深度卷積層輸出的特徵組合得到的Gram矩陣之間的MSE得出的。Style Transfer做的事情如下圖所示：