對抗樣本綜述學習筆記:Adversarial Examples: Attacks and Defenses for Deep Learning

（持續更新）

一、相關優質博客

1.全面入門
2.直觀理解原理
3.
4.

二、論文細節知識點

• 1.hessian矩陣（表一）：hessian矩陣實際上就是函數的二階導矩陣
  Hessian矩陣在機器學習中的應用(拓展)：即hessian矩陣能來找極值點
• 2.RNN簡單介紹，
• 3.自編碼器簡單介紹：個人理解爲類似無監督的學習算法，讓機器訓練出能保留原始數據較好特徵的權值矩陣，然後每次訓練當前層都先採用上一層的得到的權值矩陣。自編碼器通常被用於降維或特徵學習。本文裏提到這是一種加解密的模型，目的是使輸入和輸出的差異減小，可用於壓縮/解壓任務。
• 4.基本的GAN介紹裏包括WGAN：改進損失函數，提供訓練指標;
  GAN進一步的原理解釋就是：以下摘自博主「JensLee」：
  首先這個網絡模型（定義在上面），先傳入生成器中，然後生成器生成圖片之後，把圖片傳入判別器中，標籤此刻傳入的是1,真實的圖片，但實際上是假圖，此刻判別器就會判斷爲假圖，然後模型就會不斷調整生成器參數，此刻的判別器的參數被設置爲爲不可調整，d.trainable=False，所以爲了不斷降低loss值，模型就會一直調整生成器的參數，直到判別器認爲這是真圖。此刻判別器與生成器達到了一個平衡。也就是說生成器產生的假圖，判別器已經分辨不出來了。所以繼續迭代，提高判別器精度，如此往復循環，直到生成連人都辨別不了的圖片。

三、論文內容節選

1.表一:(私:LaTeX練習輸入)

符號	定義
$x$	沒有修改、處理過的原始數據輸入
$l$	分類問題中的標籤，$l=1,2,···,m$。其中$m$是類別數
$x'$	對抗樣本，即修改後的數據輸入
$l'$	在針對性對抗樣本中敵手的分類標籤
$f(·)$	深度學習模型(對於圖像分類任務來說，$f\in F:\mathbb{R}^n\rightarrow l$)
$θ$	深度學習模型$f$的參數
$J(·)$	損失函數
$η$	原始的輸入數據和修改後輸入數據的差異： $η=x'-x$ (輸入的數據是相同的尺寸)
$\left\|·\right\|_p$	$l_p$範數
$\nabla$	梯度
$H(·)$	海森矩陣，二範數的一個拓展
$KL(·)$	Kullback-Leibler (KL) 散度函數