論文地址：http://xxx.itp.ac.cn/pdf/2003.02484.pdf
解決問題：
雖然對抗性訓練是對抗性訓練中最有效的防禦形式之一，但不幸的是，對抗性訓練中存在着測試準確性和訓練準確性之間的矛盾。
總結 ：
在本文中，我們發現對抗性特徵過擬合（AFO）會導致對抗性魯棒泛化能力差，並且我們證明了對抗性訓練可以在魯棒泛化方面超過最優點，從而導致我們的簡單高斯模型中的AFO。考慮到這些理論結果，我們提出軟標記作爲一種解決AFO問題的方法。此外，我們還提出了對抗性頂點合成（AVmixup），這是一種軟標記的數據增強方法，用於改進對抗性魯棒泛化。通過對CIFAR10、CIFAR100、SVHN和微型成像網絡的實驗，驗證了AVmixup算法能顯著提高魯棒泛化性能，減少標準精度和對抗性魯棒性之間的權衡。
背景：
Schmidt等人[31]證明了魯棒訓練比標準訓練需要更大的樣本複雜度，假設魯棒訓練的困難源於大樣本複雜度。 Tsipras等人[35]表明對抗性穩健性和標準準確性之間可能存在權衡。他們認爲，在對抗性訓練中學習到的特徵不同於在標準訓練中學習到的特徵，並將這種差異歸因於權衡。最近，Ilyas等人[12] 證明了用於訓練深度學習模型的特徵可以分爲對抗性穩健特徵和非穩健特徵，而對抗性實例問題可能是由這些非穩健特徵引起的。那麼，如果對抗性的例子是特徵，而不是錯誤，那麼我們自然會想：在對抗性訓練中，我們是否可以考慮到“對抗性特徵”之間的泛化？如果是這樣的話，那麼在對抗性干擾下，對抗性訓練中的測試精度和訓練精度之間是否有很大的差距是由於對抗性特徵泛化的失敗造成的呢？
基於這些問題，我們提出了一個理論模型來證明對抗性訓練中魯棒泛化性能的變化。
貢獻：
- 我們給出了一個理論分析，證明了特徵表示方差的變化對魯棒泛化的影響程度。
- 我們發現了對抗性特徵過度擬合（AFO），即在對抗性訓練過程中，模型過度擬合對抗性特徵的現象，導致魯棒泛化能力差。
- 我們提出了對抗性Vertex混合（Vmixup），一種以協作方式進行對抗性訓練的軟標記數據增強方法。
- 我們用CIFAR10、CIFAR100、SVHN和微型成像網絡的實驗結果分析了我們提出的方法，並表明Vmixup顯著提高了最新對抗訓練方法的有效性。
方法：
1.理論貢獻：
首先，使用一個簡單的高斯數據模型來證明最小化特徵表示方差的必要性，以實現魯棒泛化。結果表明，基於魯棒泛化的最優模型參數不同於基於魯棒性和非魯棒性數據的模型參數，後者能最大限度地降低對抗性經驗風險。最後，我們通過證明，即使在我們的簡單高斯數據模型中，由於模型在對抗性例子上過度訓練，魯棒泛化性能也會下降，從而證明了大多數深部神經網絡並非沒有AFO。基於實例1和定義3中定義的線性分類器，我們證明了以下定理：
當v=1,即當兩個方差相等時，對
因此，特徵表示的方差越小，模型的魯棒泛化性能越好。
接下來，我們展示了在訓練模型以最小化對抗性經驗風險時特徵表示方差的變化。具體來說，我們利用穩健和非穩健特徵的概念，並在一個類似於[35]之前使用的模型中展示了對抗性訓練在AFO（對抗性特徵過擬合）中的結果。
這裏，x1是一個與標籤緊密相關的健壯特性，而其他特性x2,...,xd+1是與標籤弱相關的非穩健特徵。這裏，η<1是一個非負常數，它很小但足夠大，使得一個簡單的分類器獲得一個小的標準分類誤差。與魯棒學習相關的困難在於需要顯著的大樣本複雜度[31]。給出這個假設，我們用以下假設將示例2擴展到示例3
假設1：假設數據中的非穩健特徵個數爲N，由於在穩健學習中缺乏數據樣本，N個非穩健特徵中的M個特徵形成一個遠離真實分佈的樣本分佈。我們稱M個非穩健特徵爲“不足的”非穩健特徵。相反，其他非穩健特徵稱爲“充分”非穩健特徵。
在本例中，我們假設不充分的非穩健特徵形成與穩健特徵相同的樣本分佈。
我們使用以下線性分類器顯示了在
對抗訓練期間特徵表示的方差：
在我們的模型中，通過考察
（假設爲凸函數然後求導設爲0的解）
這一結果與文獻[35]的結論一致，後者假定所有非穩健特徵的樣本數足夠大。然而，對於Example3中的非魯棒特徵，我們的樣本數量有限，這可能導致結果與定理2的結果不同。因此，我們需要找到關於真分佈
的
（假設爲凸函數然後求導設爲0的解）
爲了簡單起見，我們假設在Theorem3中，分類器對具有相同分佈的特徵賦予相同的權值，並且有限可行集不會改變分類器的最優權值。因此，我們可以通過觀察魯棒學習過程中的
2.對抗性Vertex混合
當模型只針對足夠的非穩健特徵進行過度優化時，當訓練數據具有許多類型的不充分非穩健特徵時，就會產生AFO。從這個角度，我們可以想到幾種方法來解決AFO。首先，在訓練過程中構造對抗性例子的算法的多樣性可以增加。這可能是克服大樣本複雜度導致的魯棒泛化能力差的一個基本解決方案。其次，當魯棒學習的大樣本複雜度不能滿足時，標籤平滑可以直接正則化過擬合問題，如[33]。本質上，軟標記可以防止足夠的非魯棒特徵的權重變爲零。本文提出了一種利用軟標記提高魯棒泛化能力的方法。
基於Mixup [39]的啓發，通過線性插值擴展了訓練分佈。然而，與Mixup不同的是，對於每個原始輸入向量，Vmixup定義了對抗方向上的虛擬向量，並通過虛擬向量和原始輸入向量的線性插值來擴展訓練分佈。我們將虛擬向量稱爲對抗頂點（見圖1）。形式上，對抗頂點定義如下：
對於標籤平滑函數φ，我們使用現有的標籤平滑方法[33]。具體地說，在k類的情況下，算法將λ∈（0,1）賦給真類，並將
實驗結果：
在圖2中，PGD模型對PGD10的驗證精度曲線顯示，模型從大約40k步開始過度擬合，而AVmixup模型繼續改進。
Vmixup模型對CW攻擊沒有明顯的改進，對於類數較多且每類訓練示例數較少的具有挑戰性的數據集（如CIFAR100），這種趨勢變得更爲嚴重。我們可以推斷這個屬性顯示爲AVmixup使用線性插值。換言之，利用數據點之間的線性插值構造的虛擬數據的算法只能嚴格概括訓練步驟中觀察到的特徵。我們通過一個簡單的實驗來證實這個解釋，其細節和進一步的討論可以在補充材料中找到。這意味着，儘管AVmixup在對抗性訓練中顯示出對對抗性攻擊的高度魯棒性，但它可能無法抵禦其他類型的攻擊。因此，對抗性訓練過程中產生的對抗性例子的多樣性對AVmixup更爲重要。
Vmixup結合多樣性：
我們使用了一種新的方法[40]（特徵分散），它通過在對抗性訓練中考慮樣本間的關係來促進數據的多樣性。我們把特徵分散和方法Vmixup結合起來
將Vmixup與特徵分散相結合的方法比單獨使用特徵分散的方法具有更高的精度。AVmixup和特徵散射的結合不僅對PGD攻擊有顯著的改善，而且對CW攻擊也有顯著的改善。