如何對聯邦學習進行後門攻擊?

如何對聯邦學習進行後門攻擊?

後門攻擊:針對訓練進行攻擊,同時其他訓練正常進行。如:只將綠色的車識別爲鳥,其他顏色的車預測結果都正常。可以攻擊模型的同時保持高準確率。

  1. 定向攻擊和模型攻擊
  2. 只需控制聯邦學習中幾個參與者即可實現攻擊

 

文中提出聯邦學習中雲服務器端有安全聚合協議,規定雲服務器沒有權利檢查各個客戶端的模型更新進度。

客戶端:

由於聯邦學習場景中參與聯合訓練的客戶端數量上千,且客戶端異構性較大,所以一些客戶端訓練出的較差的模型參數也不能丟掉,所以對異常檢測來說較難區分出受攻擊和未受攻擊的模型,且很難準確找出攻擊者。

但後門攻擊的模型可能隨着平均聚合,效果減弱甚至抵消。且攻擊者控制的節點不一定沒次都被選中參與訓練。造成全局模型很快就忘記後門攻擊的存在。

 

模型替換:將惡意的全局模型X替代新的全局模型G^(t+1):

本地數據與全局數據非獨立同分布,本地模型可能遠離目前的全局模型。全局模型收斂是,這些偏差開始抵消,因此,控制後門攻擊模型的比重:

權重縮放爲γ=n/η,以確保後門在平均化中能夠存活,最終導致全局模型被 X 取代。

 

改善持久性並規避異常檢測:

本文提出的攻擊實際上是一種雙任務學習,即全局模型在正常訓練時學習主任務,而後門任務只在攻擊者被選中的回合中學習主任務。該雙任務學習的目標是在攻擊者的回合後仍然保持這兩個任務學習的高準確率。

攻擊者使用這種方法創建一個看起來不異常的模型,然後用其他參與者的模型平均後替換全局模型。

通過添加異常檢測項 L_ano 來修改目標(損失)函數:

攻擊者的訓練數據同時包括正常輸入和後門輸入,因此 L_class 能夠同時兼顧主要任務和後門任務的準確性。L_ano 可以是任何類型的異常檢測,例如權重矩陣之間的 p 範數距離或更高級的權重可塑性懲罰。超參數α控制迴避異常檢測的重要程度。

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章