來源：專知
本文約2000字，建議閱讀5分鐘本文首次綜述了深度學習中的中毒攻擊方法，回顧深度學習中的中毒攻擊，分析了此類攻擊存在的可能性，並研究了現有的針對這些攻擊的防禦措施。最後，對未來中毒攻擊的研究發展方向進行了探討。
深度學習是當前機器學習和人工智能興起的核心。隨着深度學習在自動駕駛、門禁安檢、人臉支付等嚴苛的安全領域中廣泛應用，深度學習模型的安全問題逐漸成爲新的研究熱點。深度模型的攻擊根據攻擊階段可分爲中毒攻擊和對抗攻擊，其區別在於前者的攻擊發生在訓練階段，後者的攻擊發生在測試階段。本文首次綜述了深度學習中的中毒攻擊方法，回顧深度學習中的中毒攻擊，分析了此類攻擊存在的可能性，並研究了現有的針對這些攻擊的防禦措施。最後，對未來中毒攻擊的研究發展方向進行了探討。
鏈接：
http://jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1
隨着人工智能技術的不斷髮展, 深度學習的研 究成果在自然語言處理[1]、圖像識別[2]、工業控制[3]、 信號處理[4]、安全[5]等領域得到廣泛應用。其中安全 應用尤其重要, 若在自動駕駛[6]、軍事作戰[7-8]、輿論 戰[9]等安全領域的數據或算法存在漏洞, 則將帶來 重大的人身傷害和財產損失。例如, 僅 2018 年全球 發生了 12 起自動駕駛車禍, 包括 Uber、特斯拉、福 特、谷歌等自動駕駛研發 AI 巨頭, 因此研究針對深 度學習模型的攻擊進而發現模型中存在的漏洞並進 行防禦至關重要。
2017年2月, 牛津大學召開研討會, 共同探究人工智能的發展可能帶來的安全問題。2018年2月, 360 安全研究院發佈《AI 安全風險白皮書》, 從深度學 習系統軟件的複雜度、深度學習模型的逃逸攻擊和 深度學習系統數據流的安全三個角度解讀 AI 系統存 在的安全問題。同時, OpenAI、人類未來研究所、牛 津大學、劍橋大學等共同發佈安全報告, 充分探討了 “面對人工智能惡意使用時所需要進行的預測、預防 和緩解方法”。2018 年 9 月, 美國發布《機器崛起: 人 工智能及對美國政策不斷增長的影響》的 AI 白皮書, 分析了在 AI 應用方面面臨的挑戰, 尤其是惡意使用 問題, 同年12 月, 美國政府情報研究機構 DARPA 在 採購文件中提出檢測人工智能算法存在漏洞, 避免 中毒攻擊的威脅。
深度學習是目前人工智能機器學習最常用的技 術之一, 目前針對深度學習的攻擊可以根據攻擊的 階段分爲中毒攻擊和對抗攻擊。對抗攻擊發生在模 型測試階段, 攻擊者通過在原始數據上添加精心設 計的微小擾動得到對抗樣本, 從而對深度學習模型 進行愚弄, 使其以較高置信度誤判的惡意攻擊。中毒 攻擊發生在模型訓練階段, 攻擊者將中毒樣本注入 訓練數據集, 從而在訓練完成的深度學習模型中嵌 入後門觸發器, 在測試階段輸入毒藥樣本, 則觸發 攻擊爆發。本文主要針對中毒攻擊進行研究, 對於逃 避攻擊的相關研究可以參考論文[10-13]。
中毒攻擊是由 Barreno 等人[14]開始提出的, 隨後 Biggio B[15], Kloft M[16], Shafahi A[17], Koh & Liang[18], Mahloujifar[19], Xiao H[20], Gu T[21], Yang C[22], Alfeld S[23]以及其他研究人員[24-27]也開始對中毒攻擊進行 研究, 包括 Liu [28], Chen [29]和 Turner [30]提出了後 門攻擊。中毒攻擊已經影響惡意軟件檢測[31-32]、協 同過濾系統[33]、人臉識別[34]、自動駕駛[35]、醫療保 健[36]、貸款評估[37]和各種其他應用場景。雖然人們 很早就開始對人工智能的中毒攻擊進行研究[38-40], 本文主要對計算機視覺領域及其他一些領域的中毒 攻擊進行總結分析。隨着中毒攻擊研究的開展, 中毒 攻擊的防禦也隨之開展, 針對中毒攻擊的防禦主要 集中在對訓練集進行檢測並去除中毒樣本[41-46]。例 如 Yang C 等人[22]針對會使得檢測器檢測率明顯下降 的中毒攻擊, 提出了一種基於損失的防禦對策, Liu K 等人[47]提出了一種結合剪枝和微調防禦的精細剪 枝防禦, Shen S[48]提出一種對協作式深度學習系統 的中毒攻擊進行防禦的 AUROR 防禦方法。
本文的結構組織如下。本文首先在第 1 節引言 部分介紹了深度學習模型及其攻擊與防禦的研究概 況; 第 2 節對攻防的理論進行分析, 具體包括攻擊原 理分析、統一建模、普適性分析和防禦原理分析; 第 3 節對中毒攻擊的方法進行介紹, 根據下毒的方式分 別從對數據下毒和對模型下毒兩種類型對中毒攻擊 進行介紹和比較; 第 4 節分析不同領域中中毒攻擊 存在的可能性; 第 5 節概述了中毒攻擊的防禦方法; 第 6 節研究方向與展望, 主要從新技術、新領域、新 應用、新防禦等多方面進行開展; 第 7 節結論, 對目 前深度學習模型的中毒攻擊與防禦進行了總述。
編輯：文婧
