瞭解最新的T恤圖案背後的最新研究，該模型欺騙了先進的人體檢測系統
作者|Param Raval
編譯|Flin
來源|towardsdatascience
一個穿着特定類型的T恤的人如何使人身檢測和人類監視系統看不見他？好吧，研究人員已經發現並利用了深度神經網絡的致命弱點——一些最好的物體檢測器（YOLOv2，Faster R-CNN，HRNetv2等）背後的框架。
較早的方法
在[1]中，作者設法在實際使用案例中獲得了57％的基準欺騙準確性。但是，這並不是第一次嘗試欺騙對象檢測器。在[2]中，作者爲他們的模型設計了一種方法來學習並生成可能欺騙檢測器的補丁。將該貼片戴在硬紙板片（或任何平坦表面）上時，在準確度爲18％的情況下，成功地避開了人體檢測儀。
從[2]開始。左：成功檢測到沒有補丁的人。正確：拿着補丁的人將被忽略。
像這樣“混淆”或“欺騙”神經網絡稱爲進行物理對抗攻擊或真實世界對抗攻擊。這些攻擊最初是基於複雜變化的像素值，它們使網絡（基於其訓練數據）把該對象標記爲“未知”，或者只是忽略了它。
[2]中的作者將訓練數據中的圖像進行轉換，應用初始補丁，然後將所得圖像輸入檢測器。獲得的目標損失用來改變在補丁中的像素值，從而使目標得分最小化。
但是，除了18％的低精度外，這種方法僅限於硬紙板之類的剛性載體，並且當捕獲的框架變形或傾斜時，效果不佳。而且，當印在T恤上時，效果肯定不好。
“一個人的運動可能會導致其衣服中的皺紋持續顯着變化（又稱變形）” [1]。因此，開發一個通用對抗補丁的任務變得更加困難。
新的方法
[1]中的新方法採用薄板樣條映射來模擬布料變形。這些變形模擬了以前使用對抗性模式所面臨的現實問題。照顧不同的變形將極大地改善系統的性能，因爲它將無法在更多幀中檢測到圖案。
理解樣條線本身就足以大致瞭解他們要使用這種方法進行的操作。
樣條曲線
你可以在此處查看更正式的數學定義
不過爲了更簡單的理解，我認爲這篇文章做得最好。
在直觀的意義上，樣條曲線有助於平滑地繪製任意函數，尤其是那些需要插值的函數。樣條曲線有助於對丟失的數據進行建模：在建模布料變形時，可以在連續的幀中看到面片形狀的變形，我們可以使用一種稱爲薄板樣條函數（TPS）的多項式樣條線的高級形式。
看看哥倫比亞的這篇文章，它很好地解釋了TPS迴歸。
然後，將補丁幀超時中的這些變化或位移簡單地建模爲迴歸問題（因爲我們只需要預測未來幀的TPS參數）。
生成T恤圖案
上述模式只是一個對抗性的例子——一個違背目標探測器用途的補丁。作者使用期望過轉換（EOT）算法，該算法有助於在給定的轉換分佈上生成此類對抗性示例。
在這裏，變換分佈是由TPS變換組成的，因爲我們想要複製織物輪廓的實時起皺、輕微扭曲和變化。
除了TPS變換，他們還使用物理顏色變換和人的邊界框內的常規物理變換。因此，這就產生了爲擾動圖像建模像素值的方程。
基於所有這些複雜公式的EOT公式可以最終計算攻擊損失，從而達到欺騙目標檢測器的目的。
到目前爲止，對這一過程的最簡單的解釋是針對單目標探測器。作者還提出了一種多目標檢測器的策略，包括將最小-最大優化應用於單個目標檢測器方程。
最後
經過對自己的數據集進行訓練和測試後，結果令人印象深刻。
TPS的使用也有很大的改進：
未來是什麼
- 在東北大學的一篇文章中，[1]的作者之一薛琳澄清說，他們的目標並不是爲了偷偷地不被探測器發現而製造一件t恤衫。
“我們研究的最終目標是設計安全的深度學習系統，……但第一步是對其漏洞進行基準測試。”—薛琳
- 當然，作者們意識到他們的結果有很大的改進空間，並提到將進行進一步的研究來實現這一目標。
參考文獻
[1]: Xu, Kaidi, et al. Adversarial t-shirt! evading person detectors in a physical world (2019), arXiv preprint. arXiv-1910.11099
PDF: https://arxiv.org/pdf/1910.11099.pdf
[2]: Thys, Simen, Wiebe Van Ranst, and Toon Goedemé, Fooling automated surveillance cameras: adversarial patches to attack person detection (2019), Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.
PDF: https://arxiv.org/pdf/1904.08653.pdf
[3]: Athalye, Anish, and Ilya Sutskever, Synthesizing robust adversarial examples (2017), arXiv preprint arXiv:1707.07397.
PDF: https://arxiv.org/pdf/1707.07397.pdf
原文鏈接：https://towardsdatascience.com/avoiding-detection-with-adversarial-t-shirts-bb620df2f7e6
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方文檔：
http://sklearn123.com/
歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/