了解最新的T恤图案背后的最新研究，该模型欺骗了先进的人体检测系统
作者|Param Raval
编译|Flin
来源|towardsdatascience
一个穿着特定类型的T恤的人如何使人身检测和人类监视系统看不见他？好吧，研究人员已经发现并利用了深度神经网络的致命弱点——一些最好的物体检测器（YOLOv2，Faster R-CNN，HRNetv2等）背后的框架。
较早的方法
在[1]中，作者设法在实际使用案例中获得了57％的基准欺骗准确性。但是，这并不是第一次尝试欺骗对象检测器。在[2]中，作者为他们的模型设计了一种方法来学习并生成可能欺骗检测器的补丁。将该贴片戴在硬纸板片（或任何平坦表面）上时，在准确度为18％的情况下，成功地避开了人体检测仪。
从[2]开始。左：成功检测到没有补丁的人。正确：拿着补丁的人将被忽略。
像这样“混淆”或“欺骗”神经网络称为进行物理对抗攻击或真实世界对抗攻击。这些攻击最初是基于复杂变化的像素值，它们使网络（基于其训练数据）把该对象标记为“未知”，或者只是忽略了它。
[2]中的作者将训练数据中的图像进行转换，应用初始补丁，然后将所得图像输入检测器。获得的目标损失用来改变在补丁中的像素值，从而使目标得分最小化。
但是，除了18％的低精度外，这种方法仅限于硬纸板之类的刚性载体，并且当捕获的框架变形或倾斜时，效果不佳。而且，当印在T恤上时，效果肯定不好。
“一个人的运动可能会导致其衣服中的皱纹持续显着变化（又称变形）” [1]。因此，开发一个通用对抗补丁的任务变得更加困难。
新的方法
[1]中的新方法采用薄板样条映射来模拟布料变形。这些变形模拟了以前使用对抗性模式所面临的现实问题。照顾不同的变形将极大地改善系统的性能，因为它将无法在更多帧中检测到图案。
理解样条线本身就足以大致了解他们要使用这种方法进行的操作。
样条曲线
你可以在此处查看更正式的数学定义
不过为了更简单的理解，我认为这篇文章做得最好。
在直观的意义上，样条曲线有助于平滑地绘制任意函数，尤其是那些需要插值的函数。样条曲线有助于对丢失的数据进行建模：在建模布料变形时，可以在连续的帧中看到面片形状的变形，我们可以使用一种称为薄板样条函数（TPS）的多项式样条线的高级形式。
看看哥伦比亚的这篇文章，它很好地解释了TPS回归。
然后，将补丁帧超时中的这些变化或位移简单地建模为回归问题（因为我们只需要预测未来帧的TPS参数）。
生成T恤图案
上述模式只是一个对抗性的例子——一个违背目标探测器用途的补丁。作者使用期望过转换（EOT）算法，该算法有助于在给定的转换分布上生成此类对抗性示例。
在这里，变换分布是由TPS变换组成的，因为我们想要复制织物轮廓的实时起皱、轻微扭曲和变化。
除了TPS变换，他们还使用物理颜色变换和人的边界框内的常规物理变换。因此，这就产生了为扰动图像建模像素值的方程。
基于所有这些复杂公式的EOT公式可以最终计算攻击损失，从而达到欺骗目标检测器的目的。
到目前为止，对这一过程的最简单的解释是针对单目标探测器。作者还提出了一种多目标检测器的策略，包括将最小-最大优化应用於单个目标检测器方程。
最后
经过对自己的数据集进行训练和测试后，结果令人印象深刻。
TPS的使用也有很大的改进：
未来是什么
- 在东北大学的一篇文章中，[1]的作者之一薛琳澄清说，他们的目标并不是为了偷偷地不被探测器发现而制造一件t恤衫。
“我们研究的最终目标是设计安全的深度学习系统，……但第一步是对其漏洞进行基准测试。”—薛琳
- 当然，作者们意识到他们的结果有很大的改进空间，并提到将进行进一步的研究来实现这一目标。
参考文献
[1]: Xu, Kaidi, et al. Adversarial t-shirt! evading person detectors in a physical world (2019), arXiv preprint. arXiv-1910.11099
PDF: https://arxiv.org/pdf/1910.11099.pdf
[2]: Thys, Simen, Wiebe Van Ranst, and Toon Goedemé, Fooling automated surveillance cameras: adversarial patches to attack person detection (2019), Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.
PDF: https://arxiv.org/pdf/1904.08653.pdf
[3]: Athalye, Anish, and Ilya Sutskever, Synthesizing robust adversarial examples (2017), arXiv preprint arXiv:1707.07397.
PDF: https://arxiv.org/pdf/1707.07397.pdf
原文链接：https://towardsdatascience.com/avoiding-detection-with-adversarial-t-shirts-bb620df2f7e6
欢迎关注磐创AI博客站：
http://panchuang.net/
sklearn机器学习中文官方文档：
http://sklearn123.com/
欢迎关注磐创博客资源汇总站：
http://docs.panchuang.net/