对抗样本攻击实际还表现出以下4类特征

雨后彩虹呀 · 发表于 2023-6-2 09:13:33

对抗样本攻击实际还表现出以下4类特征

1、不止是深度学习所特有，传统的一些机器学习算法如SVM（支持向量机）、决策树等算法，也会存在此问题。

2、针对物理世界的攻击：前面提到的对抗样本图像，都是在数字世界中进行的，其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫，表面印有特殊图案，穿戴者可躲避AI目标检测系统，使其无法检测出人体。

3、音频和文本识别也存在对抗样本：如在进行语音识别过程中，如果此时背景音乐是经过精心设计的，那么就有可能使识别结果错误，甚至按照攻击者的意图来输出结果。

在文本处理任务中，也存在类似问题，在文本段落中，增加一些特殊的词汇或标点，或者在不改变语义情况下调整个别句子，人类不易察觉，但AI模型却无法按照预期输出正确的结果。

4、对抗样本的正面应用：前面说了那么多的对抗样本的负面应用，其实合理的使用该技术，也能产生正向的价值。比如日常生活中经常接触到的验证码机制，采用对抗样本的技术，就可让黑灰产业的AI验证码识别模型的识别率大幅下降。

对抗攻击的防御方法

对于对抗样本进行分析，尤其是图像样本，经过放大后还是可以观察到一些细微的噪声，导致图像细节有些变化。因此，很自然的想法就是在图像输入到AI模型之前，先进行图像滤波、去噪的预处理，将图像进行一定程度的修复还原，起到一定程度的防御作用。

另外一种思路，就是可以将各种类型的对抗样本增加到AI模型训练数据集中，这样训练出来的模型，先天就对部分AI对抗样本具有免疫功能，一定程度上提高系统的鲁棒性，但对抗样本的生成方法层出不穷，难以收集完备的对抗样本数据集。

还有一些方法是通过修改AI模型的网络结构，达到抵抗攻击的目的，感兴的趣读者可以阅读相关文献。

AI应用安全的问题，直接关系到AI应用在各行业领域的推广，对抗样本攻击是AI安全的一个重要方向，越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来，通过广大科研工作者的努力，相信会厘清对抗攻击方法的背后机理，最终可以形成一种统一高效的防御体系，为AI生态保驾护航。

显示链接相关资讯可以参考新华三官网，新华三集团作为数字化解决方案领导者，致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业，新华三通过深度布局“芯-云-网-边-端”全产业链，不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力，提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案，以及端到端的技术服务。同时，新华三也是HPE®服务器、存储和技术服务的中国独家提供商。

		自动登录	找回密码
密码			立即注册