- 博客(11)
- 收藏
- 关注
RSS订阅关于论文Safety Verification of Deep Neural Networks
其实现在对于神经网络的攻击方法已经提出了很多，但有关防御，验证的问题却还有很多值得研究的地方，除了Reluplex以外，这一篇论文中，也是提出希望基于可满足性模理论来对神经网络的鲁棒性做一些验证。这篇论文感觉已经更偏向于软件工程的范畴，所以读起来略有点恶心。 类比之前的攻击，对于神经网络的攻击大部分实际上是求解一个优化问题，优化目标是使得神经网络分类错误，并且距离原始样本点的较近（这个距...
2018-06-29 15:14:45
1080
1
原创 关于SVM的一些理解
支持向量机的理解1、模型建立SVM模型要求样本点分类正确，并且所有样本点到超平面的距离尽可能远（即使得距离超平面最近的点到超平面的距离最大化），因此可以得到如下基础优化问题：\begin{equation}\begin{aligned}&\max_{\boldsymbol{w},b,||\boldsymbol{w}||=1} &&am
2018-05-08 18:55:36
714
原创 关于EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples的理解
在本文中，作者基于之前的Carlini & Wagner攻击提出了一些新的改进，从而在确保攻击成功率的情况下，增强了攻击的可转移性。 作者仍然沿用之前C&W攻击的目标函数f(x,t)f(x,t)f(\boldsymbol{x},t)： f(x,t)=max{maxj≠t[Logit(x)]j−[Logit(x)]t,−k}f(x,t)=max{maxj≠t[Logit(x)...
2018-04-22 23:22:46
1765
原创 关于Distributional Smoothing with Virtual Adversarial Training的理解
作者受之前Goodfellow的adversarial training的启发，提出了一种叫局部分布性平滑(LDS) 的方法，这是统计模型的一个新的光滑概念，可以用作正则化术语来促进模型分布的平滑。作者将基于LDS的正则化命名为虚拟对抗训练 (VAT)。 下面简单介绍一下LDS：我们先固定模型的参数θθ\theta，假设输入空间为RIRIR^I，输出空间为QQQ，以及一个训练样本集合： D...
2018-04-17 10:22:12
5888
2
原创 关于Towards evaluating the robustness of neural networks的理解
由于之前提出的防御性蒸馏实际上是一种"梯度遮蔽"的方法，作者也给出了防御性蒸馏有效性的解释，详见之前关于防御性蒸馏的文章，和那里面说的一样；不过关于jsma中选择像素对来进行修改的方法，作者做出了不一样的解释： 假设softmax层最小的输入为-100，那么softmax层的对于该输入的输出为0，即使增加了10，由-100变成了-90，仍然为0，显然这对输出没有什么影响。而如果softmax...
2018-04-11 22:12:07
4112
2
原创 关于Adversarial Machine Learning at Scale的理解
Goodfellow基于之前的FGSM攻击方法做出了一部分改进。鉴于之前的FGSM的成功率并不高（在imageNet上仅有63%−69%63%−69%63\%-69\%）。Goodfellow做出了一些改进，从原先的以增加原始类别标记的损失函数为目标变为了减少目标类别的损失函数为目标： Xadv=X−ϵsign(∇XJ(X,ytarget))Xadv=X−ϵsign(∇XJ(X,ytarget...
2018-04-02 15:20:33
4233
原创 关于Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks的理解
为了防御之前提出的FGSM和JSMA的攻击方式，作者根据之前hinton提出的蒸馏学习的方式，再此基础上稍作修改得到了防御蒸馏模型，并理论推导了防御有效性的原因。 蒸馏学习是原先hinton提出用来减少模型复杂度并且不会降低泛化性能的方法，具体就是在指定温度下，先训练一个教师模型，再将教师模型在数据集上输出的类别概率标记作为软标签训练学生模型。而在防御蒸馏模型中，选择两个相同的模型作为教师模...
2018-03-29 23:17:34
3586
3
原创 关于The Limitations of Deep Learning in Adversarial Settings的理解
与之前的基于提高原始类别标记的损失函数或者降低目标类别标记的损失函数的方式不同，这篇文章提出直接增加神经网络对目标类别的预测值。换句话说，之前的对抗样本的扰动方向都是损失函数的梯度方向（无论是原始类别标记的损失函数还是目标类别标记的损失函数），该论文生成的对抗样本的扰动方向是目标类别标记的预测值的梯度方向，作者将这个梯度称为前向梯度（forward derivative）。即： ∇F(X)=∂...
2018-03-27 14:22:24
2502
5
原创 关于Intriguing properties of neural networks的理解
这是有关神经网络的对抗样本的首篇文章，Szegedy等人发现了神经网络的一些（两个）有趣的性质。 第一个是关于高维神经网络的神经元的含义问题，先前的一些工作认为深度神经网络的神经元都代表着某一个特征，因此他们寻找能够最大激活某一个特定神经元的样本集合。而他们的实验发现，通过寻找最大化激活某个特定神经元的方法也许并没有真正找到本质的信息。因为即便是对于某一个隐层的所有神经元的线性加权进行最大化...
2018-03-23 11:04:12
10303
3
原创 关于Explaining and harnessing adversarial examples的理解
之前在这篇论文[Intriguing properties of neural networks]中，发现了关于神经网络的一个有趣的性质，即在原样本点上加上一些针对性的但是不易察觉的扰动，就会很容易的将神经网络分类错误，并且可能以很高的置信度输出。基于原文章中L-BFGS-B不精确求解非凸问题的速度较慢，以及很多人将这个性质的原因归结为深层神经网络的高度非线性以及过拟合，Goodfellow 用...
2018-03-21 12:48:33
4551
5
原创 凸分析（1）
最近刚开始读Rockafellar的这本convex analysis，尝试记一些boyd convex optimization里面没有的东西。自己还是太弱了。很多问题还是想不明白。 关于仿射集的Tucker表示。 首先，仿射变换:Rn→Rm\mathcal{T}:R^n \rightarrow R^m的图像是Rm+nR^{m+n}中的一个仿射子集。 对于y=x=Ax+ay=\mat
2017-08-02 23:28:43
3037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人