- 博客(27)
- 收藏
- 关注
RSS订阅
原创 小白控制算法之自抗扰调参经验总结
最近做的项目用到了自抗扰，尝试联系一些相关领域的老师，无奈似乎有所保留，只得自己从头研究起。讲道理，无论是复杂的系统，还是超过9个参数的调节，整个调程序和调参的过程都不是特别顺利。但是看到自抗扰的鲁棒性能之后，还是颇为欣慰。粗调后整个系统虽然在冷启动时期的表现跟PI控制相差不多，但是对抗突变干扰的能力却碾压了PI控制。 在这里记录一下大体调节的心路历程，祭奠这俩周逝去的青春（雾）：跟踪微分器参数...
2019-10-30 15:08:46
6344
14
原创 对卡尔曼滤波中增益系数K表达式的理解
本人研一新生，就读于天津某大学精仪学院，第一次发帖，就把csdn当成自己的学习笔记来记录叭。这学期开了现代信号处理这门课，大作业是写一篇review，我在学习卡尔曼滤波的过程中，查阅了大部分的博客和论文，发现很多都是介绍了卡尔曼滤波的五个核心公式，执行过程，然后举个栗子附一段代码。可能本人理解能力比较差，最开始只知道怎么用，研究了一段时间才明白“为什么”要这么用。我觉得上面五个核心公式的实际意...
2019-01-09 20:25:36
16787
5
原创 个人记录
1torch.nn中的ModuleList和Sequential取舍 ：①需要改层名：Sequential 不需要写forward （通常用于简单网络积木块的书写）②循环写重复性层/forward想自己操作一下; ModuleList 但是得写forward
2021-04-20 14:29:38
127
原创 【scipy.sparse矩阵转torch.sparse】稀疏矩阵pytorch的转换
values =X_train.dataindices = np.vstack((X_train.row, X_train.col))i = torch.LongTensor(indices)v = torch.FloatTensor(values)shape = X_train.shapeX_train=torch.sparse.FloatTensor(i, v, torch.Size(shape))注：转换为scipy.sparse：.tocoo（）即可...
2020-12-24 21:26:36
4165
原创 配置python与C++接口问题
本周有一项工作是在一个没有node feature的数据集上复现k-GNN，从Github上找到k-GNN的官方源码进行setup.py，但是源码中寻找高阶邻居子图的函数是用C++写的，于是安装的时候就遇到了各种问题，调了俩天并没有解决，精简一下调试过程：①问题： 命令行cd到github下载的kgnn库文件夹，运行：python setup.py install。报错找不到C++的编译器。尝试： 先将cpp_extension.py中的默认空编码utf8编码改成’ gbk’（即compiler_in
2020-12-21 11:53:27
557
2
原创 重新安装python3.9 pycharm遇到的坑
今天开启新项目 电脑python版本参差不齐 之前又是conda又是各种虚拟环境 于是今天全部删除重新安装python3.9。遇到很多坑，有的解决了都不知道怎么回事。先记录俩个。1 python3.9加入环境变量时，不仅exe的文件夹要加，script也要加进去，不然cmd-python找不到。2 安装3.9在python3.9文件夹中，pycharm新建项目添加现有解释器选择这个，提示invaild！我人傻了，百度半天没百度到答案，把python3.9的文件夹名字改成python就好了。这，，，有没
2020-12-17 12:52:06
4794
2
原创 2020年最新对抗攻击论文泛读 adversarial attack
1.Universalization of any adversarial attack using very few test examples思想：用目前的攻击方法（FGSM,DeepFool,etl）获取几张不同的图的攻击成功的样本，将其组合成矩阵，对矩阵进行主成分分析、奇异值分解，获取他们的共同点，这样便可以得到泛用的对抗攻击个体。[根据攻击方式的不同分为SVD-FGSM,SVD-DeepFool，etl]主要贡献：算法：效果：总结：...
2020-07-20 11:45:50
1524
3
原创 【黑盒攻击笔记】网格划分降低参数下L∞约束 + 进化算法＆贪婪算法俩篇：Tiling and Evolution Strategils＆Parsimonious
这次阅读的俩篇文章是基于L∞约束的《Parsimonious Black-Box Adversarial Attacks via Efficient Combinatorial Optimization》和《Yet Another but More Efficient Black-Box Adversarial Attack: Tiling and Evolution Strategies》,放在一...
2020-03-09 11:54:16
968
原创 整理一下阅读论文中遇到的地道的英语表达~
slight detour 回顾We first make a slight detour and introduce the local search procedure.（detour译为绕路）
2020-03-08 14:47:08
432
原创 【迁移攻击笔记】梯度/Loss/Query都不用也可以攻击！Enhancing Cross-task 对抗Black-Box迁移 with Dispersion Reduction
亮点：①不需要目标模型的任何访问信息就可以攻击。②攻击方法可以跨任务：同一张图，生成的攻击对象适用于各种CV检测。更加符合实际。核心思想：CV大类的检测网络，往往都是捕捉特征进行判断。因此文章近似把深度网络分成俩部分：**特征捕捉+仿射变换：①特征捕捉是捕捉图片的底层特征，文中的思想是各个网络捕捉到的可能都差不多（捕捉到的特征为向量a**）。②仿射变换（=W*a）为分类信息，各个网络差...
2019-12-10 18:47:41
777
原创 【迁移攻击笔记】Curls & Whey: Boosting Black-Box Adversarial Attacks
核心思想：①Curls迭代：梯度下降/上升方向 + 二分法优化 + varience-reduced优化
2019-12-01 16:40:49
564
原创 【黑盒攻击笔记】查询次数の极大减少！Sign-OPT: A Query-Efficient Hard-label Adversarial Attack（对比HopSkipJumpAttack：HSJA）
核心思想：对于边界点，通过在一些方向上移动的测试，确定梯度方向的大致位置。如图:①想法：对于扰动方向θ在与边界交点画圆，我们希望在标签改变的方向（B方向）的圆轨迹上确定点作为下一个扰动方向θ’，最小扰动肯定比θ好。②问题：在只知道改变后标签内容的硬黑盒攻击下，如何确定B方向呢？③方法：只好多试几次取平均来估计喽~算法内容：①首先，针对初始图像x0，对任意扰动方向θ定义问题g（θ）：...
2019-11-28 11:09:38
1864
4
原创 【黑盒攻击笔记】2019贝叶斯优化攻击样本BLACK-BOX ADVERSARIAL ATTACK WITH TRANSFERABLE MODEL-BASED EMBEDDING
11
2019-11-27 15:30:51
1914
4
原创 【迁移攻击笔记】2019.11分批次集成攻击A New Ensemble Adversarial Attack Powered by Long-term Gradient Memories
0.总览上交和阿里巴巴团队的一篇我觉得是把集成迁移攻击研究透了的文章。每个trcik都有很复杂的数学支撑，1.Introduction①目前主流的迁移方法：ensemble-based 和 GAN， 对算力和内存要求高。②因此提出SMBEA（Serial Mini-Batch Ensemble Attack），基于俩个先验：模型迁移相当于网络泛化；边界相似度比扰动大小的限制更重要。③将集...
2019-11-26 16:31:45
1268
原创 【迁移攻击笔记】动量逻辑集成！MI-FGSM！Boosting Adversarial Attacks with Momentum
1.更新策略选择①optimization-based和多步方法IGSM：成功率高；转移性低。（可能“过拟合”or陷入局部最优）②单步方法FGSM： 成功率低；转移性高。所以用: MI-FGSM：2.集成方式选择MI-FGSM还不够，得利用集成网络来进一步提高成功率。利用的方式有3种待测试：①输入softmax的logits②softmax输出的prediciton③计算得到的...
2019-11-25 20:08:33
4755
原创 【迁移攻击笔记】图像＆模型同时迁移2017Universal adversarial perturbations
核心思想：这篇17年的文章核心思想很简单：初始化v=0没有扰动，然后对于每个样本加上扰动v后：分类错误，则下一个样本;分类正确，寻找一个微小的扰动 ，使得分类错误。不断重复，直到在这样本中错误样本满足错误率。所以可以理解成最原始最暴力的迁移攻击方法。然而最原始最暴力的方法往往也是最泛用的，所以对全数据集全网络都能通用。算法和示意图如下：图像迁移和网络迁移结果如下：数学解释：首...
2019-11-25 16:41:29
406
1
原创 【迁移攻击笔记】梯度平滑攻击！UNDERSTANDING AND ENHANCING THE TRANSFERABILITY OF ADVERSARIAL EXAMPLES
1.主要内容①研究了：网络结构、大小和精度，loss梯度的局部平滑性 对 迁移率 的影响。②提出了局部光滑方法：用各个点周围的梯度代替各个点本身的梯度。（防止边界过抖影响迁移率）2.Introduction：①对抗转移是不对称的，模型A生成的对抗实例很容易转移到模型B，反之可能不成立。（我觉得这一点很好解释，大边界到小边界很好转移，反之不行，不知道为什么作者说这一点说明边界相似性没法解释）...
2019-11-25 15:37:49
917
原创 【迁移攻击笔记】数据集の变化→提高迁移率！Improving Transferability of Adversarial Examples with Input Diversity
1.作案动机已知：迭代攻击（eg.I-FGSM）过拟合且易陷入局部最优，不适合迁移。单步攻击（eg.FGSM）欠拟合，不适合迁移。对输入进行图像处理可以有效抵抗对抗攻击。推测：图像处理之后进行训练，提高迁移率。2.作案手段①先回顾FGSM和I-FGSM和MI-FGSM：②再各将其中对x’的梯度按p的概率换成对T（x’）的梯度：总图如下：③攻击集成网络：用的就是...
2019-11-23 09:24:36
746
原创 【迁移攻击笔记】模型决策空间の几何规律！集成攻击の提出！DELVING INTO TRANSFERABLE ADVERSARIAL EXAMPLES AND BLACK-BOX ATTACKS
核心思路：单个模型攻击单个模型：提出失真率RMSD：①基于优化的（Adam）方法②基于梯度的方法（FG，FGS等）用上面俩种方法产生对抗扰动来迁移攻击，结果为：非目标：目标：相当差，几乎没用。增大扰动也不行。此外，作者还特地验证一下对抗样本最小可转移RMSD，得出结论FG比FGSM更适合转移：2.重点来了：集成攻击：（用4个白盒模型生成攻击对象攻击一个黑盒模型）：①基...
2019-11-21 20:37:13
973
原创 【迁移攻击笔记】ILA中间层攻击！对抗扰动の再扰动！EnhancingAdversarialExampleTransferability with an IntermediateLevelAttack
核心思想：注意：以下内容顺序与论文完全不符，我按照自己的思路写的，所以开头对不上不必惊慌。① 已知神经网络越往后越线性，所以对抗攻击中模型迁移的大问题背景下，肯定越线性越好迁移。② But！源模型往往最后过度线性了（可以理解为源模型对目标模型训练中的过拟合），所以最好也不要选太靠后的模型。③ 很多攻击方法诸如FGSM，捕捉梯度的，都是越往后层，对对抗方向的把握越好的。所以这些攻击方法基本都...
2019-11-20 21:32:28
1396
原创 【对抗攻击笔记】泰勒展开！进击の信任域！Trust Region Based Adversarial Attack on Neural Networks
论文链接：https://arxiv.org/abs/1812.06371?context=cs.LG1 核心思想：计算扰动前后的标签概率差与扰动带来的系统泰勒展开差值的比例，来判断当前约束大小是否合适。如果比例大，说明这个区域可以信任，继续增大扰动量，反之减小扰动量。其中分母为：2 工作：将对抗攻击问题转化为TR优化问题，结果优于FGSM和deepfool，扰动小。（但deepfo...
2019-11-18 15:41:42
437
原创 阅读文献记录：像素攻击
ZOO:Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models核心思想：利用正负扰动带来的概率差估算一阶导（梯度）和二阶导，再利用ADAM或者牛顿法等方法更新x。本质为通过估算梯度将黑盒转换为白盒过程。论文内容：①INTRODUCT...
2019-11-14 14:05:31
1650
原创 李沐《动手学深度学习》Pytorch实现记录（2）第五、七、八章
动手学深度学习阅读＆复现动手学深度学习在线阅读地址动手学深度学习pytorch实现地址第五章 卷积神经网络
2019-10-24 20:45:08
292
原创 PyTorch中文手册学习记录（1）第一章
pytorch中文手册阅读＆复现2019-10-080 pytorch可以使用GPU的numpy ＆ DL平台1 tensors创建tensorfrom __future__ import print_functionimport torchx=torch.zeros(2,3,dtype=torch.long)print(x)y=torch.tensor([3,2,1]...
2019-10-10 16:39:37
273
原创 PyTorch中文手册学习记录（2）第二、三章
P y T o r c h 中 文 手 册 阅 读 ＆ 复 现2019-10-08第一章 官方60分钟教程总结
2019-10-10 16:39:13
256
原创 python使用碰壁
今天重新开坑csdn，每天一道leetcode训练思维+记录python使用过程中的碰壁欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功...
2019-10-08 14:03:15
373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人