再给一碗吧-CSDN博客

原创近期论文安排：可解释深度学习

（1）2018年尾提出来的，XAI（可解释AI）的重要性。（但是讲的挺水的）https://www.jianshu.com/p/425822623ef7（2）阿里社区论文https://developer.aliyun.com/search?q=%E5%8F%AF%E8%A7%A3%E9%87%8A%E6%80%A7&spm=5176.12901015.0.i12901015.45bc525cdlKBKQ先看看这些：【计算机视觉】究竟谁能解决可解释性 AI？htt..

2020-09-15 09:42:53 324 4

原创 python 批量截取图片并保存原图片名

前言最近需要对图片进行批量截取处理，所以写下来作为笔记代码（1）对每张图片都需要点选然后截图import matplotlib.pyplot as pltimport osfrom PIL import Imagepath = "./"filelist = os.listdir(path) # 列举当前文件夹所有文件for pictureName in filelist: if pictureName[-3:] != "png": continue

2022-03-13 17:25:43 3822

原创 Lasso和Group Lasso的闭式解

优化目标其中求导，得到其中得到对于在深度学习中group LASSO而言来压缩的时候，问题转换为求解：其中是可学习参数，可以看做是一个向量。是training loss，是正则化项。把分为组，来做LASSO，有，也就是说对每一组内部使用norm，形成一个元向量，然后再这元向量使用 norm。因为 norm肯定是大于等于零的了，所以外层不需要加绝对值了。一般来说，是一个神经网络，属于严重非凸问题，可以用model function来近似，问题就转换为：

2022-03-08 16:15:25 1930

原创 [机器学习]Lasso，L1范数，及其鲁棒性

前言：本文包括以下几个方面，1. 介绍Lasso，从最初提出Lasso的论文出发，注重动机；2. L1和L2范数的比较，注重L1的稀疏性及鲁棒性；3. 从误差建模的角度理解L1范数1. lasso最早提出Lasso的文章，文献[1]，已被引用n多次。注：对于不晓得怎么翻译的英文，直接搬来。文献[1]的动机：在监督学习中，ordinary least squares(OLS) estimates 最小化所有数据的平方残差（即只是让经验误差最小化），存在2个问题：1是预测误差（predic

2021-11-09 00:39:57 1525 1

原创 Convex-ConCave Procedure（CCCP）凹凸规划高效的问题分解求解方法

最近接触了 ramp loss这个loss 优劣参半，很烦的就是这个函数它虽然连续和鲁棒，但是不可微非凸DC分解以及 CCCP规划在这个问题上就蛮适用CCCP规划，本质上是寻找两个凸函数之间梯度相同的两个点，即逐步减小两个函数之间的距离，使其收敛到距离最接近的点。Convex-Concave procedure(凹凸过程)CCCP是一种单调递减全局优化的方法。其形式可以表示为凸函数-凸函数或者凸函数+凹函数。————————————一、问题模型：DC(difference of

2021-10-07 01:42:35 3392 8

原创向量型求导工具-Pytorch

1.标量对向量求导标量可以直接对向量求导import torchp = torch.tensor([2.0, 3.0, 5.0], requires_grad=True)q = p*2+1z = torch.mean(q)z.backward()print(p.grad)print(p.grad*p)结果：tensor([0.6667, 0.6667, 0.6667])tensor([1.3333, 2.0000, 3.3333], grad_fn=<MulBackward0&

2021-09-14 10:24:00 586

原创机器学习 - 计算 Log-Sum-Exp

参考 https://blog.csdn.net/u013066730/article/details/81949957计算 Log-Sum-Exp[原文-Computing Log-Sum-Exp]本文的计算技巧是有效的，但在机器学习课程上没有明确提到.这样保证了取指数时的最大值为0.这种技巧使得绝对不会出现上溢(overflow)，即使其余的下溢(underflow)，也可以得到一个合理的值....

2021-05-12 09:55:55 587

原创（单纯性和L1 ball）投影梯度法

投影梯度方法Efficient Projections onto the ℓ1-Ball for Learning in High Dimensions[2008]高维数据的有效投影文章给出了求解：1.投影到单纯形2.投影到L1-ball的算法。下图只给出了复杂度为O(nlogn)的算法,关于算法复杂度为O(n)的算法，请参考文章后面的详细内容。下面是matlab代码参考% 测试clearvars;clc;z=1;%v=[4 4]';v=[-0.5 1]';w=proj2_L1ba

2021-03-23 11:06:46 2601

原创内点法介绍（Interior Point Method）障碍函数+对偶内点法

参考网址：https://blog.csdn.net/dymodi/article/details/46441783系统地介绍了两种内点法：障碍函数和原始-对偶法

2021-03-09 08:58:11 1800

原创凸分析记录

https://zhuanlan.zhihu.com/p/92282341

2021-02-25 13:37:07 248

原创指示函数与符号函数

1、指示函数数学中，指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。　　指示函数有时候也称为特征函数。现在已经少用这一称呼。概率论有另一意思迥异的特征函数。可以说为真输出1，为假输出0.2、符号函数数学上的Sgn 函数返回一个整型变量，指出参数的正负号。语法Sgn(number)， number 参数是任何有效的数值表达式。返回值如果 number 大于0，则Sgn 返回1；等于0，返回0；小于0，则返回-1。number 参数的符号决定了Sgn 函数的返回值..

2021-02-15 10:50:55 4506

原创【优化】利普希茨连续（Lipschitz continuous）及其应用

利普希茨连续（Lipschitz continuous）利普希茨连续的定义是：如果函数f ff在区间Q QQ上以常数L LL利普希茨连续，那么对于x , y ∈ Q x, y \in Qx,y∈Q，有：∣ ∣ f ( x ) − f ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f(x) - f(y)|| \leq L||x - y||∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣其中常数L LL称为f ff在区间Q QQ上的Lipschitz常数。除了Lipschitz continu

2021-02-15 10:45:27 2113

原创随机方差缩减方法 - SAGA 与非凸近端变体 ProxSAGA: proximal SAGA

转载自https://blog.csdn.net/u011961856/article/details/77771493SGD（Stochastic Gradient Descent）随机梯度下降算法对于目标函数:目标函数优化步骤:1.随机旋转索引j,即函数fj(x)fj(x);2.更新参数x,采用sgd公式为:SAGA(STOCHASTIC VARIANCE REDUCTION METHODS)随机方差缩减方法目标函数优化步骤:1.随机旋转索引j,即...

2021-02-07 21:56:36 1397

原创数据挖掘课程论文代码

# 导入所需模块from keras.layers import Conv2D, MaxPool2D, Flatten, Dropout, Densefrom keras.losses import categorical_crossentropyfrom keras.optimizers import Adadeltafrom keras.utils import to_categoricalimport numpy as npimport pandas as pdfrom sklearn.model_s

2020-12-17 20:11:37 4774

原创知识总结：经验风险最小化

1. 损失函数和风险函数这句话要理解：损失函数L（）度量模型一次预测的好坏，风险函数R（）度量平均意义下模型预测的好坏。常用的损失函数有以下几种：（1）0-1损失函数（0-1 loss function）（1）（2）平方损失函数（quadratic loss function） ...

2020-11-24 22:16:21 4182

原创土翻译：卫星图像开放式土地覆盖分类的典型判别学习

卫星图像开放式土地覆盖分类的典型判别学习简述：卫星图像的土地覆盖分类是分析地球表面的重要步骤。现有模型假设一个封闭的集合设置，其中训练类和测试类都属于同一标签集。然而，由于卫星图像具有独特的特点，覆盖材料的覆盖面积极其广阔，因此训练数据必然是不具有代表性的。本文研究了在测试过程中，在保持已知类别性能的同时，识别未知类样本的开放式土地覆盖分类问题。尽管数据本身就是一个分类问题，但数据...

2020-11-18 16:30:00 1011

原创 (四) 开集识别学习 open-set recognition(OSR)

前言：目前基于CNN方式的开集识别的方案最为经典的要数openmax方法，但是目前所能查到的资料对openmax解读的资料实在是太少，所以这里通过对openmax的实现过程进行讲解以达到理解的目的1、开集识别学习路径开始根据自己的遇到的情况进行查询，发现开放长尾识别问题中的开放问题就是目前自己遇到的问题，下面这张图很清晰的展示常见任务的划分标准，后续查询到了自己遇到的问题可以更为具体的归属为开集识别的问题，所以后续一直查询开集识别的一些问题，Google Youtube找到了一些资料，思路清晰

2020-11-10 00:26:36 3881 2

原创 (三) 开集识别学习 open-set recognition(OSR)

前言：在之前的博客中提到了开集识别的一些方案，主线是基于DNN方式，但是基于ML方式的解决方案有很多是很经典的，所以这里介绍下基于ML的方式基于ML的方式 SVM based （待展开） Sparse Representation based （待展开） Distance based （待展开） Margin Distribution based （待展开）...

2020-11-10 00:25:39 962

原创（一）开集识别学习 open-set recognition(OSR)

因近期要学习并且将Openset的思想融入项目中，所以这里学习了大神的几篇文章。希望后续能够很好的复现并且得到理论支撑。系列转载自：https://blog.csdn.net/herr_kun/article/details/1073545011、开集识别学习路径开始根据自己的遇到的情况进行查询，发现开放长尾识别问题中的开放问题就是目前自己遇到的问题，下面这张图很清晰的展示常见任务的划分标准，后续查询到了自己遇到的问题可以更为具体的归属为开集识别的问题，所以后续一直查询开集识别的一些.

2020-11-10 00:22:32 2807 2

原创广义可加模型GAM在python上的复现

转自：比较新的一篇GAM在python上的简易复现https://blog.csdn.net/qq_41103204/article/details/104679779目录1 安装pyGAM 2 分类案例 2.1 基本使用 2.2 部分依赖图（Partial dependency plots） 2.3 调整光滑度和惩罚 2.4 自动调参 3 完整的pyGAM模型 4 测试参数 4.1 测试惩罚项 4.2 测试样条函数的数量 4.3 测试不同的约...

2020-11-08 19:33:50 6835 3

原创【转】gnu arm eclipse+jlink环境构建

参考：https://blog.csdn.net/benjorsun/article/details/84192116近期在学习RISCV的指令汇编反汇编以及trace的获取。首先搭建一下环境。一边用虚拟机，使用专门的gcc工具。一边使用eclipse和专门的工具，GNU MCU Eclipse是一款基于gnu工具链的eclipse插件，可以开发arm与risc-v处理器平台软件，重要是这是一款免费软件，可以开发众多系统平台软件，同时可以采用eclipse亮丽的代码风格及增强可...

2020-11-03 10:48:29 474

原创 NBDT补充

前面提到的是对论文的浅析，并没有很好的把实现的细节讲出来。在代码复现时，发现很多细节问题。参考咸鱼大神的文章：整个框架搭建分成四个步骤将一个完整NN（全连接层及以上）和决策树结合，决策树的节点都有语义信息和向量信息①预训练一个CNN模型，并拿CNN最后一层的权重作为“每种类别”的隐向量比如先拿cifar10（一个图片分类数据集，有“猫”、“狗”之类的10种类别）训练一个resnet18的CNN。这类CNN的最后一层通常是全连接层（Fully Connected la...

2020-10-23 23:30:50 431

原创 25个常见网络

深度学习发展很快，新的模型层出不穷，所以要想全部列举是不可能的。另外，很多模型都是这里提出很长很长时间了，所以也不是说“老”模型就没用，大家学习的话，还是要全面而深入的学习。1、 Feed forward neural networks (FF or FFNN) and perceptrons (P)前馈神经网络和感知机，信息从前（输入）往后（输出）流动，一般用反向传播（BP）来训练。算是一种监督学习。2、Radial basis function (RBF)径向基函数网络，是一种径向.

2020-10-21 11:14:39 1258

原创深度学习模型可解释性（重温入门知识）

第一部分可解释性是什么？事先事中事后三类型 + LIME（模型无关分析）方法简单实现目录1. 可解释性是什么0x1：广义可解释性0x2：在统计学习中的可解释性0x3：机器学习领域的可解释性1. 决策树是目前业内公认可解释性最好的非线性机器学习算法2. DNN深度学习模型的可解释性不是那么明显2. 我们为什么需要可解释性？0x1：可解释性的不同动机1. 判别并减轻偏差（Identify and mitigate bias）2. 考虑问题的上下文（A...

2020-10-20 21:49:41 6984

原创硬件安全：动态信息流跟踪

（1）了解两种常见的攻击手段：缓冲区溢出：常见的就像是你给A【10】插入了11个值攻击者可以针对返回的指针动手脚，进而获取程序控制权格式化字符串：这个还是比较常见的了，以C为例 printf（“%d”，str），但是偏偏不写格式printf（str）攻击者可以传入一个格式化的文本，被存入内存或执行，进而获取控...

2020-09-28 15:59:25 627

原创【转载】可交互的可视化神器 Plotly Express

最近关注了个挺厉害的小姐姐做了个RNN入门也在跟进李宏毅老师的视频作业~ 有点志同道合的赶脚这里分享的是她分享过的一个可视化工具可以交互的可视化工具，可以拿来分析数据细节这里给了一些实例附上代码和展示图冲冲冲！！！！！！如有侵删~文章转自：可交互的可视化神器 Plotly Express这个可以嵌入 jupyter notebook 的工具实在是太 coooooooool 了，完胜 matplotlib，转载过来记录一下。文章目录Plot...

2020-09-27 21:31:25 497

原创 TensorFlow和Keras两种方式搭建的网络如何统一？

转自： https://blog.csdn.net/u014475479/article/details/84709301前言最近实验室碰到一个奇怪的需求，大家分别构建不同的NLP模型，最后需要进行整合，可是由于有的同学使用的是keras，有的同学喜欢使用TensorFlow，这样导致在构建接口时无法统一不同模型load的方式，每一个模型单独使用一种load的方式的话导致了很多重复开发，效率不高的同时也对项目的可扩展性造成了巨大的破坏。于是需要一种能够统一TensorFlow和kera...

2020-09-27 15:53:30 375

原创 One Engine To Serve ’em All: Inferring Taint Rules Without Architectural Semantics 在没有建筑语义的情况下推断污点规则

一劳永逸的引擎：在没有架构语义的情况下推断污染规则摘要动态二进制污点分析在现成商业（COTS）二进制文件的安全性分析中具有广泛的应用。动态二进制分析中的关键挑战之一是指定污点规则，以捕获污点信息如何传播给架构上的每条指令。现有的大多数解决方案都是在分析指令语义后通过手动总结规则来使用演绎方法来指定帧。直观上，污点传播反映了指令输入如何影响其输出，因此可以从指令执行中观察到。在这项工作中，我们提出了一种用于污染传播的归纳方法，并开发了一种与体系结构无关的通用污染跟踪引擎。我们的异..

2020-09-16 22:44:08 591 2

原创 Introduction to Hardware Security 硬件安全入门（翻译）

Introduction to Hardware Security标题：硬件安全简介目录摘要：1.简介2.HardwareTrojan检测2.1。部署前硬件木马检测2.2。部署后硬件木马检测3.正式认证3.1。证明硬件3.2。基于SAT解算器的验证方法4，防伪和IC保护5，物理上不可克隆的功能6，硬件安全中的新兴设备7，硬件辅助计算机安全7.1。 ARM信任区7.2。英特尔SGX7.3。 CHERI7.4。 LowRIS...

2020-09-16 22:42:17 1986

原创插根旗——华为鸿蒙系统开发

原博文标题：[HarmonyOS][鸿蒙专栏开篇]快速入门OpenHarmony的LiteOS微内核原博文地址：https://blog.csdn.net/qq_33487044/article/details/108560890?spm=1000.2115.3001.4373

2020-09-16 09:28:06 2576

原创 Anaconda 如何切换Python版本 + Pycharm的设置

参考博文：https://blog.csdn.net/weixin_39278265/article/details/82982937最近终于在实验室有了自己的机器，大屏中高配置带来的喜悦与重装一切杂七杂八玩意儿的痛苦交加。。。。今天装Anaconda的时候，可高级了。默认PY都到了3.8了，Spyder也是第四代，已经不再是我那个老人机熟悉的版本了。。。但是最近又要安装TensorFlow，目前TensorFlow只支持Python3.6版本以前的，所以等在Anaconda里安装一个P.

2020-09-15 21:51:29 30707 3

原创 Risk-V 初步理解（每日更新）

想要整整硬件安全检测，先得了解了解咱们的硬件开发。首先得看看Risc-V的手册：RV用到的ISA为模块型，即采用的是基础ISA，代替了以往继承代价极大的增量式ISA，从而减少了成本。RV的ISA较为简单，虽然对比复杂ISA在同一任务上的执行上可能会采用更多简单指令，但是可以通过加快时钟频率或者降低CPI（平均单条指令周期）减少代价。跳出来补充一句，RV肯定得适用于32位和64位两个版本。接下来是RV的标准扩展、乘除操作（RV32M），浮点运算（RV32F,RV32D），原子操作（R.

2020-09-15 16:16:18 6812

原创编程知识补充：函数重载

（1）最近遇到的是C++的函数重载问题重载，其实就是同名函数，但是参数上存在不同（数量，类型啥的）。函数重载只能根据参数个数，参数类型，参数位置实现，不能根据返回值来实现。 C（有的人说不能实现，有的说需要额外增加大量说明代码）不怎么容易实现，但是C++上可以直接实现。JAVA自查~ 注意：重载函数的参数个数，参数类型或参数顺序三者中必须有一个不同（函数可以重名，但是参数一定要存在差异）这里附上一个很好的博文，举了例子并说明在C...

2020-09-15 15:12:07 96

原创解决模型过拟合，增强鲁棒性和泛化能力

一、对于数据集的参考操作：数据增强二、在模型层面的参考方法： dropout（深度学习）三、选择合适的损失函数：（1）L1正则化（特征稀疏，或者降维度）（2）L2正则化（特征均衡减少，增强泛化）（3）做标签平滑操作在论文When Does Label Smoothing Help?中，作者说明标签平滑可以提高神经网络的鲁棒性和泛化能力。四、L1和L2正则化的作用：（1）L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以防止过拟合（

2020-09-14 21:14:59 3483

原创【转载】深度学习中的鲁棒性与稳健性（稳定性）

转载原文地址：https://baijiahao.baidu.com/s?id=1654782903971643114&wfr=spider&for=pc原文标题：深度学习的鲁棒性问题探讨1、鲁棒性问题以深度学习为代表的机器学习方法已经在计算机视觉、语音识别、医学影像分析、电子竞技等领域得到了成功的应用，其发展引发了学术界、工业界甚至政界的广泛关注。然而，现有深度学习方法的有效性依赖于对训练数据集的高质量要求，当训练集呈现蕴含显著复杂噪声、异常点入侵、类别不均衡等问...

2020-09-14 20:44:08 14167 5

原创阅读笔记5：神经支持决策树（可解释性）

论文地址：https://arxiv.org/pdf/2004.00221.pdf源码地址：https://link.zhihu.com/?target=https%3A//github.com/alvinwan/neural-backed-decision-trees在线示例：https://research.alvinwan.com/neural-backed-decision-trees/原博文地址：https://zhuanlan.zhihu.com/p/136015811?utm_so

2020-09-14 11:23:21 3206 9

原创转载：（翻译）简单理解LSTM（Long Short Term Memory networks）

转载自：作者：MichaelLiu_dev链接：https://www.jianshu.com/p/95d5c461924c来源：简书这篇博文比较适合入门玩家理解LSTM。文章将RNNs与LSTMs做对比，并介绍了循环神经网络（Recurrent Neural Networks）人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。传统的神经网络并.

2020-09-14 10:50:03 535

原创论文机翻：Res2Net: A New Multi-scale Backbone Architecture（Res2Net 论文机翻）

Res2Net：一种新的多尺度主干架构摘要-在众多视觉任务中，以多种尺度表示特征非常重要。骨干卷积神经网络（CNN）的最新进展不断显示出更强大的多尺度表示能力，从而在整个应用范围内获得了一致的性能。然而，大多数现有方法都代表了多层尺度的多尺度特征。在本文中，我们通过在单个残差块内构造类似于残差的分层连接，为CNN提出了一种新颖的构造块，即Res2Net。Res2Net在粒度级别上代表了多尺度功能，并增加了每个网络层的接受域范围。可以将建议的Res2Net块插入最新的主干CNN模型中..

2020-09-14 08:54:37 930

原创阅读笔记4：Res2Net机器学习算法

Res2Net：一种新的多尺度主干网络结构（原论文名：Res2Net: A New Multi-scale Backbone Architecture）作者：Shang-Hua Gao∗, Ming-Ming Cheng∗, Kai Zhao, Xin-Yu Zhang, Ming-Hsuan Yang, and Philip Torr论文下载地址：https://arxiv.org/abs/1904.01169论文与机翻压缩包下载：https://download.csdn.net/

2020-08-27 10:30:51 538

原创阅读笔记3：这看起来像：可解释图像识别的深度学习（ProtoPNet可解释图像分类方法）

这看起来像：可解释图像识别的深度学习（原论文名： This Looks Like That: Deep Learning for Interpretable Image Recognition）作者：Chaofan Chen∗，Oscar Li∗，Chaofan Tao，Alina Jade Barnett，Jonathan Su，Cynthia Rudin论文下载地址：https://arxiv.org/abs/1806.10574Git地址：http...

2020-08-27 09:38:00 3926 3