4 winycg

尚未进行身份认证

我要认证

中科院计算所学生 问题可联系QQ:1241981936

等级
TA的排名 2k+

Softmax函数和交叉熵Cross-entropy以及KL散度求导

参考链接:https://blog.csdn.net/qian99/article/details/78046329对一个分类神经网络fff,输出为z=f(x;θ),z=[z0,z1,⋯ ,zC−1]z=f(x;\theta),z=[z_{0},z_{1},\cdots,z_{C-1}]z=f(x;θ),z=[z0​,z1​,⋯,zC−1​],zzz为logits,其中类别数量为CCC,yyy为xxx的one-hot标签。通过softmax归一化来得到概率:pi=exp⁡zi∑jexp⁡zjp_{i}=

2020-06-22 10:08:07

CIFAR-100数据集可视化图片

CIFAR数据集地址:http://www.cs.toronto.edu/~kriz/cifar.html官方下载后的数据集文件是以byte形式存储的图像文件,如果我们想要可视化图片,则需要自行写一个脚本。以下以CIFAR-100的测试集为例,它的文件名为test,从该文件中提取出10000张32×3232\times 3232×32的图片,并保存每张图片的label到groud_truth.txt。import pickle as pimport numpy as npfrom PIL impo

2020-06-09 23:41:46

Gated Convolutional Networks with Hybrid Connectivity for Image Classification,混合连通性的门限卷积网络来进行图像分类

本篇博客介绍在AAAI-2020发表的关于人工设计的一种图像分类结构:论文名称:Gated Convolutional Networks with Hybrid Connectivity for Image Classification论文地址:代码实现:

2020-06-09 16:17:36

few shot learning-小样本学习入门

基本概念小样本学习(few shot learning,FSL)可以看做每个类别样本数目远远小于类别数目,也就是说每个类别仅仅只有几个样本可供训练。

2020-04-22 20:48:44

Contrastive Multiview Coding(多视角的对比学习编码)

原文题目为:Contrastive Multiview Coding代码链接:https://github.com/HobbitLong/CMC引言本文主要提出了Multiview 的contrastive learning。motivation是现实世界中看待同一个物体具有多个视角,每一个视角都是有噪声和不完整的,但是一些对于该物体很重要的元素,例如physics(物理), geometr...

2020-04-21 16:28:44

变量之间的相关性度量

sss

2020-04-15 15:13:35

变分互信息蒸馏(Variational mutual information KD)

原文标题是Variational Information Distillation for Knowledge Transfer,是CVPR2019的录用paper。思路比较简单,就是利用互信息(mutual information,MI)的角度,增加teacher网络与student网络中间层特征的MI,motivation是因为MI可以表示两个变量的依赖程度,MI越大,表明两者的输出越相关...

2020-04-03 18:23:13

capsule network介绍与实现

论文链接:https://arxiv.org/pdf/1710.09829v1.pdfcapsule网络motivationcapsule网络提出的原因是针对CNN进行特征提取的时候会忽略特征之间的关系,也就是说一张image里打乱region,CNN仍然能够正确识别。参考:https://baijiahao.baidu.com/s?id=1585376284135321218&wfr...

2020-03-18 18:04:39

利用torch.autograd.Function自定义层的forward和backward

当我们在Pytorch中想自定义某一层的梯度计算时,可以利用torch.autograd.Function来封装一个class,此时可以我们可以自己在backward方法中自定求解梯度的方法,也适用于不可导函数的backward计算。这个函数的源代码可以从如下链接获取:https://pytorch.org/docs/stable/_modules/torch/autograd/functio...

2020-02-20 16:34:10

高斯分布基础知识及scipy实现

概率密度函数(pdf)随机变量XXX的高斯分布的概率密度函数(probability density function,pdf):f(x)=12πσe−(x−μ)22σ,−∞<x<∞f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma}},-\infty<x<\inftyf(x)=2π​σ1​e−2...

2020-02-16 18:52:25

Windows和Ubuntu系统生成SSH公钥

参考链接:https://blog.csdn.net/shog808/article/details/76563136/很多服务器连过去都是需要认证的,ssh认证是其中的一种。需要先在客户端生成公钥,把生成的公钥添加到服务器,之后就可以有权限访问服务器了。以下介绍公钥的生成方法:Windows在Windows上安装git工具,之后打开git的终端,并且定位到C:\Users\winycg\....

2019-11-18 20:50:03

Faster R-CNN详解

Faster R-CNNPytorch实现:https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0专门的Region Proposal模块是当前的速度瓶颈,Faster R-CNN 直接用CNN (Region Proposal Network, RPN) 来生成Region Proposal,并且和第二阶段的CNN共享卷积...

2019-11-03 23:37:05

高效的从Backbone CNN提取特征的方法:FPN

FPN(Features Pyramid Networks)特征金字塔网络是从backbone CNN中提取特征用于后续目标检测和语义分割等问题。一个top-down结构结合lateral连接来建立所有不同尺度特征的high-level语义特征。背景...

2019-11-02 21:19:07

Network Dissection量化网络的可解释性(interpretability)

引言作者提出了量化网络latent representation可解释性的框架:评估单一隐藏单元与语义概念的对齐关系。给定一个CNN,可以对某一卷积层的隐藏单元的语义进行打分。语义具有如下的标签:objects(目标),parts(物体的一部分),scenes(场景),textures(纹理),materials(材料),color(颜色)。...

2019-10-21 17:35:48

利用FGSM实现对抗样本攻击

对抗样本的线性解释数字图像通常采用每个像素8bit来编码,因此会抛弃小于1/255的信息。设原始图像为x\bm{x}x,扰动噪声为η\bm{\eta}η,扰动之后的图像为:x~=x+η\tilde{\bm{x}}=\bm{x}+\bm{\eta}x~=x+η如果η\bm{\eta}η小于特征的精度,那么分类器如果做出不同的相应是不合理的。格式上的,对于well-separated类,我们期望...

2019-10-14 21:17:36

ImageNet数据集编号对应的类别内容

参考链接:http://befree2008.github.io/2018/10/05/20181005_ImageNet1000ImageNet20121000个类名称和编号。ILSVRC2012_img_train.tar这个文件解压出来都是一些nxxx这样的目录,也不知道他对应是哪个类,通过找caffe_ilsvrc12.tar.gz能把这些类对应出来。0n01440764鱼,...

2019-09-29 22:24:23

BagNet特征heatmap可视化

BagNet地址:https://github.com/wielandbrendel/bag-of-local-features-modelsBagNet是ResNet的变体,显著的区别是将3x3卷积变为1x1卷积来达到构造整体网络具有某个最终的感受野(receptive field)目的。在这里主要讲解对于一张来源于ImageNet的尺寸为224x224的原始图像,如何判断其局部的image ...

2019-09-24 10:37:12

图像升采样方法

双线性插值(Bilinear-interpolate)参考链接:https://www.cnblogs.com/wxl845235800/p/9608736.html尤其当显示分辨率过低时,在表现非水平或竖直的直线以及明显边缘时,离散的像素点间灰度值缺少过渡,会有很明显的锯齿。对于这种情况,我们需要对图像边缘进行柔化处理,使图像边缘看起来更平滑,更接近现实。同样的,依空间坐标变换方法,计算得到...

2019-09-14 21:58:25

Pytorch张量(Tensor)复制

tensor复制可以使用clone()函数和detach()函数即可实现各种需求。cloneclone()函数可以返回一个完全相同的tensor,新的tensor开辟新的内存,但是仍然留在计算图中。detachdetach()函数可以返回一个完全相同的tensor,新的tensor开辟与旧的tensor共享内存,新的tensor会脱离计算图,不会牵扯梯度计算。此外,一些原地操作(in-pl...

2019-09-13 23:13:38

Pytorch常用小函数

参考链接:机器之心环境方面查看Pytorch以及GPU相关信息:torch.__version__ # PyTorch versiontorch.version.cuda # Corresponding CUDA versiontorch.backends.cudnn.version() # Corresponding cuDNN ...

2019-09-10 16:02:32

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。