- 博客(205)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 如何阅读论文
如何阅读论文李沐1. 第一遍：文章主要讲什么1.1 看整体1.2 看图表2. 第二遍：文章每一部分讲什么3. 第三遍：真正读懂吴恩达1.1 系统阅读论文集1.2 论文至少要看三遍1.3 问自己问题1.4 一些有用的在线资源1.5 Learn steadily rather than short burst for longevity.参考：论文的结构一般是：title(标题)abstract(摘要)intro(导言)method(提出的算法)exp(实验)conclusion(结论)
2022-01-26 10:26:01
2722
原创 windows10下CUDA11.1、CUDNN11.1、tensorflow-gpu 2.4.1和torch安装教程
1. 如何彻底的卸载anaconda（包括配置文件）安装 Anaconda-Clean package打开 Anaconda Prompt， 输入如下命令：conda install anaconda-clean输入如下命令卸载anaconda-clean --yes直接运行安装目录下的 Uninstall-Anaconda3.exe 即可，但是这样卸载并没有完全卸载。2. windows10下CUDA11.1、cuDNN8.0、tensorflow-gpu2.4.1安装教
2021-07-15 11:22:46
9730
6
原创 ’torch.round后梯度为0，无法进行梯度回传‘的解决方法
问题描述：round函数在定义域中的导数，处处为0或者无穷，梯度无法反向传播。本文将使用autograd.function类自定义可微分的round函数，使得round前后的tensor，具有相同的梯度。torch.round(x)导数处处为0，x.detach()在计算图中无梯度，因此其ste_round的倒数就是x的导数。torch.round(x)导数处处为0，x.detach()在计算图中，x的导数为1。
2023-05-30 17:00:05
732
原创 【解决】RuntimeError: Distributed package doesn‘t have NCCL built in
RuntimeError: Distributed package doesn't have NCCL built in
2022-11-17 11:23:00
8494
4
原创 【DataWhales】深入浅出Pytorch-第三章/第四章
【DataWhales】深入浅出Pytorch-第三章/第四章第三章： Pytorch 的主要组成模块3.1 神经网络学习机制和深度学习在实现上的特殊性3.1.1 神经网络学习机制3.1.2 深度学习在实现上的特殊性3.2 PyTorch深度学习模块第四章 基础实战——FashionMNIST时装分类4.1 基本配置4.1.1 导入必要的包4.1.2 配置训练环境4.1.3 配置超参数4.2 数据读入4.2.1 读取方式一：使用torchvision自带数据集4.2.2 读取方式二：读入csv格式的数据，自
2022-01-05 10:26:18
283
原创 【DataWhales】深入浅出Pytorch-第二章
【DataWhales】深入浅出Pytorch-第二章1. Pytorch的基本操作1.1 建立tensor类型（2种方法）1.2 tensor 与 numpy(array)之间的转换1.3 tensor常见的构造函数（4个函数）2. Tensor的基本操作2.1 查看tensor的维度信息（2种方式）2.2 tensor的运算2.3 tensor索引2.4 改变形状（view）2.5 扩展&压缩tensor的维度：unsqueeze/squeeze3. 自动求导1. Pytorch的基本操作1
2021-12-30 09:48:37
896
原创 Matlab中批读取DCM文件
Matlab中批读取DCM文件1. 利用cd读取路径2. 利用dir读取文件夹的文件名3. 代码1. 利用cd读取路径cd Change current working directory. cd directory-spec sets the current directory to the one specified. cd .. moves to the directory above the current one. cd, by itself, prints o
2021-12-07 09:30:44
3784
原创 pytorch学习-7：RNN 循环神经网络 (分类)
pytorch学习-7：RNN 循环神经网络（分类）1. 加载MNIST手写数据1.1 数据预处理2. RNN模型建立3. 训练4. 预测参考循环神经网络让神经网络有了记忆, 对于序列话的数据,循环神经网络能达到更好的效果.1. 加载MNIST手写数据import torchfrom torch import nnimport torchvision.datasets as dsetsimport torchvision.transforms as transformsimport matpl
2021-11-29 22:01:01
1792
原创 python中npz文件读取和图片显示
python中npz文件读取和图片显示1. npz文件读取1.1 读入1.2 大小2. 读取图片1. npz文件读取1.1 读入from PIL import Imageimport numpy as npimport matplotlib.pyplot as pltpath1 = "J:/code/cardiac_data/2Dwithoutcenter1/27-18-3.npz"path2 = "J:/code/cardiac_data/2Dwithoutcenter1/27-7-3.n
2021-11-29 10:57:55
5462
1
原创 VAE与CVAE
CVAE理论到代码1. VAE的本质1.1 深度理解VAE1.2 VAE 与GAN2. CVAE2.1 CVAE简介2.2 CVAE基本模型2.3 数学理解参考1. VAE的本质1.1 深度理解VAEVAE本质就是在我们常规的自编码器的基础上，对encoder的结果（在VAE中对应着计算均值的网络）加上了“高斯噪声”\color{red}“高斯噪声”“高斯噪声”，使得结果decoder能够对噪声有鲁棒性\color{red}使得结果decoder能够对噪声有鲁棒性使得结果decoder能够对噪声有
2021-11-22 20:45:22
3620
原创 常见的医学影像数据格式及其读取与保存
常见的医学影像数据格式及其读取与保存1. 医学图像医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D） 或立体像素（3D） 组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。像素所表达的具体数值是由成像设备、成像协议、影像重建以及后期加工所决定的。医学图像有四个关键成分——图像深度、光度表示、元数据和像素数据\color{red}图像深度
2021-11-21 10:24:59
10590
1
转载 pytorch学习-5：批训练+Optimizer 优化器
pytorch学习-5：批训练+Optimizer 优化器1. 批训练1.1 DataLoaderDataLoader 是 torch 给你用来包装你的数据的工具. 所以你要讲自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中. 使用 DataLoader 有什么好处呢? 就是他们帮你有效地迭代数据, 举例:import torchimport torch.utils.data as Datatorch.manual_seed(1) # re
2021-11-18 22:11:14
250
原创 Spatial Transformer Networks(STN)-代码实现
Spatial Transformer Networks(STN)-代码实现pytorch为了方便实现STN，里面封装了affine_grid和grid_sample两个高级API。STN的基本步骤是：Localisation net\color{blue}Localisation\;netLocalisationnet(参数预测)：Localisation net模块通过CNNCNNCNN提取图像的特征来预测变换矩阵θ\thetaθGrid generator\color{
2021-11-18 21:47:03
5288
2
原创 【论文笔记-5】Spatial Transformer Networks(STN)
Spatial Transformer Networks(STN)-论文笔记1. 问题提出CNN在图像分类中取得了显著的成效，主要是得益于 CNN 的深层结构具有 ：平移不变性、缩小不变性\color{red}平移不变性、缩小不变性平移不变性、缩小不变性；还对缺失的空间不变性（spatially invariance）\color{red}空间不变性（spatially\;invariance）空间不变性（spatiallyinvariance）做了相应的实验。缩小不变性缩小不变性缩小不变性主
2021-11-18 19:02:01
2237
转载 pytorch学习-4：快速搭建+保存提取
快速搭建+保存提取1. 快速搭建上一讲神经网络时用到的步骤. 我们用 net1 代表这种方式搭建的神经网络。用 class 继承了一个 torch 中的神经网络结构, 然后对其进行了修改。class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() self.hidden = torch.nn.Linear
2021-11-16 21:22:09
142
转载 pytorch学习-3：线性回归
线性回归1. 问题描述一个一元二次函数: y=ax2+by=ax^2+by=ax2+b, 我们给 yyy 数据加上一点噪声来更加真实的展示它。import torchimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)y = x.pow(2) + 0.2*torch.rand(x.size())
2021-11-16 20:46:07
128
转载 pytorch学习-2：变量（Variable）和激励函数
1. 变量 (Variable)1.1 什么是 Variable在 Torch 中的 Variable 就是一个存放会变化的值的地理位置. 里面的值会不停的变化. 就像一个裝鸡蛋的篮子, 鸡蛋数会不停变动. 那谁是里面的鸡蛋呢, 自然就是 Torch 的 Tensor 咯. 如果用一个 Variable 进行计算, 那返回的也是一个同类型的 Variable.1.1.1 定义变量import torchfrom torch.autograd import Variable # torch 中 V
2021-11-16 20:33:14
244
转载 pytorch学习-1：Torch vs Numpy
Torch vs Numpy1. numpy, torch 之间的转换Torch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是你有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好咯. 就像 Tensorflow 当中的 tensor 一样.import torchimport numpy as npnp_data =
2021-11-15 10:41:43
765
原创 初识：心血管磁共振(CMR)成像
一. 什么是CMR1.1 定义心血管磁共振成像 （CMR）， 俗称心脏MRI :是一种评估心血管系统的功能与结构的一种非侵入式医学成像技术。它运用磁共振成像(MRI)基本原理，针对心血管系统成像的特殊困难，优化现有的MRI成像技术，使其具有临床价值。优化序列设计的重点主要在心电门控和快速成像技术两方面。结合这些不同的技术，组成的方案就能对心血管系统中的主要功能、形态和结构等进行评估。1.2 物理层面CMR的成像原理与其他磁共振成像技术基本原理类似，其关键点是利用心电门控技术，把数据采集的
2021-11-12 08:36:01
5266
原创 从EM到VI，最后落地VAE
1. 初识EM、VI与VAE1.1. EM算法EM是一种从频率角度解决优化问题（常见的频率角度模型有：回归模型、SVM等）。EM常与MLE进行对比。MLE（极大似然估计）EM算法1.2 VI算法变分推断（Variational Inference）解决的是贝叶斯角度的积分问题，是贝叶斯推断的确定性近似推断。利用EM的思路，把logp(x)\log p(x)logp(x)堪称ELBOELBOELBO和KLKLKL散度的结合。再把ELBOELBOELBO看成泛函，利用平均场
2021-11-09 17:02:59
1061
原创 用PyTorch对以MNIST数据集进行卷积神经网络
1. PyTorch构建深度学习网络一般步骤加载数据集\color{red}加载数据集加载数据集；定义网络结构模型\color{red}定义网络结构模型定义网络结构模型；定义损失函数\color{red}定义损失函数定义损失函数；定义优化算法\color{red}定义优化算法定义优化算法；迭代训练\color{red}迭代训练迭代训练；在训练阶段主要分为四个部分。前向过程，计算输入到输出的结果。由结果和labels计算损失函数的值。后向过程，由损失计算各个变量的梯度。优化器根据梯度进
2021-10-25 10:20:04
1278
1
原创 机器学习-白板推导系列(三十二)-变分自编码器(VAE，Variational AutoEncoder)
1. Introduction本小节主要介绍的是变分自编码器（Variational AutoEncoder）\color{red}变分自编码器（Variational\;AutoEncoder）变分自编码器（VariationalAutoEncoder），VAE在之前的变分推断中就有介绍，具体在“随机梯度变分推断（SGVI）”中已进行描述。其中采用了重参数化技巧，也就是Amortized Inference。VAE在很多blog中都有详细的解释，这里只是很简单的描述其思想，希望可以抛转引玉。VAE中
2021-10-11 19:49:22
564
原创 keras.layers中Lambda()——匿名函数层解析
1. 前提概况在keras中搭建模型常用的方法有两种：一种是较为简单的序列模型Sequential（该方法适用于搭建简单的模型）一种是使用Keras函数式的API（该方法最为常用）无论使用哪种方法在搭建model时都要求使用keras中继承自Layer的层（例如keras.layers.Conv1D等等），但有时候又需要使用一些keras.layers中没有的层（例如expand_dim, squeeze或者自己定义的层等）。这时候必须想办法将其转换成keras中的Layer，一般有两种方法：
2021-09-26 18:47:59
1901
3
原创 【论文阅读-3】生成模型——变分自编码器(Variational Auto-Encoder，VAE)
1. VAE设计思路：从PCA到VAEVAE最想解决的问题是如何构造编码器和解码器，使得图片能够编码成易于表示的形态，并且这一形态能够尽可能无损地解码回原真实图像。1.1 PCA这似乎听起来与PCA（主成分分析）有些相似，而PCA本身是用来做矩阵降维的：如图：XXX本身是一个矩阵，通过一个变换WWW变成了一个低维矩阵ccc；因为这一过程是线性的，所以再通过一个W^\hat{W}W^变换就能还原出一个X^\hat{X}X^；现在找到一种变换WWW，使得矩阵XXX与能够尽可能地一致，这就是PC
2021-09-26 08:30:17
2043
原创 keras中model.compile()基本用法
1. compile参数介绍model.compile( optimizer, loss = None, metrics = None, loss_weights = None, sample_weight_mode = None, weighted_metrics = None, target_tensors = None)optimizer：优化器，用于控制梯度裁剪。必选项loss：损失函数（或称目标函数、优化评分函数）。必选项metr
2021-09-02 16:22:14
39652
1
原创 Keras 模型构建概览
Keras 模型构建概览Keras 模型构建主要包括5个步骤：定义(define)，编译(compile)，训练(fit)，评估(evaluate)，预测(prediction)\color{red}定义(define)，编译(compile)，训练(fit)，评估(evaluate)，预测(prediction)定义(define)，编译(compile)，训练(fit)，评估(evaluate)，预测(prediction)。1.1 定义模型model = Sequential()model.
2021-09-02 09:57:18
431
原创 散度和KL散度的介绍
散度和KL散度的介绍1. 梯度、散度与旋度1.1 算子定义一个向量算子∇\nabla∇(读作nabla或者del)：∇=∂∂xex⃗+∂∂yey⃗+∂∂zez⃗(1.1)\nabla= \frac{\partial}{\partial x} \vec{e_x} + \frac{\partial}{\partial y} \vec{e_y} + \frac{\partial}{\partial z} \vec{e_z} \tag{1.1}∇=∂x∂ex+∂y∂ey+∂z∂ez(1.1
2021-09-01 17:56:07
1248
原创 机器学习的几种分类损失函数
1. 机器学习的几种分类损失函数1.1 信息量信息量也叫做香农信息量，常用于刻画消除随机变量X在x处的不确定性所需的信息量\color{red}刻画消除随机变量X在x处的不确定性所需的信息量刻画消除随机变量X在x处的不确定性所需的信息量。假设连续型随机变量，设ppp为随机变量XXX的概率分布，即p(x)p(x)p(x)为随机变量XXX在X=xX=xX=x处的概率密度函数值，随机变量XXX在xxx处的香农信息量定义为：I(x)=−logp(x)=log1p(x)(1.1)I(x) = -\log
2021-09-01 17:52:34
432
原创 【论文阅读-2】Contrastive Learning for Unpaired Image-to-Image Translation（CUT）
CUT阅读笔记论文标题： Contrastive Learning for Unpaired Image-to-Image Translation论文作者：Taesung Park, Alexei A. Efros, Richard Zhang, Jun-Yan Zhu机构：University of California, Berkeley; Adobe Research开源代码：https://github.com/taesungp/contrastive-unpaired-translat
2021-08-23 17:10:20
8655
10
原创 【论文阅读-1】CycleGAN原理
CycleGAN原理1. 初识CycleGAN1.1 什么是CycleGANCycleGAN是一种完成图像到图像\color{red}图像到图像图像到图像的转换的一种GAN。图像到图像的转换是一类视觉和图形问题，其目标是获得输入图像和输出图像之间的映射\color{red}目标是获得输入图像和输出图像之间的映射目标是获得输入图像和输出图像之间的映射。但是，对于许多任务，配对的训练数据是获取不了的（比如：相同动作下的马和斑马）。CycleGAN提出了一种在没有成对数据的情况下
2021-08-17 12:24:10
1936
2
原创 无需降级scipy，解决AttributeError: module ‘scipy.misc’ has no attribute ‘imread’，imresize，imsave问题
1. 问题最近遇到如下三个错误(imread，imresize，imsave)AttributeError: module ‘scipy.misc’ has no attribute ‘imread’，AttributeError: module ‘scipy.misc’ has no attribute ‘imresize’，AttributeError:module ‘scipy.misc’ has no attribute ‘imsave’。在很多回答中都提到了降低scipy的版本\col
2021-08-13 09:57:29
14871
5
原创 Keras搭建SRGAN
一. SRGAN介绍1.1 相关知识介绍相关定义：SR（Super Resolution） LR（Low Resolution） HR（High Resolution） MOS（mean opinion score）提出新Loss：在SR中PSNR标准应当换掉，因为高的PSNR并不保证高的感官保真。提出了新的评价标准MOS\color{red}MOSMOS-perceptual loss\color{red}perceptual\;lossperceptualloss: 使用pixel-w
2021-08-13 09:19:22
814
1
原创 Keras搭建ACGAN生成MNIST手写体图片
一. CGAN和ACGAN1. CGAN普通的GAN输入的是一个N维的正态分布随机数\color{red}随机数随机数，而CGAN会为这个随机数添上标签\color{red}随机数添上标签随机数添上标签；CGAN利用Embedding层将正整数（索引值）转换为固定尺寸的稠密向量\color{red}固定尺寸的稠密向量固定尺寸的稠密向量，并将这个稠密向量与N维的正态分布随机数相乘\color{red}相乘相乘，从而获得一个有标签的随机数\color{red}有标签的随机数有标签的随机数。2. AC
2021-08-10 16:47:25
625
2
原创 搭建简单GAN生成MNIST手写体
Keras搭建GAN生成MNIST手写体GAN简介生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。在GAN模型中，一般存在两个模块：分别是生成模型（Generative Model）和判别模型（Discriminative Model）；二者的互相博弈与学习将会产生相当好的输出。原始 GAN 理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可
2021-08-04 17:48:08
606
原创 《Python深度学习》第五章-6（可视化类激活图）读书笔记
《Python深度学习》第五章-6（可视化类激活图）读书笔记卷积神经网络学到的表示非常适合可视化，很大程度上是因为它们是视觉概念的表示\color{red}视觉概念的表示视觉概念的表示。接下来介绍3种可视化方法。事中\color{blue}事中事中：可视化卷积神经网络的中间输出（中间激活）\color{red}可视化卷积神经网络的中间输出（中间激活）可视化卷积神经网络的中间输出（中间激活）：有助于理解卷积神经网络连续的层如何对输入进行变换，也有助于初步了解卷积神经网络每个过滤器的含义。事前\colo
2021-07-30 13:38:00
1327
3
原创 《Python深度学习》第五章-5（可视化过滤器）读书笔记
5.4 卷积神经网络的可视化卷积神经网络学到的表示非常适合可视化，很大程度上是因为它们是视觉概念的表示\color{red}视觉概念的表示视觉概念的表示。接下来介绍3种可视化方法。可视化卷积神经网络的中间输出（中间激活）\color{red}可视化卷积神经网络的中间输出（中间激活）可视化卷积神经网络的中间输出（中间激活）：有助于理解卷积神经网络连续的层如何对输入进行变换，也有助于初步了解卷积神经网络每个过滤器的含义。可视化卷积神经网络的过滤器\color{red}可视化卷积神经网络的过滤器可视化卷积
2021-07-29 12:07:09
801
GitExtensions-2.49-SetupComplete.msi
2017-10-10
Git-2.14.1-64-bit.exe
2017-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人