墨晓白-CSDN博客

原创使用Sklearn进行多便签分类的评价指标（Roc, Map, HammingLoss, OneErrorLoss）

最近在做多便签图像分类的任务，模型训练完之后，就需要使用测试集来验证模型的性能，一些比较通用的评价指标就是必不可少的工具，但是网上大多都是关于二分类以及多分类的评价指标，多便签分类的评价指标的介绍，还是比较少的，因此特开一贴，整理出四个常用的评价指标，并使用sklearn进行实现，如有谬误，还请各位指正！一. ROC（AUC） ROC就是一条以假阳率为横轴，真阳率为纵轴的曲线，然后我们通过计算这条曲线下的面积，也就是AUC（Are under curve)作为评价指标，具...

2021-03-26 11:36:29 2733

原创关于torch.max(a,dim)中维度的选取

Pytorch中，经常会使用torch.max(a,dim)对tensor进行处理，特别是针对多维的tensor，就感觉对dim的选取似懂非懂。一、针对1维的数据这个比较好理解，就是针对1维的数据取最大值，返回一个tensor类型的数值，和该数值对应的下标，合起来就是一个tuple类型。import torcha = torch.randn(3) #随机生成数组max=torch.max(a,dim=0) #默认dim=0print("a:\n", a)print("********

2020-10-16 21:18:02 5180 1

原创关于二分类，多分类，及多标签分类的损失函数详解及Pytorch实现

相信很多小伙伴最开始都是从分类任务入手深度学习这个领域的吧，这个就类似学习代码的第一课，“Hello world”一样。深度学习中，除了模型设计之外，最重要的想必就是选取合适的损失函数了。不过一般实验中，损失函数的调用十分简单，也就是一行代码的事情，但是最近发现，好多小伙伴，对于损失函数的基础意义及实现细节，还是不甚了解，所以在此对分类任务中常用的交叉熵损失函数进行详细的介绍。1. 交叉熵（Cross Entropy）交叉熵是信息论中的概念，想要理解交叉熵，首先需要了解一些与之相关的信息论基础。

2022-05-11 20:40:51 11013

原创关于Pytorch加载模型参数的避坑指南

一、load_state_dict（strict）中参数 strict的使用load_state_dict（strict）中的参数strict默认是True，这时候就需要严格按照模型中参数的Key值来加载参数，如果增删了模型的结构层，或者改变了原始层中的参数，加载就会报错。相反地，如果设置strict为Flase，就可以只加载具有相同名称的参数层，对于修改的模型结构层进行随机赋值。这里需要注意的是，如果只是改变了原来层的参数，但是没有换名称，依然还是会报错。因为根据key值找到对应...

2022-04-16 17:26:51 7962 2

原创 nn.Sequential()引起的 forward() takes 1 positional argument but 2 were given

最近在训练模型时，想要将模型的分类层去除，输出模型的特征图，于是进行如下操作去除模型的最后两层结构，然后奇怪的事情就发生了，运行时程序老是报错，forward() takes 1 positional argument but 2 were given！！！class PvT(nn.Module): def __init__(self): # num_classes，此处为二分类值为2 super().__init__() #创建模型，并且加载预训练参数.

2022-04-12 13:40:04 7280 2

原创 Pytorch冻结和解冻结预训练网络的finetune方法

目前Transformer在CV届已经大杀四方，各个赛事上都取得了SOAT的水平。很多人也想着将各种Transformer-based的backbone拿来用，但是很多backbone都是需要加载预训练参数才能使用，所以我们需要将网络进行迁移学习，才能拿来使用。我们通常会在网络刚开始训练的时候冻结除分类层之外的参数，在训练一到两轮再解封参数。下面我以swin-Transformer为例，介绍如何进行网络的fine-tune。一、冻结网络参数首先需要使用Timm库加载Swin的结构以及参...

2022-03-15 21:26:49 4987 2

原创 pytorch分类任务时将标签转成tensor类型

pytorch分类任务时，需要将标签转成可用于学习的tensor类型。标签可分为两种，一种是常用于多分类的整型数字标签（类似0,1,2,3）；另一种是one-hot类型，假设共有三个类别，那么1，2，3对应的one-hot 分别是0 0 0, 0 1 0, 0 0 1。一、one-hot类型的标签直接转tensor类型我们通常会将one-hot类型的标签以list的形式读取，然后直接就可以使用torch.LongTensor(label)进行转换，类型为torch.int64label...

2021-12-09 19:03:43 8027

原创 Python数据类型、Numpy数据类型和Pytorch中的tensor类型间的相互转化

数据类型包括Python数据类型、Numpy数据类型和Pytorch中的tensor，Pytorch中的tensor又包括CPU上的数据类型和GPU上的数据类型。一、Python数据类型Python3 中有六个标准的数据类型：Number（数字） String（字符串） List（列表） Tuple（元组） Set（集合） Dictionary（字典）在三种数据类型转换中，我们最常用到的就是Number中的int类型，和List类型。二、Numpy数据类型nu...

2021-12-09 16:17:01 2570

原创可视化特征图

一副图像输入网络中，每一层都会生成特征图，将指定层的特征图进行可视化，可以方便我们直观去理解每层网络提取出的特征是什么。主要分为三个步骤：1.将输入图片转成tensor形式[1,c,h,w], 其中1代表batchsize为12.创建模型，并且指定需要可视化的层3.保存特征图的每一层，转成伪彩图进行保存from torchvision import datasets, models, transformsimport torch.nn as nnimport numpy as np

2021-10-18 14:29:36 4464 1

原创 CNN以及Transformer特征图可视化

热力图是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的灰度图表示。可以理解为对预测输出的贡献分布，分数越高的地方表示原始图片对应区域对网络的响应越高、贡献越大。主要有两种类型的可视化方法，利用GAP层，以及基于梯度传导的方法，具体可参考文档万字长文：特征可视化技术(CAM)https://mp.weixin.qq.com/s/WKImrtpjQBziz6Wr5uOGNw 这里主要介绍如何使用git-hub上提供的安装包进行可视化操作C...

2021-09-23 11:29:55 8280 10

原创 nn.Linear（）函数详解及代码使用

这是官方给出的文档，需要注意的是，虽然在神经网络中，我们一般输入都是二维的tensor矩阵（batch，input_size），但其实输入的维度是不做限制的。如果是三维的输入，会将前两维的数据先乘一起，然后在做计算，实际上还是单层神经网络的计算。个人理解，这个函数就是改变最后一维，也就是数据的特征维度，通过调整output_size的尺寸来扩张或者是收缩特征。import torch.nn as nnimport torchimport numpy as npX_2dim=np.arra..

2021-07-15 16:03:11 49823 2

原创加载不同pytorch版本之间，训练得到的pkl文件

加载不同pytorch版本之间，训练得到的pkl文件我们将服务器上训练好的pkl文件下载到本地电脑上，经常会由于pytorch版本不统一问题，例如出现这种问题“_pickle.UnpicklingError: A load persistent id instruction was encountered...”而无法直接加载，因此需要将pkl文件装成pth文件，这样不同版本的pytorch就可以互相加载1. 在服务器端将pkl文件转成pth文件import pickle ...

2021-05-14 15:53:28 2501

原创 Pandas常用函数总结（二）

接上篇Pandas常用函数总结（1），本篇继续介绍Pandas常用的函数。首先介绍下Pandas里面常用的两种数据类型，一种是Series,类似一维数组；还一种是DataFrame，类似二维数组。三、apply（）函数apply函数是pandas里面所有函数中自由度最高的函数。该函数如下：DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds)该函数最有用的是第一个参数，这

2021-03-05 16:37:15 310 4

原创 Pandas常用函数总结（一）

最近在参加Kaggle上的一个比赛，发现比赛用的数据地址以及标签都放在了CSV文件里面，然后就需要使用Pandas这个工具包，进行数据分析以及操作，以下就总结下里面常用到的一些基本函数使用方法。Pandas工具包最主要的作用就是数据分析，可以处理csv,excle,txt，等各种常见的数据类型。下面就以处理csv文件为例。一、读取数据这里随机创建了一个csv文件，表格内容如下所示，文件名为 exercise.CSV。一般就是使用read_csv()函数来读取CSV文件的内容，该函数使用灵...

2021-03-05 15:27:17 387 1

原创使用sklearn工具包对分类结果进行客观评价(准确率，敏感率，召回率，F1-score, 以及混淆矩阵)

图像分类是CV领域内比较常见的任务，我们评价分类模型时，除了最基本的准确率之外，还会用到各种各样的指标，下面就挑出最具有代表性的几个常用评价指标进行介绍，并且使用sklearn工具包进行实现。一、图像分类常见评价指标1.1 混淆矩阵如下图所示，要了解各个评价指标，首先需要知道混淆矩阵，混淆矩阵中的P表示Positive，即正例或者阳性，N表示Negative，即负例或者阴性。表中FP表示实际为负但被预测为正的样本数量，TN表示实际为负被预测为负的样本的数量，TP表示实际为正被预测为正的样本数量，

2020-12-15 20:50:56 3251

原创 Pytorch在多GPU下训练模型，分别在单GPU以及多GPU加载模型的方法

我们通常都会把模型拿到服务器上去训练，然后再将模型参数下载到本地端进行测试等工作。但是通常情况下，我们在训练时会使用多块GPU，但是在测试时，有时是多GPU的操作环境，有时是单GPU的操作环境，这就需要我们以不同的方式去加载模型。一、多GPU训练，多GPU加载1.1 训练os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" #可视化0,1这两块GPUcnn = model.VGG16().train().cuda() # 搭建模型cnn= nn.Data

2020-12-14 11:47:38 4784 3

原创深度学习训练模型时，使用argparse模块以及shell脚本，进行“炼丹”

我们在训练模型时，进场需要调整batchsize,初始学习率，以及模型中的超参数，以求达到最好的实验效果。如果采用传统操作，即这个模型跑完之后，手动调整模型参数，然后再开始训练模型，显而易见，这种方法费时又费力。下面就介绍一种使用argparse模块以及shell脚本，进行“炼丹”的方式。一、argparse模块1.1 参数的定义argparse模块感觉就是一个全局变量，在运行程序时，如果没有给某个参数赋值，就使用其默认参数。具体定义格式如下，我们需要修改的就是parser.add_argume

2020-12-13 20:53:36 6739 4

原创 ImportError: libgfortran.so.1: cannot open shared object file: No such file or directory #23 解决办法

问题描述：在import 自己创建的py文件时，出现的错误，后面google找到答案，不明觉厉具体解决方法：conda install libgfortran==1

2020-10-11 11:10:32 1451 2

原创实现外网远程连接服务器：Natapp使用教程

前言：实验室的服务器只能在内网访问，在外面就不能连接服务器，非常不方便，于是想通过外网穿透的方式，在不连接实验室局域网的情况下连接到实验室的服务器。本人用的natapp软件，亲测可用，其实natapp就是一个中转站，可以实现本机与远程服务器之间的链接。被访问端（服务器）环境：ubuntu16.04（64位），natapp访问端（PC）环境：win10，xshell另附上Pycharm连接服务器与xshell操作远程服务器的相关教程机器学习中如何使用 Pycharm 将代...

2020-08-25 15:15:04 6123 3

原创 Linux 下安装Anaconda + Pytorch +opencv扩展包

现在跑深度学习，一般都需要将代码上传到远程服务器上进行训练。同时为了多人共享服务器，我们一般都是创建一个子文件夹，然后在下面安装所需的软件。一、AnacondaAnaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项，功能十分强大，集成了很多训练需要的依赖项。1.1 下载获取anaconda在清华镜像站的网址，然后在服务器端wget 网址就行了。清华镜像站中anaconda的所

2020-08-25 11:09:25 1256

原创 Pytorch读取npy数据格式，编写dataset模块，可配合Dataloader进行使用

在训练模型前，最重要的部分就是制作好数据集，有些情况下，由于图片数据过多，然后存储很不方便，我们就需要将数据制作成npy类型的数据格式。npy数据格式是一个四维的数组[N，H，W, C]，其中N代表数据集的总数，H, W，C分别代表每一张图片对应的长、宽、以及通道数。数据制作好之后，就是如何加载数据问题，TF中加载数据相对比较容易，但是Pytorch中，我们一般都是将数据制作成dataset，再传入Dataloader进行加载，因此就需要继承Dataset的类，然后编写读取npy的数据格...

2020-08-24 10:59:40 14694 3

原创 Pytorch 如何将训练数据保存成CSV文件，并读取CSV文件，绘制损失函数图

最近刚入手Pytorch框架，因为论文中需要贴出损失函数的训练过过程的曲线，因此就自己写了个函数，通过列表的形式，将训练数据记录下来，并且保存成CSV文件，方便我们以后读取并绘制图像。一、数据保存成CSV文件在这里，我们以拟合二次函数为例，首先需要定义一个空的二维列表定义二维列表： lossData=[[]]接着，向里面添加每一步的训练数据，iter代表训练的次数，loss.data.numpy()代表每一次训练的损失值，因为pytorch中，loss是variable类型，因..

2020-08-03 09:51:22 21372 7

原创求取差值图像时，解决两个图像相减，差值图像结果限定在[0,255]范围内问题

这是因为当我们使用imread函数直接去加载图像时，读取的图像格式是 CV_8UC3 即为uint8 是unsigned 的，因此在图像相减过程中会自动将像素值限定在[0,255]范围内。假设img1中像素值为（12,3,255），img2像素值为（13,4,23），则img1-img2的像素值为（255,255,232），但是我们实际上是需要（-1，-1, 232）。为了解决这个问题，我们可以在...

2020-02-26 17:11:12 6893 4

原创详解向图像加入高斯白噪声

研究生期间主要研究的课题就是关于图像去噪内容的，我们最常用的方法就是向图片图片添加固定噪声浓度的高斯白噪声来模拟自然界中的真实含噪图片。但是具体加入的高斯白噪声到底是什么类型的噪声，他在图像中出现的频率，以及噪点的深度是多少也都是值得我们在意的地方，只有弄懂这些，你才会更深刻地理解向图像中添加高斯噪声的含义。一、高斯分布凡是学过概率统计的人，想必高斯分布是大家再熟悉不过...

2020-02-13 22:35:00 7755

原创 Matlab 批量读取，处理及保存图片

最近想用MATALB对图片进行批量处理，之前都是用python比较多点，然后发现Matlab批量处理图片相对于python还是有点麻烦的，网上搜了下教程，也感觉有些麻烦，后来自己摸索了下，感觉有种方法还是不错的，现在与大家分享下。Input_path = 'C:\Users\ASUS\Desktop\LDCT_NOISE\'; Output_path='C:\Users\A...

2019-10-28 14:43:18 24789 31

原创高斯噪声与图像去噪

读研期间一直在做图像去噪领域的相关研究，在毕业之际，打算系统的整理一下，算是对自己这两年多工作的一个总结吧，也希望能对后来研究的同学有一点小小的帮助，那便是极好的了。一、图像去噪背景随着智能手机的快速发展，一个很重要的应用也越来越普及，那就是拍照。现在很多手机厂商都把手机拍照作为很大的卖点去推销，如何去评价一个手机拍照功能的好坏呢，照片的清晰度，和真实场景的还...

2019-10-10 15:27:50 10271

原创如何使用Tensorboard的数据，自己使用plot()函数，在同一副图中画出多条loss曲线

最近在写论文时，需要在一张图中，同时绘制出多个模型的loss变化曲线，之前虽然在训练模型时，也会使用Tensorboard来观察loss曲线的变化，但是只限于观看，并没有对立里面的数据进行提取和分析。后查找资料，成功解决问题，现将教程分享如下：一、下载Tensorboard中的loss曲线的数据1.选中左上角的 Show data download links2.选中右下角的下载文件的...

2019-04-14 21:34:00 15707 23

原创分别用MATLAB和Python向数字图像添加指定噪声浓度的高斯噪声

最近在做图像处理工作，需要向原图像添加高斯噪声，来模拟现实生活中的实际噪声。发现MATLAB和Python中都有相应的API可以用，但是实际使用中会有些“坑”需要注意。特此记录下来，与各位分享。一.使用MATLAB向图像中添加均值为0，标准差σ=15的高斯噪声Matlab上有官方给出的APIJ = imnoise(I,’gaussian’,M,V) adds Gaussi...

2018-12-03 18:54:50 4001 2

原创使用OpenCV2批量裁剪图片，并将裁剪后的图片保存至指定文件夹

在做图像复原的相关工作中，由于数据集的缺失，我们通常需要将图片裁剪成比较小的crop。比如在做深度学习图像去噪的相关研究的时候，由于图像去噪不太关注整体的图像内容，所以可以先将大的图片裁剪成小的crop,以次来增加数据量。具体代码如下： import globimport cv2'''cut the img_1024*1024 into...

2018-10-25 14:19:21 7228 6

原创 Pycharm 下使用Git 进行代码的上传, 回退,以及建立分支

一. Git是什么？Git是目前世界上最先进的分布式版本控制系统（没有之一）。Git有什么特点？简单来说就是：高端大气上档次！那什么是版本控制系统？如果你用Microsoft Word写过长篇大论，那你一定有这样的经历：想删除一个段落，又怕将来想恢复找不回来怎么办？有办法，先把当前文件“另存为……”一个新的Word文件，再接着改，改到一定程度，再“另存为……”一个新文件，这样一...

2018-09-04 21:47:58 5928

原创 python ，numpy 模块中 resize 和 reshape的区别

在numpy模块中，我们经常会使用resize 和 reshape,在具体使用中，通常是使用resize改变数组的尺寸大小，使用reshape用来增加数组的维度。1.resize之前看到别人的博客说，resize没有返回值，其实这取决于你如何使用resize,resize有两种使用方式，一种是没有返回值的，直接对原始的数据进行修改，还有一种用法是有返回值的，所以不会修改原有的数组值。...

2018-07-09 10:18:06 29966 1

原创 python 中 numpy 模块的 size,shape, len的用法

numpy 中有很多类方法可以对数组处理，下面将介绍三种常见的处理数组的方法.1.size的用法import numpy as npX=np.array([[1,2,3,4], [5,6,7,8], [9,10,11,12]])number=X.size # 计算 X 中所有元素的个数X_row=np.size(X,0) #计算 ...

2018-07-08 20:05:26 129324 2

原创机器学习中远程终端模拟器 Xshell的使用，及一些常用的命令

在上一篇博客中，我已经介绍了如何利用Pycharm 将我们的代码上传至远程服务器上，在本篇博客中，我将进一步介绍，如何使用终端模拟器Xshell 在自己的电脑上运行服务器上的代码。Step 1 Xshell的下载及安装在这里我推荐安装学生版的Xshell (即free版本的)，可以直接使用，不用后期注册什么的，下面是连接点击打开链接选择Download ，然后填写下相...

2018-07-03 20:08:35 2986

原创机器学习中如何使用 Pycharm 将代码上传到远程服务器上

现在机器学习可谓是最火热的一门学科，很多程序猿们或多或少的都有接触过这方面的经历。如果你对这领域还算有些了解的话，肯定知道模型的训练，是机器学习中最耗时，也是最关键的地方。模型的好坏，将直接决定最终的应用效果。如果拿自己普通的电脑配置来训练模型的话，效率会很低，而且限于电脑配置，也不一定能跑出来。很多大型的模型，往往需要训练几天，甚至几个星期的时间，这是我们普通电脑配置...

2018-07-03 18:55:24 12248 12

原创关于键盘右边的数字小写键盘不能使用的解决办法

前段时间，忽然发现键盘右边的数字小键盘突然不能使用了。起初以为只是Number Lock件锁住问题，可是后来发现，并不是这样的。同时发现键盘的2 4 6 8键，虽然不能敲出对应的数字，但是可以变成下左右上功能键使用。这才意识到，可能是将键盘当成鼠标使用了，就是无意中打开了鼠标键的功能。 “鼠标键”打开方式如下： 1.按左 ALT 键 + 左 SHIFT...

2018-07-03 09:40:48 9616 1

原创 win10下多媒体设备播放不出声音的解决方案

最近win10系统更新后，经常会出现多媒体设备播放不出生意的情况，显示声卡服务器异常的状况。从网上搜了很多方法，发现都不能很好得解决问题。最后尝试将禁止声卡部分禁止后再重新开启，问题得以解决。现将具体操作步骤分享如下： Step 1. 此电脑-->设备管理器-->声音、视频和游戏控制器 Step 2 . 选择Conexant 右键选择属性 --&gt...

2018-06-28 15:03:29 12124

原创 windows 下 Python的命令行参数解析 argparse模块的使用

argparse模块是Python内置的参数解析模块，相较于传统的 sys.argv 来说，其功能更加的强大，操作也更灵活。ArgumentParser类创建时的参数如下：prog - 程序的名字（默认：sys.argv[0]）usage - 描述程序用法的字符串（默认：从解析器的参数生成）description - 参数帮助信息之前的文本（默认：空）epilog - 参数帮助信息之后的文...

2018-06-26 16:00:08 4078

原创 Win10+CUDA8.0+Visual Studio2013安装、环境配置教程

最近刚开始接触opencv的GPL编程，所以自己搜了下网上有关配置CUDA的过程，经过摸索整理，配置成功。现将教程整理如下1、下载CUDA安装包，下载地址https://developer.nvidia.com/cuda-downloads。下载界面如图，选择windows版，cuda版本号可以选择最新的10。(如果选择了其他的版本，则本文后面的配置时，版本号也需要改成你所选择的版本。)2、下载完...

2018-06-25 17:39:49 3999 1

原创 Win10 + VS2015 同时使用opencv3.1 和 opencv2.4 教程

相信很多刚开始接触opencv的小白，一开始肯定被opencv丰富的API所折服，使用其自带的函数，可以大大提升工作的效率。但是深入接触后，会发现由于opencv的更新的速度很快，很多代码的编写方式也出现了较大的改动。尤其是opencv2.4和opencv3.x系列，很多头文件都不匹配。我之前一直用的opencv3.1版本的，后来因为做实验，要用到 SURF、SurfFeatureD...

2018-06-14 20:43:21 1127 4

原创 opencv 读取普通视频、以YUV数据格式保存的视频以及图片序列的方法

在刚入门opencv的阶段，读取图片以及视频是作为初学者最需要掌握的方法。最近在上智能视频分析这门课程，通过几次实验课，发现针对不同的数据分别对应着不同的载入方式，特此开贴，记录下来，一是可以与人分享，共同进步，二是权当学习笔记记录下来，以供以后回顾。若有谬误，还望各位大佬指正，定不胜感激！！！一.普通视频的载入方式这个是入门级的教程，就不多说。主要是先定义 Vedio...

2018-05-30 19:53:57 17461 8

CBSD彩色图像去噪图像库

BSD68 用于图像去噪算法的测试图片

基于opencv2.4 的人脸识别 使用LBPH

tensorflow 五种花朵分类识别

空空如也

基于opencv2.4 的人脸识别使用LBPH