- 博客(86)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Python批量重命名深度学习图像分类数据集图片
做深度学习图像分类拿到新的数据集不可避免的要对图片进行批量数理，以下整理的了我的思路，供大家参考。主要用到了os库，re库。原始数据展示:可看到不同鸟种所在文件夹名与图片名毫无规律，不便于后期数据集的加载与处理。这段代码包含了两层循环：第一层对原文件夹名提取中文字符，即鸟类名字，然后对所有文件夹标上种类编号。第二层循环就是对每一个文件夹下的图片进行规范命名，“格式为:rgb-序号-种类编号.JPG”import osimport repath="D:\\深度学习数据\\bird2.0...
2021-02-01 10:56:04
941
5
原创 Pytorch最简单的图像分类——K折交叉验证处理小型鸟类数据集分类
Pytorch图像分类从零开始——小型数据集鸟的分类问题你好！ 本篇博客主要是针对基于Pytorch深度学习刚入门的朋友，本文基于六种鸟类的分类问题，以小数据集为例，带领读者从总体上了解一个从零开始的图像分类问题，陆续会写一些具体的问题，如本人在跑这个小项目中遇到的所有问题以及解决方法，重点在于带领读者掌握图像分类这一基本问题中数据集的分割、读取、封装的基本思想，接着会详细的介绍构建的模型，以及针对小数据集而使用的k折交叉验证的方法，还有使用到的网络，损失函数，优化器，等涉及到图像分类问题的所有的基本内容
2020-12-25 22:49:42
10059
78
原创 Python Http服务
如果因为某种需求急需一个web服务器，而又不至于去在httpd和nginx中配置一个新的虚拟主机，Python或许可以帮上这个临时的小需求。 使用Python可以完成一个简单的内建 HTTP 服务器。把需要共享的目录或者文件都以HTTP的方式展示出来。python -m http.server 8000获取该服务下的文件：...
2022-04-23 22:22:09
2822
原创 NAbirds细粒度数据集分享
NAbirds细粒度数据集：链接：https://pan.baidu.com/s/1Q5t2CspcbHH7jfXLaiJ9gg提取码：2022
2022-04-07 13:22:57
1334
原创 完美解决apex安装报错：error: command ‘gcc‘ failed with exit status 1 Running setup.py install for apex error
最近在跑swin-transformer，安装apex是出现以下错误：原因是gcc版本太低：目前的gcc版本是4.9.4解决方法，先安装较高版本的gcc，这里以安装5.2.0为例（我是在centos7下以root用户安装的，普通用户需要权限）。cd /usr/local/src# 下载gcc5.2.0源码wget http://ftp.gnu.org/gnu/gcc/gcc-5.2.0/gcc-5.2.0.tar.bz2tar -jxvf gcc-5.2.0.tar.bz2# 进入gcc目
2022-04-04 17:10:13
2726
1
原创 opencv处理图片批量添加噪声、以及光照、黑暗处理
import osimport cv2import numpy as npimport randomdef imgBrightness(img1, c, b): h, w, ch = img1.shape blank = np.zeros([h, w, ch], img1.dtype) rst = cv2.addWeighted(img1, c, blank, 1-c, b) return rst# 变暗def darker(image, percetage=0.
2022-03-26 14:20:01
6731
原创 CosineAnnealingLR
记录一下CosineAnnealingLR调整学习率这种策略：import torchimport torch.nn as nnfrom torch.optim.lr_scheduler import CosineAnnealingLRimport itertoolsimport matplotlib.pyplot as pltinitial_lr = 0.1class model(nn.Module): def __init__(self): super().
2021-12-17 22:57:47
2841
原创 nohup命令提交任务至服务器后台运行
以跑深度学习为例，这里简化了命令的参数：nohup 命令 >output 2>&1 &例子nohup python train.py > out.log 2>&1 &结果:watch -n 1 nvidia-smi可看到程序正在运行，断掉远程连接，实验室断掉电源，回去睡觉！如果想看看程序的运行结果怎么看呢？注意到命令里的“out.log”，原本程序打印到屏幕上的内容会自动动态输入到此文件里，直接查看此文件即可：...
2021-12-17 22:51:24
1644
原创 Linux的scp命令-服务器之间远程拷贝文件
scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。
2021-12-17 22:28:10
752
原创 Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions(GAM)
本文提出了一种通过减少信息弥散和放大全局交互表示来提高深度神经网络性能的全局注意力机制。本文引入了3D-permutation 与多层感知器的通道注意力和卷积空间注意力子模块。在CIFAR-100和ImageNet-1K上对所提出的图像分类机制的评估表明，本文的方法稳定地优于最近的几个注意力机制，包括ResNet和轻量级的MobileNet。
2021-12-16 15:08:57
1205
1
原创 AttributeError: ‘_IncompatibleKeys‘ object has no attribute ‘cuda‘
elif model_type == 'swin_mlp': model = SwinMLP(img_size=config.DATA.IMG_SIZE, patch_size=config.MODEL.SWIN_MLP.PATCH_SIZE, in_chans=config.MODEL.SWIN_MLP.IN_CHANS, num_clas...
2021-12-13 20:35:34
1467
原创 torch.backends.cudnn.benchmark = True==cudnn安装成功？
设置 torch.backends.cudnn.benchmark=True 将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速.
2021-11-22 20:58:39
1157
2
原创 Pyramid Squeeze Attention
地址：import numpy as npimport torchfrom torch import nnfrom torch.nn import initclass PSA(nn.Module): def __init__(self, channel=512,reduction=4,S=4): super().__init__() self.S=S self.convs=[] for i in range(S):..
2021-11-22 20:12:14
1483
原创 ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks---CVPR2020
这是CVPR2020的一篇文章。地址：如上图所示，SE实现通道注意力是使用两个全连接层，而ECA是需要一个的卷积。作者这么做的原因一方面是认为计算所有通道两两之间的注意力是没有必要的，另一方面是用两个全连接层确实引入了太多的参数和计算量。因此作者进行了AvgPool之后，只是使用了一个感受野为k的一维卷积（相当于只计算与相邻k个通道的注意力），这样做就大大的减少的参数和计算量。(i.e.相当于SE是一个global的注意力，而ECA是一个local的注意力)import numpy as npi.
2021-11-22 19:28:11
1045
原创 SKAttention:Selective Kernel Networks---CVPR2019
这是CVPR2019的一篇文章，致敬了SENet的思想。在传统的CNN中每一个卷积层都是用相同大小的卷积核，限制了模型的表达能力；而Inception这种“更宽”的模型结构也验证了，用多个不同的卷积核进行学习确实可以提升模型的表达能力。作者借鉴了SENet的思想，通过动态计算每个卷积核得到通道的权重，动态的将各个卷积核的结果进行融合。个人认为，之所以所这篇文章也能够称之为lightweight，是因为对不同kernel的特征进行通道注意力的时候是参数共享的（i.e. 因为在做Attention之前，首先将
2021-11-22 18:16:41
4164
原创 通道注意力：Squeeze-and-Excitation(SE) Attention
这是CVPR2018的一篇文章，同样非常具有影响力，目前引用量7k+。本文是做通道注意力的，因其简单的结构和有效性，将通道注意力掀起了一波小高潮。大道至简，这篇文章的思想可以说非常简单，首先将spatial维度进行AdaptiveAvgPool，然后通过两个FC学习到通道注意力，并用Sigmoid进行归一化得到Channel Attention Map,最后将Channel Attention Map与原特征相乘，就得到了加权后的特征。
2021-11-22 17:43:49
5166
原创 BAM: Bottleneck Attention Module---BMCV2018
Brief introduction:这是CBAM同作者同时期的工作，工作与CBAM非常相似，也是双重Attention，不同的是CBAM是将两个attention的结果串联；而BAM是直接将两个attention矩阵进行相加。Channel Attention方面，与SE的结构基本一样。Spatial Attention方面，还是在通道维度进行pool，然后用了两次3x3的空洞卷积，最后将用一次1x1的卷积得到Spatial Attention的矩阵。最后Channel Attention和Spat
2021-11-22 17:41:43
1495
原创 CBAM: Convolutional Block Attention Module
import numpy as npimport torchfrom torch import nnfrom torch.nn import initclass ChannelAttention(nn.Module): def __init__(self,channel,reduction=16): super().__init__() self.maxpool=nn.AdaptiveMaxPool2d(1) self.avgpool=nn.
2021-11-22 17:23:29
492
原创 python集合运算
问题动机;在上传Imagenet数据集时，发现仅仅上传了998个压缩包，漏掉了两个…难道要重新上传嘛？？NO、NO、NO，下面介绍如何通过python的集合运算来得到哪两个压缩包漏传了。首先获取已经上传的998个压缩包的文件名：服务器端操作：import osls_linux=os.listdirs("./")set_linux=set(ls_linux)set_linux即可得到已经上传到服务器里的998类压缩包。然后复制结果到本地电脑上，赋值给一个新的集合set_linux。本地
2021-10-06 21:57:40
109
原创 运行.sh文件报错-bash: ./download_weights.sh: Permission denied
运行.sh文件：./weights/download_weights.sh[Errno 13] Permission denied: './weights/download_weights.sh’然后又用root登录，发现还是同样的错误，于是可以确定是文件权限的问题了。赋予download_weights.sh可执行的权限。chmod u+x /weights/download_weights.sh然后查看一下;再次执行：可以运行！...
2021-09-26 19:49:44
810
原创 SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks论文阅读
本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块，该模块无需额外参数为特征图推导出3D注意力权值。具体来说，本文基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。本文进一步针对该能量函数推导出一种快速解析解并表明：该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于：大部分操作均基于所定义的能量函数选择，避免了过多的结构调整。最后，本文在不同的任务上对所提注意力模块的有效性、灵活性进行验证。
2021-07-25 11:04:29
4092
1
原创 Feature Boosting, Suppression, and Diversification for Fine-Grained Visual Classification论文阅读与复现
这是一篇2021年放在arxiv上面的一篇关于细粒度识别的文章,提出了两个新颖的模块，称之为：FBSM特征增强和抑制模块,FDM特征融合模块。经验证、效果显著！论文地址：https://arxiv.org/abs/2103.02782Github地址：https://github.com/chaomaer/FBSD机构：National Key Laboratory for Novel Software TechnologyNanjing University, Nanjing 210023,
2021-07-23 22:48:13
1817
14
原创 python中PIL.Image和OpenCV图像格式相互转换实战篇
在跑一篇论文的过程中，为了尽量不改动源码，在PIL端到端的转换过程中、增加了opencv来实现特定的功能，主要是利用opencv库来提取图片显著性的前景。
2021-06-15 23:45:16
831
2
转载 numpy.meshgrid()理解
讲的太好了！！！！学习https://blog.csdn.net/lllxxq141592654/article/details/81532855
2021-06-15 19:45:32
104
转载 Centos升级gcc
这篇博客写的还可以，推荐给大家，但有点细节部分稍微不足，在评论区已经指正。https://blog.csdn.net/weixin_44259900/article/details/86508590
2021-06-14 22:40:17
71
原创 error: OpenCV(4.4.0) C:\Users\appveyor\AppData\Local\Temp\1\pip-req-build-h4wtvo23\opencv\
error: OpenCV(4.4.0) C:\Users\appveyor\AppData\Local\Temp\1\pip-req-build-h4wtvo23\opencv\modules\core\src\arithm.cpp:725: error: (-215:Assertion failed) (mtype == CV_8UC1 || mtype == CV_8SC1) && _mask.sameSize(*psrc1) in function ‘cv::arithm_op’m
2021-06-13 23:10:19
2323
3
转载 Python图像处理库PIL中图像格式转换（一）
https://blog.csdn.net/icamera0/article/details/50843172
2021-06-13 23:03:45
193
转载 cv2.imread()和cv2.cvtColor() 的使用
https://blog.csdn.net/zhang_cherry/article/details/88951259
2021-06-13 23:02:01
186
转载 opencv cv2.imread()参数解释
https://blog.csdn.net/lccrun/article/details/95594268
2021-06-13 22:09:00
1846
转载 不同Python库(Opencv、PIL、Matplotlib)下图像读写的差别、联系与互转
https://www.pianshen.com/article/76332030168/
2021-06-13 21:39:25
107
原创 解决安装torchvision自动安装torch
在安装指定版本的torchvision后，pip总是会自动下载别的torch版本，很是烦人！只需在pip中指定一些参数即可！pip install --no-deps torchvision==0.4.0
2021-05-27 22:10:02
2034
原创 Extraction failed.
Ensure there is enough space in /tmp and that the installation package is not corrupt Signal caught, cleaning up在安装CUDA9.0时出现这样的报错，原因是/tmp目录下空间不足、在参考了几篇博客之后，下面给出我的解决方法：首先在某个空间大的分区建立一个目录mkdir -p "$HOME/debs/Tmp" 然后以root身份进入/tmp，把/tmp换成指向那个新建目录的软链接ln -
2021-05-27 09:54:30
4109
原创 ‘.torch/models/resnet50-19c8e357.pth1lxckllg.tmp‘
No such file or directory: ‘/home/hb/.torch/models/resnet50-19c8e357.pth1lxckllg.tmp’解决：创建好.torch文件夹即可！
2021-05-26 20:03:44
836
原创 Linux普通用户配置anaconda环境变量
问题由来：我在Linux环境下想要修改普通用户的环境变量，报错：“/etc/profile” E212: Can’t open file for writing原因是权限不对。解决：在普通用户的配置文件.bash_profile里修改即可：vim .bash_profile使之生效：source .bash_profile结果：配置成功！...
2021-05-20 21:52:32
1290
1
原创 Linux：root目录的文件移动到普通用户目录
首先明确目的：1、创建普通用户2、然后以root身份登录root目录把有用的文件移动到新建的普通用户目录下面！栗子：以10.20.15.194这台服务器为例。1、创建一个普通用户 首先以root登录服务器。略 登陆过后再执行创建普通用户的命令。 代码如下（假设创建一个名为username的普通用户）：useradd username 结果： 设置新密码（输入两次）：passwd username 查看普通用户是否创建成功：cat /etc/passwd 一个名为u
2021-05-18 21:25:30
11066
3
Multi-Objective Matrix Normalization论文复现 .docx
2021-05-09
6.Learning from Web Data with Self-Organizing Memory Module.docx
2021-02-22
3.Spatially Attentive Output Layer for Image Classification.docx
2021-02-04
计算机组成原理：变形补码知识
2021-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人