- 博客(96)
- 收藏
- 关注
RSS订阅原创 V3Det大规模词汇视觉检测数据集与LaRS海上全景障碍物检测数据集
V3Det与LaRS是ICCV2023上发表的数据集工作，规模都比较大，后续有可能会用到，因此记录下来。
2023-10-26 17:31:36
737
原创 ICCV2023领域泛化Domain Generalization相关论文
Domain Generalization即领域泛化，是近些年比较前沿的方向之一，顶会论文比较多。TKDE2022上有一篇综述论文，可以用于了解该方向的整体情况。以下列出今年ICCV上相关的论文，可用于跟踪前沿研究方向。
2023-10-13 14:55:09
441
原创 torch.hub.load报错urllib.error.HTTPError: HTTP Error 403: rate limit exceeded
【代码】torch.hub.load报错urllib.error.HTTPError: HTTP Error 403: rate limit exceeded。
2023-10-12 17:56:59
1182
1
原创 python深度学习调参，多GPU并行运行shell脚本
在不同数据集上需要不同的超参以达到最优性能，以下通过暴力搜索的方式，对不同超参进行排列组合，用循环的方式找到最优组合。
2022-10-08 11:26:55
1403
1
原创 手把手教你通过PaddleHub快速实现输入中/英文本生成图像（Stable Diffusion）
近来，基于Diffusion的文图生成模型比较火，用户输入一句话，模型就可以生成一副对应的图像，还是很有意思的。本文记录了通过PaddleHub快速实现上述任务的过程，以供参考。PaddleHub底层依赖于百度自研的开源框架PaddlePaddle，可以根据官方提供的方式来快速安装，目前文档还是挺全面的。PaddleHub开源了较为丰富的预训练模型，涵盖大模型、CV、NLP、Audio、Video、工业应用主流六大品类的 360+ 预训练模型。
2022-09-15 16:43:13
4481
7
原创 transforms.normalize如何对特定数据集设定标准化参数
通常ImageNet有自己的标准化参数，是通过抽样统计图像的均值方差得到的，那么针对本地特定数据集，如何获取到适合的参数呢？功能：针对RGB3个 channel 分布对图像进行标准化。将结果写入transform列表中即可。
2022-09-08 15:12:54
1807
1
原创 pytorch transforms将图像padding成正方形
我的目标是在不要改变原图中物体的长宽比例的前提下，将图像变成一个正方形。SquarePad可以将图像短的一边padding到与长边一致，再将该正方形做一个resize，就可以保证内部物体比例不会发生改变了。
2022-08-25 11:24:02
2489
原创 手把手教你用pytorch实现k折交叉验证，解决类别不平衡
在用深度学习做分类的时候，常常需要进行交叉验证，目前pytorch没有通用的一套代码来实现这个功能。可以借助 sklearn中的 StratifiedKFold，KFold来实现，其中StratifiedKFold可以根据类别的样本量，进行数据划分。以上示例是将所有imgs列表与对应的labels列表进行split，得到train_idx代表训练集的下标，val_idx代表验证集的下标。以上就是实现的基本代码，之所以在代码层面实现k折而不是在数据层面做，比如预先把数据等分为5份。...
2022-08-25 09:31:10
9621
13
原创 python统计子文件夹内图像个数，画图分析类别长尾分布
脚本输出子文件夹的名称，以及对应文件夹下的文件个数。分析出该数据集各个类别的数据分布情况，哪些类别数据较多，哪些类别数据较少，可以针对该情况，对算法分类结果进行分析。
2022-08-16 13:55:19
927
原创 Ubuntu kill信号-9和-15
在Ubuntu系统中，对于某些后台运行的程序，通常会采用kill命令来结束。但是有些程序，通常的kill命令无法真正kill掉，需要加强制信号才能完成。通常，kill -9用的多一些，要求程序收到指令后立即结束，不会被忽略或阻塞。...
2022-08-15 15:07:33
921
1
原创 PartImageNet物体部件分割（Semantic Part Segmentation）数据集介绍
PartImageNet是发表在ECCV2022的论文，主要是提出了一个当前最大、最全的物体part数据集。数据集下载链接在GitHub上已放出，可以下载。
2022-07-29 17:33:45
1126
原创 2022下半年CV计算机视觉领域可投稿国际会议列表（含录用率）
本文梳理了2022下半年计算机视觉领域可以投稿的一些国际会议，根据截稿时间由近到远排序，会议举办时间都在2023年。下表会议不一定全面，供参考。
2022-07-26 17:52:37
8594
6
原创 基于python和md5的相同图片查重
通过爬虫获取的互联网图片，下载下来之后有一些是重复的，人眼检查的话费时费力，而且也很难查全。本文通过计算并比对图片的md5值来判断是否为重复图片，以备后用。python代码如下：上述代码仅提供完全重复图片的查重功能，对于相似图片并不能起到查重功能，后续可加入相似度计算或特征点匹配等方法来实现相似图片的查重。......
2022-06-27 15:38:48
1592
原创 Pytorch遇到的坑：为什么模型训练时，L1loss损失无法下降？
最近在用L1loss做一个回归模型的训练，发现模型训练过程中loss及其不稳定，且训练效果很差，终于找到原因了！以上代码问题出在：我输入的batchsize是4，因此output的size是[4,1],也就是一个二维的数据；target的size是[4]。loss输出的结果是一个正确的数值。这也是我没发现问题的原因！我们看一下pytorch库里l1_loss的代码：代码里的warning，要求input和target的size必须一致，不然会出现不对的结果。我自己代码里把warnin...
2022-06-17 15:02:00
3833
5
原创 Ubuntu系统无法进入Grub引导界面问题解决
近期Ubuntu系统出了很多问题，重装的话太麻烦了，只能一个个问题慢慢解决。其中一个问题是系统启动过程中没有Grub的引导界面，存在多个系统或内核的话，可以在Grub引导界面选择不同的系统进入。查了很多网上的资料，也试了很多次，目前已经解决这个问题，启动之后可以看到Grub引导界面。1、进入命令行操作，通过vi打开grub配置文件。2、通过修改其中的配置来实现。注释下面这一行：修改如下两行：其中，GRUB_TIMEOUT=10表示引导界面会停留10秒。3、更新Grub配置。上述方法只
2022-06-14 16:00:12
9867
原创 文本OCR相关资料收集
文本相关的图像处理是目前应用比较多的一个方向，平时看了一些资料，整理收集链接如下，以备后用。整体感觉，百度的PaddleOCR算是国内OCR开源方面做的比较好的了。论文方面，每年顶会有一些文章出来，可以查看以把握前沿的技术。Search for document image | Papers With CodePaddleOCR: Awesome multilingual OCR toolkits based on PaddlePaddle （practical ultra lightweight OCR
2022-06-13 17:59:11
411
原创 目标检测工程化实践中的一些技巧与思考
目标检测可以说是当今深度学习在产业界应用中最重要的技术了，没有之一。陆续看了很多目标检测工程化实践的文章，感觉还是有不小收货的。以下收录了一些仔细阅读过的文章链接，可以作为目标检测实践的参考。CNN调优总结深度神经网络模型训练中的 tricks（原理与代码汇总）目标检测比赛中的tricks集锦【目标检测实战】检测器至少需要多少图像？目标检测实用中可以改进的方向 - 知乎【水文3】一些改进模型速度/精度的工程方法 - 知乎模型训练中的新反思 - 知乎提升小目标检测的思路盘点目标检测中的特征融合技巧（根据YOL
2022-06-06 10:27:43
380
1
原创 Ubuntu下根据.bash_history查询近期命令使用记录
在Ubuntu系统中，每个用户执行过的命令会保存在.bash_history文件中。该文件会保存用户近期使用过的几百条命令，通过cat命令可以直接查看。cat /home/username/.bash_history实际使用时，上面的username替换成对应的用户名即可。此外，还可以通过history命令来查看。history相比于直接cat历史文件，history命令的好处是打印输出会加上行号，看起来更清晰。...
2022-05-31 09:55:31
2382
原创 CVPR2022目标检测方向论文
[1]SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detectionpaper:https://arxiv.org/pdf/2203.06398code:https://github.com/CityU-AIM-Group/SIGMA[2]Democracy Does Matter: Comprehensive Feature Mining for Co-Salient Object Detecti...
2022-03-15 18:00:46
9750
原创 Unable to init server: Could not connect: (gedit:2750): Gtk-WARNING **: cannot open display问题解决
最近想在server上用gedit修改系统引导程序文件，命令如下：sudo gedit /etc/default/grub出现了问题，报错如下：Unable to init server: Could not connect: Connection refused(gedit:2750): Gtk-WARNING **: cannot open display:其实，问题还是出在gedit上面。gedit是GNOME桌面环境的官方文本编辑器，但是server上可能并没有桌面环境GUI
2022-03-15 10:54:40
9584
原创 手把手教你制作自己的YOLOX目标检测docker部署环境
步骤mkdir workspacegit clone https://github.com/Megvii-BaseDetection/YOLOX.gitDockerfileFROM pytorch/pytorch:latest ADD . /WORKDIR /YOLOXRUN apt-get update && apt-get install -y build-essential libgl1-mesa-dev libglib2.0-devRUN pip3
2022-03-13 10:36:02
3909
6
原创 Linux查询及kill所有python进程
当python进程异常中断时，需要查看所有的python进程。命令如下：ps -ef | grep python当采用并行处理的时候，会有非常多的进程存在，一个个kill非常麻烦，可以直接kill所有python进程。命令如下：killall python...
2022-03-07 15:25:24
2958
原创 docker: Error response from daemon: could not select device driver ““ with capabilities: [[gpu]]问题解决
docker在19.03版本之后，可以不用安装nvidia-docker，就能获得GPU的计算支持。但是，直接在docker中使用GPU设备，出现报错如下：docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].这个问题可以通过安装nvidia-container-toolkit来解决。1、添加nvidia-docker的源curl -s -L
2022-03-01 15:21:13
24641
7
原创 docker容器与主机间的文件复制传输
docker容器内部与主机是隔离开的，如果需要在二者间传输文件，可以使用本文示例中的方式。先查看容器的名称：docker ps -a下面NAMES项就是容器的名称，我这里是yolox。CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESdee80c5d856e yolox:v1.0 "/bin/bash" 1
2022-03-01 15:05:01
5303
原创 docker查询、删除镜像与容器
使用docker的过程中会需要用到查询、删除镜像与容器的操作，记录如下，以备后用。1、查询镜像docker images返回结果如下：REPOSITORY TAG IMAGE ID CREATED SIZEpytorch/pytorch latest c3f17e5ac010 4 months ago 6.26GBpytorch
2022-03-01 10:54:29
834
原创 docker执行权限问题Got permission denied while trying to connect to the Docker daemon socket
安装docker之后，执行docker images等命令，提示权限问题，报错如下：Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.24/images/json: dial unix /var/run/docker.sock: connect: permiss
2022-02-28 16:10:29
6602
原创 数据增强实测之GridMask
GridMask是2020年arXiv上的一篇论文，可以认为是直接对标Hide_and_Seek方法。与之不同的是，GridMask采用了等间隔擦除patch的方式，有点类似空洞卷积，或许可以取名叫空洞擦除？
2022-02-07 09:28:49
5504
原创 数据增强实测之Hide-and-Seek
Hide-and-Seek是2017年发表在ICCV上的一种数据增强方法，主要思想是将图像划分成若干个patch，然后对每个patch执行随机擦除操作。会议扩充版看格式有可能是投到TPAMI上了，从时间上分析，被拒的可能性比较大。
2022-02-07 09:28:35
3877
8
原创 数据增强实测之RICAP
RICAP是2019年发表在TCSVT期刊上的一种数据增强方法，看论文发现RICAP在目标检测中的用法和YOLOv4中的mosaic增强几乎是完全一样的。从时间上来看，YOLOv4是2020年出来的，比RICAP晚了一年，不确定作者是否看过RICAP这篇论文。
2022-01-26 13:56:05
3200
原创 数据增强实测之mixup
mixup是2018年发表在ICLR上的一种数据增强方法，核心思想是从每个batch中随机选择两张图像，并以一定比例混合生成新的图像。需要注意的是，全部训练过程都只采用混合的新图像训练，原始图像不参与训练过程。
2022-01-26 12:27:17
17287
10
原创 数据增强实测之Random Erasing
Random Erasing是2017年与cutout同时期提出的一种数据增强方法，想法比较简单，即在训练时随机裁剪掉图像的一部分，也可以看作是一种类似dropout的正则化方法。Random Erasing Data Augmentationpaper (arXiv):https://arxiv.org/pdf/1708.04896v2.pdfpaper (AAAI20):https://ojs.aaai.org/index.php/AAAI/article/view/7000/6854..
2022-01-19 10:04:38
5633
4
原创 数据增强实测之cutout
cutout是2017年提出的一种数据增强方法，想法比较简单，即在训练时随机裁剪掉图像的一部分，也可以看作是一种类似dropout的正则化方法。Improved Regularization of Convolutional Neural Networks with Cutoutpaper:https://arxiv.org/pdf/1708.04552.pdfcode:https://github.com/uoguelph-mlrg/Cutoutcutout采用的操作是随机裁剪掉图像中..
2022-01-19 09:44:01
11310
10
原创 虚拟摄像头API对比pyfakewebcam与pyvirtualcam
最近在调研一些可用的虚拟摄像头开源库，主要是基于python的。查到主要的两个：pyfakewebcam与pyvirtualcam。由于并不满足目前个人的需要，因此并没有实际去测试。初步调研对比如下，以备后用。1、pyfakewebcamAn API for writing RGB frames to a fake webcam device on Linux!GitHub - jremmons/pyfakewebcam: A library for writing RGB frames
2021-12-30 17:27:01
3175
原创 Win10安装pyaudio报错error: Microsoft Visual C++ 14.0 is required.问题解决
最近有需要测试在Windows下面通过pip安装pyaudio库，通过如下命令安装失败：pip install pyaudio报错如下图所示：我的python版本是3.7.4，目前pip直接安装pyaudio还不支持3.7，可以直接下载对应版本的whl文件来安装。下载地址如下：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyaudio安装命令如下：pip install PyAudio-0.2.11-cp37-cp37m..
2021-12-28 16:37:27
1116
原创 TypeError: ‘Image‘ object does not support item assignment问题解决
通过Image库打开的图像，直接进行矩阵操作时会报错“TypeError: 'Image' object does not support item assignment”。这里，需要先将图像转换成numpy格式。示例如下：import numpy as npfrom PIL import Imageimg = Image.open('1.jpg')img = np.asarray(img) # to numpy# operationimg[:, 1:10, 1:10] = 0
2021-12-27 13:08:03
3817
原创 Ubuntu中nohup实现终端session挂断时程序不中断
在服务器上训练深度学习模型的时候，经常需要关闭terminal之后模型继续训练。不然每次都只能电脑一直开着terminal，既费电又不方便。可以通过nohup命令来实现。nohup命令主要就是用于不挂断地执行程序，就算关闭了当前的session，程序也还会继续执行下去。如果在程序没有执行完毕的情况下，只能通过kill等命令来终止。shell脚本的代码示例如下：CUDA_VISIBLE_DEVICES=0 nohup python train.py > 00.log 2>&1
2021-12-23 15:46:03
1687
原创 Ubuntu中shell脚本同时运行多个python程序
在ubuntu系统中经常会需要同时执行多个python程序，如果写在不同的脚本中，操作比较繁琐。可以通过&符号来实现，示例如下：(python train_01.py > 01.log) & (python train_02.py > 02.log)建议加括号（）把不同的程序放到一起，因为有些程序也包含&符号，不加括号容易出问题。此外，如果一行太长了，可以最后加 ‘\’ 换行。...
2021-12-23 15:09:38
3439
1
原创 Ubuntu中vi编辑器跳转到文本的第一行和最后一行
在Ubuntu的terminal中使用vi查看文本内容时，如果文本内容比较多的话，通过逐行滑动的方式会比较慢。可以通过如下方式，直接跳转到文本的第一行和最后一行。1、跳转到第一行:0 或 :1 或 gg2、跳转到最后一行:$ 或 Shift + g...
2021-12-23 11:21:35
2597
原创 Ubuntu重启后nvidia-smi命令报错NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.
最近在Ubuntu服务器重启之后，使用nvidia-smi命令的时候就不行了。之前也遇到过这个问题，以为是显卡驱动坏了。出现这个问题的原因很可能是系统的内核更新之后，导致驱动不匹配了。针对这个问题，其实不用重新安装驱动，可以通过DKMS来解决这个问题。DKMS全称是Dynamic Kernel Module Support，它可以帮我们维护内核外的这些驱动程序，在内核版本变动之后可以自动重新生成新的模块。1. 查看已安装的Nvidia驱动版本ls /usr/src | grep nvi
2021-12-13 13:56:25
5119
3
原创 python使用opencv（cv2）在图像上绘制点线等
在视觉算法相关工作的时候，经常需要把一些检测的结果绘制在原图像上，以便查看效果。对与python里面使用opencv（cv2）在图像上绘制点、线、矩形框和文本，以下给出具体的示例。原图像如下：python代码如下：import cv2img_path = 's.jpg'# 读图像img = cv2.imread(img_path)# 绘制点point_list = [(360, 80), (230, 270), (470, 270)]for point in point.
2021-12-03 10:37:52
17593
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人