- 博客(68)
- 资源 (1)
- 收藏
- 关注
原创 Python批量训练深度学习模型
【总结】 可以达到预期效果,运行中没有出现卡顿,且不会造成显存泄露。用Python批量训练深度学习模型(或自动尝试最优超参数)。使用 argparse 模块和 os.system() 方法。函数,然后使用argparse参数解析。第一步,实现业务接口。第二步,编写运行脚本。
2023-04-14 20:09:38 316 1
原创 单目相机、双目相机和RGB-D相机学习笔记(一些视频和博文网址)
单目相机、双目相机和RGB-D相机的相关学习笔记,具体提供了一些视频和博文地址以及一些学习要点。
2023-02-11 11:45:55 2359
原创 Ubuntu下查看CPU和GPU信息
参考Ubuntu – 下如何查看CPU信息, 包括位数和多核信息 - ma_fighting - 博客园查看服务器显卡GPU型号_BISTU_theRookie的博客-CSDN博客_查看服务器显卡型号
2022-04-08 16:13:51 1170
原创 PyTorch Swin-Transformer 各层特征可视化
PyTorch相关开源库https://gitee.com/hejuncheng1/pytorch-grad-cam安装命令pip install grad-cam具体使用参考Swin Transformer各层特征可视化_不高兴与没头脑Fire的博客-CSDN博客
2022-04-08 16:01:28 3055 1
原创 用fvcore计算PyTorch网络的参数量和FLOPs
依赖库安装命令pip install fvcoreFLOPs: 注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量,可以用来衡量算法/模型的复杂度。示例import torchfrom torchvision.models import resnet50from fvcore.nn import FlopCountAnalysis, parameter_count_table# 创建resnet50网络model = resn
2022-04-08 15:54:14 2353 1
原创 Python迭代器和线程池使用示例
假如有一个列表,每次只取2个,不断迭代下去,直至取完,用Python迭代器实现。def mynext(a, n): res = [] for _ in range(n): try: res.append(next(a)) except: break return resif __name__ == '__main__': b = [1, 2, 3, 4, 5, 6, 7] c
2022-03-16 16:39:59 1926
原创 yaml文件None的传参
深度网络结构配置yaml文件里的空值用 null、~、或直接不填写 这3种方式表示,如果直接写None读取出来的是str变量“None”。详细阅读文章:yaml文件语法——None和“None“不一样的传参,不一样的含义_山和尚的博客-CSDN博客...
2022-03-11 11:17:06 711
原创 GPU显存不够用时,如何用PyTorch训练大模型(torch.utils.checkpoint的使用)
当只有一颗GPU时,常规方法通常难以训练大batchsize下的大模型。torch.utils.checkpoint 梯度检查点技术可以用于解决该问题,可阅读文章:Chen T, Xu B, Zhang C, et al. Training deep nets with sublinear memory cost[J]. arXiv preprint arXiv:1604.06174, 2016.基本原理:网络训练高效内存管理——torch.utils.checkpoint的使用_风筝大晒的博客-
2022-03-11 11:03:52 4090
原创 学校实验室团队远程访问同一台GPU服务器
1. GPU服务器IP向学校有关部门申请固定IP。2. WinSCP文件传输在自己电脑下载git项目、网络预训练权重、数据集等大型文件,用WinSCP软件上传至GPU服务器。教程:winscp连接ubuntu,Linux 摸索:使用winSCP连接ubuntu系统以Ubuntu服务器为例,服务器安装并开启ssh服务,自己电脑安装并开启WinSCP,填写服务器IP、用户名和密码,连接后即可上传、下载文件,就不用自己专门拿着移动硬盘跑到机房拷贝数据。3. VS Code远程开发下载VS Code
2022-03-01 15:17:40 956
原创 The Science of the Blockchain学习笔记(四)
衷心感谢《The Science of the Blockchain》一书的作者Roger Wattenhofer。《The Science of the Blockchain》一书较为严谨地介绍了一种基础技术——容错分布式系统(faulttolerant distributed system)。在容错分布式系统中,数据存储在多台服务器上,并且多台服务器协同完成一项计算操作。这里面,最大的问题便是如何进行协调(coordination problem)。
2021-12-02 21:07:41 1377
原创 从零开始快速入门Transformer注意力机制
1 目的本文提供相关视频和笔记,以便初学者快速入门Transformer注意力机制。2 基础模块2.1 基本公式Transformer的常见基本公式为Attention(X)=Attention(Q=WqX,K=WkX,V=WvV)=softmax(QKTdk)V,\mathsf{Attention}(X) = \mathsf{Attention}(Q=W_qX, K=W_kX, V=W_vV) = \mathsf{softmax}(\frac{QK^T}{\sqrt{d_k}})V,Atte
2021-11-27 17:24:36 2187
原创 The Science of the Blockchain学习笔记(三)
前言衷心感谢《The Science of the Blockchain》一书的作者Roger Wattenhofer。《The Science of the Blockchain》一书较为严谨地介绍了一种基础技术——容错分布式系统(faulttolerant distributed system)。在容错分布式系统中,数据存储在多台服务器上,并且多台服务器协同完成一项计算操作。这里面,最大的问题便是如何进行协调(coordination problem)。围绕协调问题,研究人员提出了诸多算法与模型,如
2021-03-25 21:59:25 344
原创 The Science of the Blockchain学习笔记(二)
前言衷心感谢《The Science of the Blockchain》一书的作者Roger Wattenhofer。《The Science of the Blockchain》一书较为严谨地介绍了一种基础技术——容错分布式系统(faulttolerant distributed system)。在容错分布式系统中,数据存储在多台服务器上,并且多台服务器协同完成一项计算操作。这里面,最大的问题便是如何进行协调(coordination problem)。围绕协调问题,研究人员提出了诸多算法与模型,如
2021-02-18 16:08:35 290 4
原创 The Science of the Blockchain学习笔记(一)
前言衷心感谢《The Science of the Blockchain》一书的作者Roger Wattenhofer。《The Science of the Blockchain》一书较为严谨地介绍了一种基础技术——容错分布式系统(faulttolerant distributed system)。在容错分布式系统中,数据存储在多台服务器上,并且多台服务器协同完成一项计算操作。这里面,最大的问题便是如何进行协调(coordination problem)。围绕协调问题,研究人员提出了诸多算法与模型,如
2021-02-17 17:50:14 493 6
原创 numpy矩阵的旋转与翻转
使用skimage.io读出来的图片是numpy.darray格式,掌握numpy矩阵的旋转与翻转,可实现数据增广(data augmentation)。1 Numpy矩阵的旋转参考文档NumPy矩阵的旋转,可用rot90函数实现,例子如下:import numpy as npmat = np.array([[1,3,5], [2,4,6], [7,8,9] ])print mat, "# origna
2021-01-15 16:57:35 6562
转载 Python从底层实现Meanshift聚类
Python从底层实现Meanshift聚类,很棒的一篇文章:MeanShift算法原理及其python自定义实现
2021-01-15 16:48:07 297
转载 python 创建空文件的方法
import pathlibfile_name = "123.txt"pathlib.Path(file_name).touch()
2021-01-15 16:20:58 1908
原创 Word无法插入eps矢量图与Word转PDF不高清问题的解决方案
前言论文投稿,我们经常会遇到这两个问题:Word无法插入eps矢量图,或插入TIFF高清图片后Word转PDF图片又失真。有些期刊不支持LaTex,我们需要寻找一种妥善的解决方案。我的解决方案由于安全问题,office 2017年4月份更新后,不再支持直接插入eps。具体解决方案可参考知乎文章《word 、ppt 无法插入eps图片,解决方法》。遗憾的是,我按照这些教程进行操作后,Word依旧无法插入eps矢量图。其实,我们不一定要插入eps,仅需将eps文件转换成emf、wmf文件再插入即可,这
2020-12-29 16:56:55 5015
原创 python 获取项目的根路径
path = os.path.abspath(os.path.dirname(__file__))print(path)打印上述路径,可获取当前python文件的路径,自己做字符串处理即可获取项目根路径。Referencepython 获取项目的根路径
2020-12-29 16:31:16 700
原创 多分类模型的评价指标
文章目录基础符号宏F1(macro-F1)微F1(micro-F1)准确率(Accuracy)几何平均(G-mean)Reference基础符号记True Positive (TP):把正样本成功预测为正。True Negative (TN):把负样本成功预测为负。False Positive (FP):把负样本错误地预测为正。False Negative (FN):把正样本错误的预测为负。查准率Precision为P=TPTP+FP,P = \frac{TP}{TP+FP},P=T
2020-12-12 09:10:35 7337 3
原创 PyTorch迁移学习简单例子
目录1 仅导入前几层参数1.1 不相同的网络模型1.2 相同的网络模型2 冻结迁移的参数Reference1 仅导入前几层参数1.1 不相同的网络模型这里演示如何仅迁移前1层参数,代码如下:import numpy as npimport torchfrom torch.nn import Modulefrom torch import nnfrom torch.nn import functional as F# 预训练的网络模型 Net1class Net1(Module):
2020-12-09 17:18:44 603
原创 PyTorch网络初始化方式
网络参数初始化对于训练收敛有极大重要性,对于卷积神经网络,在TensorFlow时我一般采用Xavier,但在用PyTorch时发现kaiming_normal(何氏初始化)效果更好。如果不精心挑选网络初始化方法,训练时网络Loss值可能一直稳定维持在某个数值,例如:对于分类任务,假设有C个类别,Loss可能一直维持在−log(1C)-\log(\frac{1}{C})−log(C1)附近。代码:import torchimport torch.nn as nnclass VGG16(nn
2020-12-05 11:21:16 3361
原创 深度学习在训练时对图片随机剪裁(random crop)
文章目录为何要采取random crop?对图片进行随机裁减和缩放有些图片有4个颜色通道图像转换成torch.Tensor对象Reference为何要采取random crop?在训练学习器时对图片进行随机裁减,背后的一个直觉就是可以进行数据增广(data augmentation),防止学习器陷入过拟合。假设类别CCC的主要特征为FFF,采集得到的图片包含背景噪声BBB,即现在CCC表示为(F,B)(F, B)(F,B),我们本来期望学习关系f∗:F→Cf^*: F \to Cf∗:F→C,结果现在可
2020-12-05 10:57:33 17589
原创 Springer期刊投稿的一些问题记录
问题1引用svjour3模板时出现cleveref Error:! TeX capacity exceeded, sorry [input stack size=5000]解决方法:https://tex.stackexchange.com/questions/478321/cleveref-error-tex-capacity-exceeded-sorry-input-stack-size-5000问题2作者单位上标与脚注、通讯作者信封标识参考文章:Springer期刊LaTeX投稿问题的
2020-12-02 08:28:43 2140
原创 LaTex参考文献实现作者年代的引用格式,且参考文献列表带缩进
参考文章1Latex:参考文献如何实现作者+年代的引用格式,并且参考文献列表带缩进\usepackage[round]{natbib}\begin{document}%正文\bibliography{Bibfile}\bibliographystyle{apa}\end{document}参考文章2LaTeX中的参考文献——作者年代引用参考文章3Latex参考文献在文中引用格式为author et al. [number]...
2020-12-02 08:17:03 2422
原创 A Simple Example of PyTorch for Initiates
Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., et al. (2019). PyTorch: An imperative style, high-performance deep learning library. ArXiv e-prints, pp. arXiv:1912.01703.Thanks all the authors of PyTorch for their great contributi.
2020-11-26 17:11:55 177
原创 Spatial Attention和Channel Attention的个人理解
最近师妹问我spatial attention和channel attention的问题,我查了一下,网上一堆资料讲的云里雾里的,这里对个人理解做一些笔记。这两种注意力机制结构如下:注意力机制,其实就是模仿人关注Region of Interest的过程(可参考显著图Saliency map)。接下来以RGB图片I(H,W)I_{(H, W)}I(H,W)为简单例子说明这两种注意力机制,想象现在以RGB矩阵为特征图,这时特征图大小为(H,W,3)(H, W, 3)(H,W,3)。空间注意力机制. 先
2020-11-13 10:53:43 14568 10
原创 用PyTorch版本R-FCN训练自己的数据
本文章使用的是princewang1994/R-FCN.pytorch开源代码,项目地址https://github.com/princewang1994/R-FCN.pytorch首先阅读README.md文件,特别是Preparation中的prerequisites,要求Python 3.6Pytorch 0.3.0, NOT suport 0.4.0 because of some errorsCUDA 8.0 or higher。之前我用的是PyTorch 1.0版本,导致
2020-10-03 11:22:26 2192 2
原创 用TensorFlow的slim实现VGG16
目录TensorFlow的slim模块训练过程中Loss稳定不下降最后一层为线性激活函数代码迁移学习TensorFlow的slim模块TensorFlow提供了slim模块,可以很方便地写出VGG网络。这里推荐博文:tensorflow中slim模块api介绍,这篇文章有slim的api文档,里面也有一个vgg网络简单demo;【Tensorflow slim】 slim.arg_scope的用法,可以重点看slim.arg_scope的用法;Tensorflow slim库使用小记;tens
2020-09-17 20:56:05 351
原创 Java工厂模式解耦合的例子
目录第一个例子第二个例子第三个例子最终项目路径如下:第一个例子假设有如下接口,package service;public interface Notice { public void work(String message);}实现类如下,package service;public class NoticeImpl implements Notice { @Override public void work(String message) { // TODO Aut
2020-07-01 21:30:20 472 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人