- 博客(83)
- 收藏
- 关注
RSS订阅
原创 Esxi虚拟机和笔记本电脑通过IP连接以文件传输；进而通过Pycharm远程控制提升编程效率。
问题1：通过VMWARE打开ESXI虚拟机进行操作，会遇到页面一阵阵卡顿、延迟的现象，编程体验较差；同时经常性地，本机和服务器段的虚拟机之间无法进行便捷的文件传输；解决方式：正确的尝试实践：获取ESXI虚拟机系统的ip地址，通过Xshell、Xftp或者WinSCP等软件进行ssh终端命令操作或者服务器虚拟机和本机的文件传输。1 获取Esxi虚拟机系统的Ip地址。以ubuntu为例借助ifconfig命令。ens192代表网卡，如果对应的信息没有ip地址，掩码等信息，只要显示ens192就可以获
2021-07-26 21:46:57
1551
1
原创 Ubuntu20.04|最新一版的深度学习基础环境安装指导
图11 在windows磁盘管理中将含有ubuntu系统的分区执行“删除卷”操作，不过该类操作不能删除ubuntu的EFI系统分区，因为windows对其他系统的保护措施。2 删除EFI系统分区需要通过Diskpart以对分区管理。1 win+R 执行 Diskpart 命令2 list disk 命令以查看当前磁盘列表；通过select disk X 来选择想要执行操作的磁盘；3 选中磁盘后，输入list partition 来查看磁盘下的分区；通过select partition X 以选择想
2021-05-07 12:35:19
3030
1
原创 【已修复】Tensor for argument #2 ‘weight‘ is on CPU, but expected it to be on GPU
Bug提示信息RuntimeError: Tensor for argument #2 'weight' is on CPU, but expected it to be on GPU (while checking arguments for cudnn_batch_norm).深层原因参考文献 RuntimeError：参数#2“权重”的张量在 CPU 上，但预计它在 GPU 上（同时检查 cudnn_batch_norm 的参数）是因为，代码中，正在动态地在forward方法内创建一些层。这
2022-02-21 13:02:15
2449
原创 【已修复】Error: ValueError: The last dimension of the inputs to `Dense` should be defined. Found `None`
Keras框架我们需要记住的一件事情是，Dense层要求明确上一层输出的第二维度的值，而不能显示为None。但是这种“明确”似乎并不能通过在Dense层指定input_shape就可以实现的。x1_in = Input(shape=(None,))x2_in = Input(shape=(None,))x = SelfCreateLayer([x1_in, x2_in])# 这里的SelfCreateLayer它输入其实是两个shape为(batch,120)的tensor对象。但是因为12.
2022-02-05 10:10:17
4100
原创 【软件使用】使用SothisAI平台的公有库，创建适合自己项目的开发环境（私有库）
如何使用SothisAI平台的公有库，创建适合自己项目的开发环境（私有库）库：即是指Docker镜像，公有库即是创建人分享，而任何人都可以使用的库；私有库即是创建人不分享，自行使用的镜像资源。开发环境：其实就是安装各种软件。比如深度学习的环境，就是nvidia驱动程序以及由pip install 命令安装的第三方库。确定一个已经创建好的适合的公有库（最好是已经包含了nvidia驱动，python、cuda的那个），适合的标准是跟自己本地的开发环境保持一致。点击"ssh|Jupyter"
2021-12-30 18:52:51
1139
原创 多分类任务中精确率(Precision)、召回率(Recall)以及准确率(Accuracy)评估指标的计算
多分类中精确率和召回率的计算
2021-12-29 09:59:23
18371
6
原创 [Ray.Tune] [已解决] Queue objects should only be shared between processes through inheritance
问题错误代码2021-12-24 17:48:01,170 WARNING experiment.py:256 -- No name detected on trainable. Using DEFAULT.2021-12-24 17:48:01,171 INFO registry.py:70 -- Detected unknown callable for trainable. Converting to class.Traceback (most recent call last): File
2021-12-24 21:27:38
1757
原创 [Ray.Tune] [已解决] TypeError: ray.cloudpickle.dumps
问题描述：2021-12-24 17:17:36,223 WARNING experiment.py:256 -- No name detected on trainable. Using DEFAULT.2021-12-24 17:17:36,224 INFO registry.py:70 -- Detected unknown callable for trainable. Converting to class.Traceback (most recent call last): File
2021-12-24 17:26:51
1695
原创 [Ray.Tune]使用心得(待完善)
首先，report中参数，是自行指定的，而参数对应的值需要在程序中有出现，这一点不需要赘述。同时在report中指定的参数，将会在Ray运行的过程中以表格的形式展现。比如，tune.report(loss=(mean_loss), accuracy=test_accuracy, accuracy2= test_accuracy)# =======================+---------------------+------------+---------------------+---
2021-12-15 15:50:02
5544
1
原创 【功能代码分享】模型参数非严格性迁移
能够将E模型参数迁移到D模型中，即使两者的键不同。def load_fortune_model(params, model): from tqdm import tqdm checkpoint = torch.load(params['pretrained'], map_location='cpu') try: D_dict = model.module.state_dict() except AttributeError: D_dict
2021-10-10 15:35:20
108
原创 RuntimeError: No CUDA GPUs are available
情况描述电脑上存在显卡但是一直没有使用；因为模型训练速度太慢，所以才打算切换训练方式，但是使用torch却发现出现这种报错。解决过程在CSDN上搜索到的解决方案都很扯；在overstack和github上搜索，很奇怪问的少，回答的也少；但有人提及是驱动程序和cuda等不匹配；于是尝试，升级显卡驱动程序（鲁大师的方式），安装成功后，重启再运行代码，不会再报错。不排除其他人写的答案是否对，如果你也遇到相同的问题，升级驱动程序是你可以尝试的一种方案。...
2021-10-05 15:34:03
1124
原创 ubuntu安装NCCL for cuda10.1
配置：多块GPUcuda10.1nccl 下载链接：https://developer.nvidia.com/nccl/nccl-legacy-downloads本人选择的是：NCCL 2.7.8, for CUDA 10.1, July 24,2020下载本地文件后具体的操作链接是：https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html本人总共使用的三条命令是：sudo apt-key add /var/nc
2021-08-12 13:54:47
1040
原创 Apex安装错误Subprocess.CalledProcessError:Command ‘[‘ninja‘,‘-v‘]‘ returned non-zero exit status 1
两种错误direct cause描述：1 Subprocess.CalledProcessError:Command '['ninja','-v']' returned non-zero exit status 1.2 ninja: build stopped: subcommand failed.起初认为是gcc版本比较低的原因，因此从7升到了9；后来发现无济于事。后来思索再三，觉得可能是因为配置GPU环境的时候，没有安装NVCC的原因，因此在gcc g++ 9 的基础上安装了nvcc，最终成功
2021-08-12 10:52:30
1742
5
原创 卷积层与批归一化层的参数量计算公式
卷积层公式：（卷积核的参数量 + 1） x 输出的特征层数（即该层的卷积核个数）其中的1 表示偏置项，每个卷积核默认附加一个偏置项；批归一化层公式：4 x 输入的特征层数其中4表示四个参数值，每个特征图对应一组四个元素的参数组合；beta_initializer Beta 权重的初始值设定项。gamma_initializer 伽马权重的初始值设定项。moving_mean_initializer 移动均值的初始值设定项。moving_variance_initializer 移动方差的初
2021-08-08 19:50:43
783
原创 WARNING:tensorflow:AutoGraph could not transform xxx and will run it as-is 的一种解决思路
警告内容：WARNING:tensorflow:AutoGraph could not transform <bound method TensorflowDataset.load_and_preprocess_image of <__main__.TensorflowDataset object at 0x7fc8d36be3d0>> and will run it as-is.Cause: mangled names are not yet supportedTo sile
2021-08-07 20:06:25
2373
原创 Trying to backward through the graph a second time, but the buffers have already been freed
错误信息：RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.尝试解决：第一种：按照提示信息 加上retain_graph。报以下信息：RuntimeError: one of the variables nee
2021-08-07 10:22:23
470
原创 torchvision中的resize对PIL.Image对象的处理速度要优于opencv近7千倍
图片数据集中的图片之间的大小存在差异；希望进行预resize处理，但是纠结于以下三者的处理效率差异：使用opencv中的resize；torchvison中的resize；tf.image.resize。因此做了以下的实验，最终发现torchvision+PIL的方式似乎更胜一筹；from torchvision import transformsimport tensorflow as tfimport cv2import timeimgpath = "/home/night/Py
2021-08-06 13:30:28
1425
4
原创 detach操作相当于深度拷贝——返回一个不同内存空间的新变量充当叶子节点
pytorch.deatch()方法的结论与代码证明。datach操作，相当于一个深度拷贝，操作后返回的变量和被detach的节点不属于同一个内存id，同时之后，被detach的节点的内容被修改后，返回的变量不会随之更改。detach操作后返回的变量默认不进行梯度计算，因此如果希望计算该叶子节点，则需要指定其梯度计算属性。import torchA = torch.Tensor([1, 1., 2, 3])B = torch.Tensor([1, 1, 1, 1])A.requires_g
2021-07-02 17:13:21
390
原创 【服务器问题】浪潮inspur服务器个别硬盘亮红灯且发出1长的滴滴声响
浪潮inspur服务器个别硬盘亮红灯 且发出1长的滴滴声响问题的表面现象服务器的硬盘槽亮红灯服务器开机过程中的问题表现问题解决过程1 Ctrl+R进入Raid管理界面2 检查每个硬盘的状态3 进入ForeignView页面导入外部设置服务器硬盘亮灯原理猜测服务器基本配置：Inspur浪潮服务器；EXSI；四块硬盘：两块机械硬盘和两块固态硬盘；问题的表面现象服务器的硬盘槽亮红灯简单介绍一下，四块硬盘，左边的两个是固态硬盘，右边两个是机械硬盘的；机械硬盘的两个卡槽自始至终都是显示绿灯；
2021-06-17 17:25:56
8765
2
原创 Matplotlib箭头风格与标注文本连接|plt.annotate函数与connectionstyle参数的使用与案例代码
如果你认为下面的图比较美观，尤其是标注文本与箭头的连接部分。Annotate函数简介参考官网：https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.annotate.htmlmatplotlib.pyplot.annotate(text, xy, *args, **kwargs)。text：The text of the annotation.注释文本的内容xy：The point (x, y) to annot.
2021-06-03 21:10:50
11176
7
原创 调参|炼丹|感悟
对于某些不参与图计算的模块，即没出现在forward函数中的子模块。初始化某些模块不使用与不初始化这些模块，两次的实验结果会有差异。——意味着初始化的参数是不一样的，即使看似那些模块对被使用的模块没有影响。...
2021-06-02 18:17:48
345
原创 Git常见场景的解决方案
Git重要的原则：面向修改而不是面向文件 ；参考廖雪峰老师的网站：https://www.liaoxuefeng.com/wiki/896043488029600/896067074338496。这句话具体出现的位置已经淡忘了。如果是一个小项目、仅自己使用且涉及上传github保存，则要保证所使用的任何命令都不能够涉及到工作空间。因而git rm 这个命令禁止使用和git reset中的hard参数要禁止使用；而git reset --mixed ID 中的mixed鼓励在遇到问题时经常使用；.
2021-06-01 17:18:37
74
原创 【论文阅读】|异常检测中的深度学习技术综述
《DEEP LEARNING FOR ANOMALY DETECTION : A SURVEY》摘要：对基于深度学习的异常检测技术进行结构化和综合的呈现；评估各种检测技术在各类应用中的效率。具体而言：作者按照现有假设和方法对当前的技术归类，而每一组将呈现其基础检测技术及变体，同时呈现对应的假设，从而区分异常行为和非异常行为。对每一组技术呈现其优势和局限，同时讨论各种技术在实际应用中的计算复杂度。最后，分析当前研究中的开放问题和面临的挑战。介绍：异常意味着偏离，导致的原因是：mal
2021-05-29 15:35:42
2812
原创 服务器配置|EXSI软件安装、虚拟机创建和显卡配置
服务器配置：32核CPU 至强；256GRAM；6块Tesla4显卡；EXSI软件简介https://blog.csdn.net/huaidan1469/article/details/100032963ESXi是vmware推出的一款优秀的服务器级别的虚拟机。它与我们常用的虚拟机不同的是，日常使用的虚拟机是需要依赖于一个操作系统的，比如在window上使用vmware，或者linux上使用virtualbox。而ESXi不依赖于任何操作系统，它本身就可以看作一个操作系统，然后可以在它上.
2021-05-28 18:13:41
3067
6
原创 Pytorch的独特归纳
我相信书本中的内容即使归纳得再详细，也需要自己动手归纳，因为过程很重要。归纳的价值取决于其内容是否有价值：归纳的体系和归纳的侧重点。pytorch包的结构pytorch主要模块归纳特点：一句话，各模块的作用；一句话，额外解释。torch模块：常用的激活函数和面向张量的操作torch.Tensor模块：定义张量的类型和相应操作方法（比如，是否在原张量基础上进行修改）torch.sparse模块：定义稀疏张量及相应操作的方法torch.cuda模块：定义和cuda运算相关的函数（比如，.
2021-05-27 21:30:39
138
1
原创 【论文阅读】《深度卷积网络下的驾驶检测与分类》
《Driver behavior detection and classification using deep convolutional neural networks》1 简介：目前的方法中，一些是仅考虑驾驶员的行为，还有一些方法是在驾驶员行为的基础上融入了车辆状态和环境信息。目前的研究大多使用深度学习的方法对驾驶员行为进行分类。由于基于相机的系统可能存在侵犯隐私和欺骗的可能性，因而一些研究倾向于使用非视觉信息和传统的学习技术，比如SVM和KNN；CNN已经取得了非常大的成功，但是深度学习技
2021-05-27 11:19:58
1145
原创 WindowsServer2019安装Nvidia驱动+CUDA+CUDNN等深度学习环境
内容概要：1 windowsServer中与windows10对于驱动等软件的安装过程一致；2 windowsserver因为其本身的较强的安全策略影响，如果要在服务器上安装软件，需要在服务器管理器中禁用相关的安全策略。如此从IE等浏览器中可以下载软件，比如谷歌浏览器的下载等。3 一个可行的软件配置组合：- Tesla T4 - windows Server 2019 - CUDA 11.0，主要参考与tensorflow的版本匹配而确定的。- Cudnn 8.05- VS 2017 pro- An.
2021-05-22 03:26:16
17831
原创 简单dropout代码实现
主要内容：简述Dropout的原理与代码实现一、Dropout的代码实现：参考文章：https://www.cnblogs.com/xiximayou/p/12720589.htmlclass Dropout(Layer): """A layer that randomly sets a fraction p of the output units of the previous layer to zero. Parameters: ----------- .
2021-05-07 11:49:29
1340
原创 图邻接矩阵、训练数据的标准化及批归一化的原则
主要内容：1 图邻接矩阵的标准化原则（面向行，即起始节点）及代码实现；2 训练数据的标准化的原则（面向各个独立的特征）和代码实现；3 BatchNormal批归一化的原则（面向各个通道C）。一、图邻接矩阵的标准化原则和代码实现标准化是将数据规范到均值为0，方差为1的分布规律中。归一化是将数据规范到[0,1]区间之中，比较严格，标准化允许负数且理论上允许正无穷和负无穷的值的存在。图的邻接矩阵 AAA是（n,n）（n,n）（n,n）形状 ，且矩阵的标准化是通过AAA与其度矩阵的点乘得到。具体的.
2021-05-07 11:05:36
2794
2
原创 基础GCN图卷积层的pytorch的三种实现。
主要内容：1 实现基于邻阵特征阵权重阵的GCN模型；2 调整模型以实现Batch计算；3 介绍Conv2D的GCN和基于邻阵特征阵权重阵的GCN的区别。一、基于邻阵特征阵权重阵的GCN模型import mathfrom torch import nnimport torch.nn.init as initimport torchimport torch.nn.functional as Fdef import_class(name): components = name.s.
2021-05-07 09:24:50
5050
6
原创 华硕ROG品牌机安装ubuntu双系统
小知识点：1 品牌机，就是主机整体都是某个品牌的东西，即使是显卡，也是加工过的；另一般品牌机的主板BIOS的设置有些内容可能与非品牌机（主机中只有部分来自该品牌）不同。注意的是，品牌机如果出了问题，最好不要自己拆，一旦拆卸，厂商将不免费修理主机的硬件问题。而软件问题或者非硬件问题基本是要收钱的。2 华硕的BIOS界面与众不同，而安全启动界面也是有新意，增加了安全密钥的设置。这一点很可能会出问题。1 ubuntu启动盘不再赘述；2 关闭主板的安全启动Security Boot选项参考网址.
2021-04-27 16:15:56
3510
3
原创 Git的简单使用
面向的情况是:在github上创建了一个库，再git clone 到本地然后在本地的仓库文件中添加相应的文件。具体流程如下:1. git clone ssh地址2. git add . // 添加所有文件3. git commit -m "本功能全部完成"4. 取消 commit git reset --soft HEAD^参考链接：https://blog.csdn.net/qq_35246620/article/details/66973794...
2021-04-05 13:13:23
62
原创 HST-LSTM 代码梳理笔记
STLSTM数据猜想二级目录三级目录数据猜想所有的数据以字典的形式储存在h5文件中。hdf_filedir = os.path.join('data', 'data-split', f'{dataset_name}.h5')train_df = pd.read_hdf(hdf_filedir, key='train')val_df = pd.read_hdf(hdf_filedir, key='test' if test else 'val')数据集（以训练集为例，验证集一样）进入Datas
2021-03-25 11:40:50
1053
10
转载 PyCharm2020.3版 启动报错internal error
正文内容参考文章【已解决】PyCharm更新2020.1版后启动报错internal error。问题描述今天闲来无事更新了下PyCharm Community 2020.1，然后启动发现直接报错了错误原因具体的我也不是很懂，但可能是插件冲突？解决方法参考了这个问题下的回答Pycharm Community: Internal errorThe issue is known https://youtrack.jetbrains.com/issue/IDEA-237012, pleas.
2021-03-22 14:34:19
1441
4
原创 python argparser 学习随笔
ArgParser学习随笔阅读时，打开两个标签页同时学习，一个关于ArgumentParser，另一个关于add_argument。一些规范：1 命令行参数，三类：必选参数、可选参数又叫选项字符串（短选项字符串（特征是以单杠开头）、长选项字符串（特征是以双杠开头））2 ArgumentParser中定义参数，定义参数的方法比如add_argument，其中该方法中在定义命令行参数时，也包含方法本身的一些参数比如dest、const等，因此要区别哪些时命令行中的参数，哪些时方法中的参数。3 命令行中
2021-03-15 15:41:20
579
2
原创 Ubuntu20.04+OpenPose1.7版+Python 接口参数
OpenPose Advanced Doc - Demo - AdvancedThis document is a more detailed continuation of doc/01_demo.md, and it assumes the user is quite familiar with the OpenPose demo and the contents of doc/01_demo.md.ContentsMore Advanced Common SettingsReducing
2021-02-02 15:24:43
841
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人