- 博客(30)
- 收藏
- 关注
RSS订阅原创 mount卡死无反应
执行mount命令一直卡着不动，可以把mount命令加上-v的参数，这样在控制台就能看到具体的报错信息，以方便排查解决问题。尝试使用 NFS 的其他版本进行挂载，如版本 3 ，解决。
2023-11-21 12:28:27
1774
原创 训练模型时的加速技巧
在一张GPU上训练多个任务会严重拖慢速度（8s/50batch→54s/50batch），还不如先完成一个，再启动另一个。先在更小的数据集跑通流程，各种做实验，预测效果，再扩展到更大数据集去，尤其是对于新项目。否则可能会花了很长时间训练才发现效果不行。使用更小模型、计算量更低架构。优先把计算放到GPU。
2023-11-17 17:00:08
176
原创 非root用户安装zsh和Oh-My-Zsh
使zsh安装到$HOME/bin目录下：wget https://www.zsh.org/pub/zsh-5.8.tar.xztar xvf zsh-5.8.tar.xzcd zsh-5.8./configure --prefix=$HOME/make && make install将zsh所在目录添加到PATH中，并设置zsh为默认shell：在主目录下的.bash_profile或.bashrc中添加如下代码：export PATH=$PATH:$HOME/.
2021-07-14 13:58:09
1738
原创 linux安装pytorch-gpu
在线首先确认你有显卡，并安装了合适的CUDA驱动，方法见此。然后在此选择自己的安装平台、安装方式、语言等，如下图得到安装命令，如conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch然后就可以安装了。如果顺利的话到这就结束了。但是很可能很慢，因为-c pytorch代表的源在国外。因此如果你添加了国内的镜像，可以去掉这一句，直接用conda install pytorch torch
2021-07-08 15:18:59
3643
原创 各种Normalization
内部协变量偏移深度神经网络模型的训练为什么会很困难?其中一个重要的原因是，深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上一层输入数据分布发生变化，通过层层叠加，高层的输入分布会非常剧烈，这就使得高层需要不断去重新适应底层的参数更新。Google 将这一现象总结为Internal Covariate Shift.(ICS)Normalization的通用框架是平移参数， 是缩放参数。通过这两个参数进行shift和scale变换： ，得到的数据符合均值为0、方差为1的标准分布 B.
2021-05-31 17:30:04
165
原创 分类、目标检测中的评价指标
一：准确率（Accuracy）、错误率 （Error rate）准确率 = 正确分类的样本数 / 总样本数错误率 = 错误分类的样本数 / 总样本数 = 1 - 准确率Top-1准确率：预测类别按置信度从高到低排序，取排名第一的类别作为预测结果，计算准确率Top-5准确率：取排名前五的类别作为预测结果（只要包含真实类别，就算分类正确），计算准确率...
2021-05-30 10:27:06
2709
转载 深入理解L1、L2正则化
1 正则化的概念 正则化(Regularization)是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目标函数变成了原始损失函数+额外项，常用的额外项一般有两种，英文称作ℓ1−????????????????ℓ1−norm和ℓ2−????????????????ℓ2−norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数（实际是L2范数的平方）。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做
2021-04-25 10:53:19
566
原创 Big Sur + karabiner + kernelmanagerd = 可能发烫
mbp升级macOS Big Sur后，经常莫名其妙高温（60到90度），哪怕程序都关了只留一点点，温度也不下来。根据知乎这个回答并测试发现，与karabiner有很大关系。卸载后，温度立马下降到50度（几分钟后到46），kernelmanagerd的CPU资源占比降到0.0%（之前徘徊高位，经常第一）。...
2021-02-23 11:20:01
1207
原创 关于novikoff定理成立的条件（感知机的收敛性）
读李航的《统计学习方法》时，读到了novikoff定理，内容如下：我马上感到困惑，k怎么与学习率无关呢？难道学习率再小也能保证在此上界次数内学完？研究公式发现，更新k次后得到超平面方程为其中求和项内是每次（共k次）用来更新权重的误分类实例。显然，如果，则可约去，此方程与学习率无关，那么总学习次数与也无关；如果，则此方程与和都有关，总学习次数与和也都有关，这时公式（2.9）就未必成立了。那么究竟它还成不成立呢，让我们做个实验。实验假设训练数据集的正实例点是(3,3), (4
2020-11-24 17:04:12
673
原创 tensorflow查看feature map的shape
方法一，输入一个常量，然后在tensorboard中查看。方法二sess = tf.Session(config=tfconfig)import cv2import numpy as npimg = cv2.imread('./image.jpg')print('img shape =', img.shape)operations = tf.get_default_grap...
2019-01-07 20:50:36
1466
原创 TensorFlow如何加载部分模型
查看TensorFlow checkpoint文件中的变量名和对应值from tensorflow.python import pywrap_tensorflowcheckpoint_path = os.path.join(model_dir, "model.ckpt")reader = pywrap_tensorflow.NewCheckpointReader(checkpoint_p...
2019-01-04 20:30:20
4989
原创 提升效率的个人配置
linux与windows共享剪贴板(clipboard)其实linux和windows之间不需要共享剪贴板，直接在putty中，按住SHIFT+鼠标选择就可以了。如果要极客一点，参考：https://www.cnblogs.com/vastiny/p/4234735.htmltmux将以下配置加入到 Tmux 的配置文件 ~/.tmux.conf 中（没有此文件就创建一个）：...
2018-12-12 18:32:10
169
原创 python与shell读同一个配置文件
配置文件config.cfg中格式：name1=aaaaaname2=bbbbbpython读取：from configobj import ConfigObjconfig = ConfigObj(filename)name1 = config['name1']print ("value for name1:", name1)shell读取：source file...
2018-12-11 18:02:03
765
原创 MobileNets论文笔记
MobileNetV1MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications原文地址：MobileNetV1更详细的解读请看：https://blog.csdn.net/u011974639/article/details/79199306前期工作许多建立小神经网络的方法...
2018-10-23 17:19:15
297
原创 编程小知识
Question: What Are The Advantages/Disadvantages Of One-Based Vs. Zero-Based Genome Coordinate Systems https://stackoverflow.com/a/22074424 很好地解释了NumPy arrays是如何存储和引用的。...
2018-08-23 18:57:21
329
原创 改进学习方法
反思：不要花太多时间去琢磨别人把代码写成这样是怎么想的、某个结构究竟是怎么搭的，更好的做法是，了解了基础概念后，就自己去推演、自己去搭结构，及自己亲自动手实现一遍。这样不光速度更快，理解也更深。如果只是看别人的代码、文章、介绍、教程，而自己思考、动手的比例太低，那么哪怕花了很大力气、搞懂了每一个词句，也只是很浅层的理解。更深层的弊端是，这妨碍了发挥自己独特的思考，妨碍了突破现有思维的藩篱、创造...
2018-08-23 12:07:23
484
原创 linux常用命令
在命令末尾加 & ，可使改命令在后台运行。If a command is terminated by the control operator &, the shell executes the command in the background in a subshell. The shell does not wait for the command to finish,...
2018-08-23 10:14:40
125
原创 CNN各种小知识
常用概念非极大值抑制（Non-Maximum Suppression，NMS）此处介绍其概念，非常清晰明白。此处详细注释了实现代码。 mAP目标检测中的mAP是什么含义？ - 知乎用户的回答 - 知乎 https://www.zhihu.com/question/53405779/answer/419532990有例子https://medium.com/@jonathan_...
2018-08-18 11:49:38
218
原创 设置WinSCP实时更新目录
在使用WinSCP时经常会出现这种情况：用WinSCP访问了路径abc，然后用其他工具（如xshell）对服务器上abc下的文件做了修改，再用WinSCP去看根本看不到变化，只有手动刷新才能看到。这个问题的原因是WinSCP默认会自动缓存目录信息，当重新进入某个目录时直接调用缓存而不会连接服务器，这样可以加快访问速度。如果不想要这个效果，而想每次都加载最新目录，解决办法如下。第一步，新...
2018-08-17 12:30:21
6698
2
转载 Shell脚本语法
1. 第一行必须是"#!/bin/sh"它不是注释，"#!/bin/sh"是对shell的声明，说明你所用的是那种类型的shell及其路径所在； 如果没有声明，则脚本将在默认的shell中执行，默认shell是由用户所在的系统定义为执行shell脚本的shell. 如果脚本被编写为在Kornshell ksh中运行，而默认运行shell脚本的为C shell csh,则脚本在执行过程中很可...
2018-08-16 16:20:19
106
转载 What is the meaning of the /dist directory in open source projects?
Since I first saw a dist/ directory in many open source projects, usually on GitHub, I've been wondering what it means. (I'm a foreigner, no native in english)With dist, vendor, lib, src, and many o...
2018-08-16 12:21:33
177
转载 Linux软件安装|Anaconda3
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh#清华大学镜像站可以显著提升下载速度，尤其是教育网网络环境#虽然此时5.2.0已经推出，但是清华大学镜像站尚未有相关安装文件bash Anaconda3-5.1.0-Linux-x86_64.shPlease...
2018-08-16 12:16:59
547
原创 pycharm远程服务器跑os.system调用python版本问题
Pycharm远程连服务器跑程序，结果老是报错ImportError: No module named xmltodict然而我明明已经安装了xmltodict。通过在各处测试所调用的python版本，发现问题出在这里os.system('python ' + clean_annotation_path + ' ' + temp_JPEGImages + ' ' + temp_Annotation...
2018-06-20 16:22:44
1455
原创 Python PIL Image "image file is truncated"问题解决
错误提示：IOError: image file is truncated (5 bytes not processed)1解决方法：from PIL import ImageFileImageFile.LOAD_TRUNCATED_IMAGES = True原因： PIL读取了未上传完的图片，即图中有些数据缺失。可以通过一个设置使其接受这一点。...
2018-06-15 14:44:11
1404
原创 pycharm远程连接服务器
参考https://www.cnblogs.com/xiongmao-cpp/p/7856596.html配置pycharm连接服务器，但一直不能从服务器上下载文件（右键没有download from here），经检查发现原因是路径设置有误，路径当做如下配置：配置页面：选择Tools-->Devolopment-->ConfigurationConnection选项卡的Root pa...
2018-06-07 10:06:16
1530
转载 为学
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。吾资之昏，不逮人也，吾材之庸，不逮人也；旦旦而学之，久而不怠焉，迄乎成，而亦不知其昏与庸也。吾资之聪，倍人也，吾材之敏，倍人也；屏弃而不用，其与昏与庸无以异也。圣人之道，卒于鲁也传之。然则昏庸聪敏之用，岂有常哉？蜀之鄙有二僧：其一贫，其一富。贫者语于富者曰：“吾欲之南海
2018-01-26 19:22:27
153
转载 示弟立志说
转载阳明先生关于立志的一篇文章，以提醒自己学习之路上认真钻研，不可心猿意马、玩耍懈怠。原文：予弟守文来学，告之以立志。守文因请次第其语，使得时时观省；且请浅近其辞，则易于通晓也。因书以与之。夫学，莫先于立志。志之不立，犹不种其根而徒事培拥灌溉，劳苦无成矣。世之所以因循苟且，随俗习非，而卒归于污下者，凡以志之弗立也。故程子曰：“有求为圣人之志，然后可与共学。”人苟诚有
2018-01-22 10:10:48
1234
转载 linux服务器中screen的用法
一、背景系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器，经常运行一些需要很长时间才能完成的任务，比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为它们执行的时间太长了。必须等待它们执行完毕，在此期间不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。二、简介GNU Screen是一款由GNU计划开发...
2018-01-20 10:28:52
6440
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人