- 博客(173)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Torch 1.9.1 DDP 并行优化与多模块调用问题
DDP 基础实现由于 DataParallel (DP) 采取的是多线程并行，出于其特性，会造成通信瓶颈 （GIL 限制），因此更高效的方式是使用 DistributedDataParallel 实现更高效的 GPU 使用。DDP 相关基础实现参考此处文章，亲测可以使用。注：目前使用 1.7+ pytorch nccl 初始化 DDP 会报错，亲测也有该问题，因此建议使用 ‘gloo’，虽然相对速度可能较慢。多模块调用问题假设考虑如下问题：import torchimport torch.d
2021-10-21 16:56:42
1013
原创 KAUST IBEX A100-80GB Torch 1.9.1 配置与使用
近期由于实验需要，V100 32GB 的显存已经不能满足需求，因此此为迁移到 A100-80GB 的总结，以备后续查阅。注：以下内容仅在 KAUST IBEX 集群上进行测试，且以下言论仅为个人申明，不代表 KAUST 观点。环境配置登录 Ibex A100 集群之后，nvidia-smi 显示如下版本信息：NVIDIA-SMI 465.19.01 Driver Version: 465.19.01 CUDA Version: 11.3 由于 A100 需要 sm80， 因此我们需
2021-10-21 16:34:57
1528
原创 Pytorch Tensorboard 使用
Pytorch Tensorboard 使用此文为 pytorch tensorboard 使用的基础总结。导包from tensorboardX import SummaryWriter对象声明writer = SummaryWriter('./tests/log/')实例化写入x = [9, 8, 7, 6, 5]y = [1, 2, 3, 4, 5]for l in range(len(x)): print(x[l], y[l]) writer.add_scala
2021-09-24 16:16:31
349
原创 研究生阶段的研究方向以及一些想法
好久没有更新了。综合考虑后，即将入学 KAUST 成为一名硕博连读的学生了，出于导师研究方向以及个人兴趣的一些原因，希望在接下来的五年，深耕一下 Generative Models, Continual Learning, Zero-Shot Learning。作为一名计算机出身的学生，发现从一年多前开始就越来越偏向理论了，也慢慢地发现，机器学习是 STAT+CS 的结合，希望接下来的路，STA...
2020-04-28 23:08:32
1923
4
原创 Ubuntu Skype 安装
注意到官网没有了 Skype 的 Ubuntu 安装方式，因此在查阅资料的基础上使用 wget 进行安装。下载 Skype for Linuxwget https://go.skype.com/skypeforlinux-64.deb安装 Skypesudo apt install ./skypeforlinux-64.deb...
2020-01-22 18:51:04
306
原创 Windows + Anaconda 安装 pytorch
进入 pytorch 官网 选择 需要安装的 pytorch 版本，笔者需要采用的安装命令为 ·conda install pytorch torchvision cudatoolkit=10.0 -c pytorch·在 Windows Anaconda 环境中输入上述命令，与 Ubuntu 下相同，根据指导，完成 torch 安装（torchvision 附带被安装）。...
2019-07-04 15:58:56
585
原创 Ubuntu Texlive 2019 安装与环境配置
从清华源下载 texlive .iso 镜像。安装图形化用户界面sudo apt-get install perl-tk加载 .iso 镜像文件sudo mount -o loop texlive2019.iso /mnt启动图形化安装配置cd /mnt/sudo ./install-tl -gui 安装完成后，卸载镜像文件cd /; sudo umount /m...
2019-06-01 18:53:00
11161
2
原创 生成模型 (VAE/GANs) 概览
参考 http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture13.pdf 就够了， 特别是 variational auto-encoder 讲得特别地直观而且清晰。
2019-05-12 14:10:51
584
原创 Hand Pose Estmaton 几个模型性能衡量指标
EPE：End-Point Error – Average Euclidean distance between predicted and gt hand jointsAUC/PCK: Area Under the curve on the percentage of correct keypoints curve – The precentage of predicted keypoints...
2019-05-12 13:59:04
1252
原创 检查 cuda/cudnn 版本
cuda 版本检查：nvcc -Vcat /usr/local/cuda/version.txtcudnn 版本检查：cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2或者(不同版本命令不同)cat /usr/include/cudnn.h | grep CUDNN_MAJOR -A 2参考：https://me...
2019-05-12 13:54:02
2901
原创 Tensorflow, Cuda, Cudnn 对照表
参考官方： https://www.tensorflow.org/install/source#linux
2019-05-12 13:49:07
2249
原创 AttributeError: module 'tensorflow' has no attribute 'data'
Tensorflow 1.4+, 将 tf.contrib.data 改成了更加直接的 tf.data.Ref: https://github.com/tensorflow/models/issues/2879
2019-05-12 13:43:39
4825
原创 Beyond Sparsity: Tree Regularization of Deep Models for Interpretability
Beyond Sparsity: Tree Regularization of Deep Models for Interpretability这篇文章是使用树正则方法对深度网络的可解释性的探索，论文的一作作者为Mike Wu, 时为Stanford University博士一年级学生，该论文发表在AAAI18, 该论文的源代码地址为https://github.com/dtak/tree-re...
2019-04-27 15:25:57
1145
原创 二分类模型性能评估方法
2018年学习的遗留文章。基本说明由于近来在研究关于eye fixation以及saliency detection，之前在object detection中使用较多的是mAP, 而这里使用的更多的是ROC(Reciever OPeration Characteristic)曲线和AUC评价分类器的性能。该分类器实际上是可以解决多类分类问题的(后续进行说明)， 然而其在解决二分类问题时还是存在...
2019-04-27 15:24:26
2542
原创 论文解读：3D Hand Shape and Pose Estimation from a Singl RGB Image
由于最近做到了一些 3D Hand Pose Estimation 相关的内容，因而看了这篇CVPR19的 oral 论文，官方说公布源代码，但是github给的是个空repo，希望早点开源吧。近些年来，基于 RGB图像+depth map 的 3D Hand Pose Estimation 在多个数据榜上基本饱和了，而由于本身2D single rgb image 生成 3D keypoint...
2019-04-11 12:47:01
3635
3
原创 机器学习中的因果机制(1) -- 因果关系的必要性
当前的机器学习基本上可以算是统计机器学习问题，也就是通过大量的数据学习到一些隐藏的patterns，从而得到数据与数据之前的相关关系，进而进行目标检测、追踪、知识问答等处理。很自然的一个问题就是，既然机器学习当前主流是以统计规律得到的相关关系为主，那么我们为什么要研究因果关系呢？以下将以一个经典的问题 – Yule-Simpson’s Paradox (辛普森悖论) 作为分析。我们来看一个例子：...
2019-04-05 13:22:51
5642
4
原创 Ubuntu循环登录后重装NVIDIA驱动
由于公司的改装内核过于复杂的原因，因此在重启后遇到了循环登录的问题，后来经过有经验的同事指点，只需要进入boot选择合适的内核就好。但是在个人之前遇到此问题的角度分析，还是选择了进行NVIDIA驱动的重装。流程总结如下：进入tty1 命令行模式： Ctrl+Alt+F1卸载之前所安装驱动 （如果有）sudo apt-get remove nvidia-*sudo apt-get auto...
2019-04-05 13:00:58
1086
原创 pytorch-retinanet_visualize.py
#!/usr/bin/env python# -*- coding: utf-8 -*-import numpy as npimport torchvisionimport timeimport osimport copyimport pdb# Test fileimport timeimport argparseimport sysimport cv2import ...
2019-03-13 15:13:57
1389
原创 [Python] Interator, Generator and Yield
https://stackoverflow.com/questions/231767/what-does-the-yield-keyword-do暂时搞明白了，有时间再来填坑
2019-02-27 10:07:54
281
原创 机器学习中的因果推理机制 (0) -- 引言
由于毕设选题与casual inference, machine learning, knowledge system 相关，因此主要探讨机器学习中的因果推理机制。之前在这些领域博主有一定的基础，但是目前国际上关于因果推理仍处于起步阶段，因此将会融汇很多个人的研究成果与思考，希望读者进行批评指正。此博客为奠基文，之后将进行持续不断的更新，以期能够有比较大的收获。...
2019-02-20 15:37:22
3075
原创 TPO9-Reading (21/30 - 13+10+11)
Passage I这篇文章主要讨论的是 从西海岸殖民美洲 (Colonizing the Americas via the Northwest Coast)。题目类型错误原因分析14概要小结题此题迷惑性很强，需要花额外时间进行分析Passage II这篇文章主要讨论的是 教学中的反思 (Reflection in Teaching)。说实话，这篇文章说明的东西...
2018-12-10 17:15:47
396
原创 TPO4-Reading (22/30 - 10+14+11)
Passage I这篇文章主要讨论的是普吉特海湾的鹿群 (deer populations of the Puget Sound)。题目类型错误原因分析2推断题(1) late fall 可约等于 winter; (2) understory = 林下植被3词汇题inhibit: 抑制，约等于 restrict8词汇题briefly 简略地，强调简...
2018-12-10 14:43:55
414
转载 彻底消除wine中文乱码
wine下中文的配置方案 步骤：1. 初始设置运行 winecfg，把模拟的 Windows 系统设置为 Windows XP 或者 Windows 2000。（不过亲测非必须）2. 准备字体为了让 Windows 应用程序看上去更美观，所以需要 Windows 下面的字体。 由于我已经将 simsun.ttc 复制到 /usr/share/fonts/windows/ 目...
2018-04-07 15:03:14
14982
原创 /usr/bin/env: ‘ sh r ’ : No such file or directory
事项 解释 现象 Windows 下编写的脚本文件无法在 Linux 下运行 原因分析 Windows 与 Linux 的后缀编写格式不一致 解决方法 sudo apt install dos2unix； dos2unix /PATH/TO/WINDOWS_FILE；unix2dos /PATH/TO/LINUX_FILE 参考 ht...
2018-04-03 15:28:13
5116
转载 sklearn中的数据预处理
1.介绍klearn.preprocessing提供了各种公共函数，来将raw feature vetor转换成另外一种更适合评估器工作的格式。2.标准化(Standardization)、平均移除法（mean removal）和方差归一化（variance scaling）数据集的标准化，在scikit中，对于众多机器学习评估器来说是必须的；如果各独立特征不进行标准化，结果标准正态分布数据差距很大
2017-12-30 14:38:27
2529
原创 中国传统文化课程笔记
中国传统文化的基本精神文化研究的价值课程基本介绍文化的本意是以人为本， “文”包括了天文、地文、人文三个方面的内容。对中华民族传统文化思想重新解读的核心为：“易”、“道”。其中该观念的典型表述为“天行健，君子以自强不息”以及“穷则变，变则通，通则久”。 此外中国传统文化还包含了阴阳对立同一观，同时其同一建立于中庸、中和。文化的三种属性及其价值认知价值。文化问题实际上是国情问题。教育功能。文化问题
2017-10-30 16:24:23
7194
原创 PCL(PointCloud Library) 于 Ubuntu 16.04的编译安装
sudo apt-get install gitcdgit clone [email protected]:PointCloudLibrary/pcl.gitcd pclmkdir buildcd buildcmake ..如果有丢包的现象，进行手动安装。假如：-- checking for module 'eigen3'-- package 'eigen3' not found--
2017-10-30 14:27:50
1751
原创 OpenCV 教程(2) -- 基本视频处理
import numpy as npimport cv2# Capture Video from Cameracap = cv2.VideoCapture(0)while(True): # Capture frame-by-frame ret, frame = cap.read() # Out operations on the frame come here g
2017-10-29 12:57:48
1058
原创 OpenCV 教程(1) -- 基本图像处理
以下参照OpenCV官网进行OpenCV的学习。使用的环境为jupyter notebook. 代码注释中已经有了详细的说明，因此不再进行文字赘述。import numpy as npimport cv2# Load an color image in grayscale# -1 represents IMREAD_COLOR -- Loads a clore image neglecting
2017-10-29 12:21:59
699
原创 Anaconda环境基本配置
python在机器学习领域的重要性日渐提升，但是其包管理以及python不同版本之间存在的不兼容性问题着实让人头疼。使用虚拟环境来进行包管理以及python不同版本之间的管理重要性则不言而喻了，本人试过了docker也试过了anaconda，相比较而言anaconda更为好用(个人观点，不喜勿喷)。接下来，将对anaconda环境下需要的各种包做一个基本的小结。安装anaconda首先下载Anaco
2017-10-28 17:12:06
1817
原创 基于Tensorflow的机器学习(6) -- 卷积神经网络
本篇博客将基于tensorflow的estimator以及MNIST实现LeNet。具体实现步骤如下：导入必要内容from __future__ import division, print_function, absolute_import# Import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datam
2017-10-24 21:05:43
642
原创 Problems Solving--Q&&A(Period 2)
TensorFlow: InternalError: Blas SGEMM launch failed该问题产生的基本原因是使用jupyter notebook的时候，开了多个session。要么手动关闭其他所有session，要么使用下面一行代码：if 'session' in locals() and session is not None: print('Close interacti
2017-10-24 17:42:49
497
原创 python小技巧
__future__函数解决版本特性的不兼容性问题，如2.7的python 10/3=3， 而3.x的python 10/3= 3.0， 我们如果想要在2.7环境下使用python3.6的这一功能，则可以使用from __future__ import division.
2017-10-24 17:38:02
391
原创 基于Tensorflow的机器学习(5) -- 全连接神经网络
这篇博客将实现的主要神经网络如下所示：以下是相关代码的实现步骤：简单化的实现导入必要内容# Import MNIST dataimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("/tmp/data/", one_ho
2017-10-22 22:17:25
4989
3
原创 基于TensorFlow的机器学习(2) -- 回归模型
两种典型的回归模型是linear regression 和 logistic regression。 以下将分别对两种回归模型进行分析以及基于tensorflow的实现。Linear Regression线性回归基本概念之前基于吴恩达的《机器学习》课程写过相关的线性回归笔记，详情可以看这里。接下来将简单地对线性回归模型进行分析：线性回归就是采用最小二乘法对数据点进行线性拟合(Over)。Tensor
2017-10-22 17:34:43
1015
原创 基于TensorFlow的机器学习(1) -- 基础介绍
关于tensorflow的相关基础概念，可以参考之前写过的介绍文章。后期由于需要进行大量的代码实践，因此将会基于源代码对Tensorflow进行系统性的学习。首先是使用tensorflow输出Hello World:import tensorflow as tf# simple hello world using Tensorflow# Create a Constant op# The op
2017-10-22 17:30:13
591
原创 Ubuntu下LaTeX+vim安装与使用
不解释，直接上操作，留作后续使用，以防忘记。sudo apt-get install texlive-fullsudo apt-get install vim代码测试vim test.textest.tex:\documentclass{article}\title{First \LaTeX Document}\author{Wang Xu}\begin{document} \maketit
2017-10-18 22:05:29
4756
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人