- 博客(40)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 install gcc and remove cuda nv driver
ubuntu 18.04pytorch1.40cuda 10.1cudnninstall gcc 5.5install gcc 5.5https://blog.csdn.net/CAU_Ayao/article/details/83987120remove old cuda and nvdia driverremove cudahttps://askubuntu.com/qu...
2020-01-17 00:31:37
212
原创 macos 所需软件 安装说明
工具类shadowschrome更新显卡驱动brew /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" iterm2 brew cask install iterm2zsh sh -c ...
2018-04-04 23:40:11
396
原创 Ubuntu 循环登录 解决办法
Ubuntu 经常出现循环登录的情况,但需要根据不同原因,采用不同的解决方案.已知情况有:.Xauthority 权限变为root,修改到自己账户权限即可nvidia 显卡驱动问题, 卸载重装即可.Xauthority 权限问题参考Ubuntu 输入正确的密码后重新返回到登陆界面NVIDIA驱动问题解决办法本次是驱动问题,表现为:界面循环登录,但命令行方式可以登录
2018-01-21 15:42:05
30051
2
原创 pip、conda 换国内源，大大提高下载速度
源就是下载地址了，换到国内的源下载速度真的快了近10倍，这里都用了清华的源pip只要新建一个配置文件，写上路径就行了win下文件路径：C:\Users\你的用户名\pip\pip.inilinux下文件路径：~/.pip/pip.conf内容写：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]truste
2017-07-08 10:34:44
23380
原创 ananconda创建新环境，python 2.7、3.5共存，pycharm 使用conda新环境，win10、linux下通用
caffe用的有点心累，最近有又没时间折腾，重回keras的怀抱，用起来不要太方便linxu下载th的model太慢了，换win试试。win10 下 装 tensorflow-gpu目前必须python3.5.2，之前一直在用caffe、python2.7。 琢磨一下用conda安装挺简单的。可以用ananconda创建一个新的python3.5环境，多版本共存，py 2.7、3.5随意切换。p
2017-07-08 10:03:03
15342
2
原创 python 读取 csv 中文 乱码 解决办法
亲测好使，python 2,3都可以import codecswith codecs.open('h.csv', 'rb', 'gb2312') as csvfile: for line in csvfile: print line
2017-07-06 15:08:26
10692
1
原创 python 最大递归次数 RuntimeError: maximum recursion depth exceeded
帮别人看代码，偶然遇到这个问题，原来python解释器有一个默认的最大迭代次数是999。举个例子：def recursion(n): if (n <= 1): return print n recursion(n - 1)print "test 999"recursion(999) #正常运行print "test 1000"recursion(100
2017-05-31 18:28:37
16085
3
原创 没事的，总会长大（2017.01-2017.04）
博客从上学期期末考试开始就停更了，忙着考试和论文实验，实在是没有精力，期间做的很多实验也没有总结写出来，后续整理一下慢慢发。这四个月一直在忙，经历的太多，各种起落。期末考试、赶实验、实习、错过入职时间、买不到回家的车票、一个人租房子、失恋、复习、再找实习、继续实验、写论文……4个月来都没歇几天………… 真的是身心的考验！一直以来都想成为一个很厉害的人物，不用是顶尖但至少是拔尖的。我只是想通过努力获
2017-04-15 01:17:01
759
3
原创 error while loading shared libraries: libcudart.so.8.0: cannot open shared object file: No such file
新拿一个服务器，运行caffe报错了，貌似是cuda8.0链接的问题，解决办法：sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/loca
2017-02-24 18:35:56
5580
原创 caffe Resnet-50 finetune 所有代码+需要注意的地方
之前一直只专注于VGG-16，围绕VGG-16做了很多实验，心想其他网络也都差不多，这次实习时候又是分类问题，就心想换一个网络试试，因为数据有240W，比较大，就选Resnet吧，参数少，训练快，效果还好。看论文的结果Resnet-50和101、152差距也不算太大，于是选了最小的Resnet-50。 下面是论文中在ImageNet上的测试结果： 言归正转，说说要注意到点（我用的caffe）
2017-02-21 00:16:48
50582
62
原创 数据不平衡处理----smote算法
实习时候要训练一个模型，一批衣服数据分布太不均匀了，结果被告知简单处理下就好了，数量太小的类别直接扔掉，数量太多的类别随机抽一部分，数量不多也不少的就直接copy到指定数量就好………………好Low啊 就去查了查，对于这个问题，貌似也没特别好的方法，主要两方面入手： 1.对数据进行采样（over-sampling和under-sampling） 2.训练时调整惩罚权重其中，smote算法算就是o
2017-02-16 14:55:07
8084
3
原创 Caffe: Data layer prefetch queue empty
我是利用ImageDataLayer直接从图片读入进行训练，开始训练时连续出现这个，虽然不影响训练，好奇就查了一下问题描述:训练过程中出现blocking_queue.cpp:50] Data layer prefetch queue empty**原因:**CPU数据读入慢于GPU计算，导致GPU处于空闲，使得计算速度下降，迭代时间间隔扩大。nvidia-smi显示为：GPU功率不断大幅度变化，G
2017-02-14 16:41:21
10184
12
原创 Ubuntu 下的命令汇总（不定时更新）
查看显卡信息& nvidia-smi但上面方法只能查看那一瞬间的显卡信息，信息不能随时间更新。 下面配合watch命令每1秒更新显示一次显卡信息：& watch -n 1 nvidia-smi
2016-12-19 22:34:24
572
原创 win下文件操作小技巧——批量复制空文件夹
这个需求是最近做实验用到的，CUB-200-2011数据集有200种鸟，数据存放方式是每一种鸟一个文件夹，文件夹下是鸟的图片。 现在要把这200个文件夹复制出一份，要求同名，且为空文件夹，一个一个手动粘贴太不现实，全部复制写个脚本删除图片，图片都是小文件而且多，复制就得好大会，删除有得好大会，搜了一下，找到了解决办法用控制台cd到自己要复制的目录下，输入dir /b>aaa.xls，就把所有文件
2016-12-13 23:27:55
6822
1
原创 关于ML、DL中的一些问题（2）——数据归一化方法
线性函数归一化(Min-Max scaling) 也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。转换函数如下： x∗=x−minmax−min\ x^* = \frac{x-min}{max-min}0均值标准化(Z-score) 这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数
2016-12-09 15:31:31
1127
转载 关于ML、DL中的一些问题（１）——数据归一化的作用
1.为什么要进行数据归一化？在进行数据分析的时候，什么情况下需要对数据进行标准化处理？ 归一化首先在维数非常多的时候，可以防止某一维或某几维对数据影响过大，其次可以程序可以运行更快。方法很多，min-max,z-score,p范数等 主要看模型是否具有伸缩不变性。 有些模型在各个维度进行不均匀伸缩后，最优解与原来不等价，例如SVM。对于这样的模型，除非本来各维数据的分布范围就
2016-12-09 14:40:57
4434
原创 linux后台运行和关闭、查看后台任务
g、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令一、&加在一个命令的最后，可以把这个命令放到后台执行，如watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本 二、ctrl + z可以将一个正在前台执行的命令放到后台，并且处于暂停状态。三、jobs查看当前有多少在后台运行的命令jobs -l选项可显示所有任务的PID，jobs的状态
2016-12-08 22:51:31
1008
1
原创 在linux修改文件夹及其子文件夹的权限
加入-R 参数，就可以将读写权限传递给子文件夹 例如chmod -R 777 /home/mypackage 那么mypackage 文件夹和它下面的所有子文件夹的属性都变成了777. 777是读、写、执行权限
2016-12-08 22:49:45
5098
原创 linux 设置root密码
系统安装时 设置的是用户密码 而不是root 密码 ubuntu 只能调用 root 不能直接 root登录 设置root密码 方法如下： 1：输入 sudo passwd root 2：输入用户密码（安装时设置的） 3：输入想设置的root密码 4：再次输入root密码 enter结束 就成功了
2016-12-08 22:48:21
2644
转载 马尔科夫蒙特卡洛方法 （MCMC）+ Gibbs采样 原理干货
最近要人工智能考试，复习被虐的不要不要的，老师一堂课讲的内容要自己再看几个小时……MCMC和 Gibbs采样看书看得一脸懵逼，还好同学分享了一篇文章，看完豁然开朗，比 《人工智能：一种现代的方法》强多了下面是链接：http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/
2016-11-15 22:20:48
1770
原创 VS2013 fatal error LNK1207: PDB 格式不兼容
错误：1>LINK : fatal error LNK1207: “F:\AI 大作业 【路径规划】【源码+PPT】\AI\Debug\AI.pdb”中的 PDB 格式不兼容；请删除并重新生成解决方法：这个A*搜索最短路径项目，是大四时候用VS2010做的，换到VS2013上面不行了，只要点击“生成”–>” 重新生成解决方案” 就可以了ps： VS做的越来越好了啊，vs2013上直接就写了解决方案
2016-10-17 19:51:53
7422
2
原创 深度学习总结（2016.9--2016.10）
原本的打算是参加上海Bot大赛，在比赛中学习一下相关知识，就是想入门而已。开学半个月一直没找到状态，只是上上课。后来在师兄的帮助下，开始逐渐着手比赛的事情，虽然最终没有赶上在比赛截至前提交一版测试。但学了不少，不亏！大致记录一下这一个月做的事情：keras篇win10下先配置keras，看keras文档，用theano后端跑了mnsit数据集，Dogs and Cats 数据集熟悉keras后，
2016-10-13 18:31:49
1016
9
原创 py2exe：python，wxpython转exe可执行文件
做完那个python抽题系统，要打包成exe了，就用py2exe吧。 去py2exe官网下载对应python版本的py2exe，安装就可以了。使用过程： 1.import syssys.setrecursionlimit(5000)#设置搜索深度from distutils.core import setupimport py2exesetup(windows=["myUI
2016-10-08 10:44:42
964
原创 caffe+python 使用训练好的VGG16模型 对 单张图片进行分类，输出置信度
网上看了一堆都是图片转lmdb格式，然后测试总的准确率，我想测试每张图片的top1，top2以及对应置信度是多少，摸索了一下午+一晚上终于搞定，期间遇到不少坑！！！同时感谢实验室博士师兄一块帮我找bug说明：数据集是上海BOT大赛的（12种动物），网上下载的vgg16权重文件，并且修改输出类别为12，对最后三层全连接网络训练了8个小时，top1准确率为80%，top5准确率95%使用的测试图片是一个
2016-10-02 22:12:13
26539
38
原创 keras安装opencv
运行别人的例子时，发现cv2 模块不存在，于是开始安装，过程简单。过程下载opecv2.4.12（我的python是2.7.12）解压opencv到任意位置，我解压到D盘根目录下，将D:\opencv\build\python\2.7\x64中的cv2.pyd拷贝到C:\Anaconda2\Lib\site-packages下，就可以了。去D:\opencv\sources\samples\p
2016-09-22 21:25:02
1152
原创 Keras 切换后端（Theano和TensorFlow）
实验室新装了keras，发现keras默认后端是tensorflow，想换回theano，看了官方文档也没搞懂，最终搞定，很简单。 中文文档的描述：keras中文文档，切换后端其实就是在C:\Users\75538（75538是我的windos用户名字，找你对应的用户名就行）下有个文件夹.keras，里面有keras.json文件，改一下里面的内容就好了，如果没有文件夹和文件，手动创建就行。用th
2016-09-22 21:15:33
30559
11
原创 caffe+pycaffe+VS2013+GTX980+Win10 64位安装
因为之前theano更新默认后端改为tensorflow，怎么该后端都不行，就试试caffe吧 参考了这两篇博客，安装也不难。 caffe学习(1):多平台下安装配置Caffe - fish的专栏 - 博客频道 - CSDN.NET Windows下caffe安装详解(cpu+gpu+matcaffe+pycaffe) - 博客频道 - CSDN.NET下面是一个简易的步骤和注意事项：步骤安
2016-09-22 20:31:31
1608
1
原创 Python中的GUI : wxPython
wxPython是Python语言的一套优秀的GUI图形库。 Python程序员可以很方便的创建完整的、功能键全的GUI用户界面。wxPython是作为优秀的跨平台GUI库wxWidgets的Python封装和Python模块的方式提供给用户的。帮同学做一个抽题小软件，功能简单，两个文本框，两个按钮，txt里按行写入题目和答案。正在学python就打算学一下，用python做了。 界面如下图
2016-09-18 09:58:55
1397
原创 Python 学习中，特别知识点记录
1.Numpy中，从数组中取出一部分数据有两种情况，一种取出来就是一个一维数组，另一种是二维数组 1. 一维数组a = np.array([[1,2,3,4], [5,6,7,8], [9,10,11,12]])# 创建一个3行4列的二维数组# [[ 1 2 3 4]# [ 5 6 7 8]# [ 9 10 11 12]]row_r1 = a[1, :] # 取出
2016-09-12 20:07:27
618
原创 BIOS+MBR 和 UEFI+GPT 详解
之前一直对这些不完全明白，折腾黑苹果的时候更是吃了不懂的亏，终于看到一篇干货，讲的很详细 BIOS+MBR以UEFI+GPT及 电脑小白科普篇
2016-09-06 08:30:51
910
原创 激活函数在神经网络中的功能
激活函数在神经网络中的功能: 即通过对加权的输入进行非线性组合产生非线性决策边界（non-linear decision boundary）在今日头条看到这篇文章，有所收获。链接在这里：学界 | 神经网络中激活函数的作用
2016-09-06 08:09:56
2595
原创 Keras+Theano后端，CPU、GPU、cuDNN加速对比（Dogs vs. Cats和mnist）
测试了一下分别用cpu，gpu，gpu+cudnn跑CNN，看看分别会用多少时间。说明笔记本配置：i5-3210m+GT640M+8G内存。 实验图片下载地址：kaggle：Dogs vs. Cats 关于源码和图片层次结构的说明：This script goes along the blog post"Building powerful image classification models
2016-08-24 10:45:29
11293
原创 Python入门学习笔记（2）——控制台输入
控制台输入有两个函数1. raw_input()该函数把所有输入都转为字符串型2.input()输入的内容保持原本的数据类型。 比如输入1，就是整型1； 输入‘1’，就是字符串1。举例对比：a = raw_input("a=")print type(a)b = input("b=")print type(b)c = input("c=")print type(c)其中type()可以输出变
2016-08-16 17:34:06
5290
原创 PyCharm的设置和第一个Python程序
1.代码编辑 字体大小设置进入 File—》Settings—》Editor—》Colors & Fonts—》Font中。 首先要点击“Save as”然后为这个设置命名，我这里填入“MySize”（相当于创建了一个配置文件叫MySize）。 然后就可以在Size中更改字体大小，Line spacing是行间距。Primary font是字体类型。 2.控制台输出 字体大小设置进入 File
2016-08-15 21:13:37
27480
4
原创 Win7 64位 Keras深度学习框架安装
最近想用Python搞搞神经网络，就用Keras了。 Caffe和Keras相比优缺点： 框架 优点 缺点 Keras 使用简单，快速开发，参考资料多 运行慢 Caffe 使用较难，参考资料少 运行快为了快速上手，选择Keras。1.Keras安装安装过程全程参考：Keras深度学习框架配置感谢博主，写的非常详细。提醒！如果你之前单独安装过Python和MinG
2016-08-15 18:10:19
4441
原创 Python入门学习笔记（1）：Python、PyCharm 的安装和介绍
PythonPyCharm1.Python 直接去官网下载即可（下载地址），选择自己需要的版本。目前有Python2.7.X和Python3.X。 因为我打算用一些神经网络和机器学习库，比如nolearn，大部分只支持Python2.7，所以我选择2.7版本。 两者语法有些区别，不用太纠结学习哪个版本。把Python下载完成后，直接双击安装，一直点击下一步即可。但注意其中一步：
2016-08-14 23:00:34
1931
原创 Unity 3D 学习笔记（1）
Unity 3D 学习笔记（1）暑假和好友开始尝试搞游戏，感觉自己写游戏引擎太难了，毕竟还是什么都不会，那就从Unity开始吧，入门比较简单。先看了一点教学视频，非常简单，稍微有点编程基础就能看明白，讲了Unity如何使用，如何利用原子构建出一个墙壁、简单房子、楼梯、圆和椭圆等。脚本代码如下（C#）：楼梯using UnityEngine;using System.Collections;publ
2016-07-09 02:38:08
632
原创 Ubuntu入门学习笔记（1）
假期闲来无事可做，就学一下Linux吧，看师兄在用Ubuntu，那就从这个入手吧，官网下载了Ubuntu 16.04 LTS版，安装花了一些时间，最后误打误撞装好了。作为一直菜鸟，就是百度，查资料看应该怎么玩，毕竟完全不会……折腾一番后，总结一下主要过程如下：1.先选择系统下载的数据源，我用“选择最佳服务器”选出了一个节点，确认，之后会从这个站点更新软件列表，等一会就好
2016-07-05 22:16:00
524
转载 fatal error LNK1201:写入程序数据库“***.pdb”时出错；请检查是否是磁盘空间不足、路径无效或权限不够
fatal error LNK1201:写入程序数据库“***.pdb”时出错；请检查是否是磁盘空间不足、路径无效或权限不够 最近用opencv2.4.10、vs2010做开发经常遇到这个问题，经百度发现大部分是vs自己的问题解决办法1：打开工程属性，c/c++，常规，调试信息格式，改成C7兼容(/Z7)。（我用的这种）解决办法2：把使用pdb文件的处于调试或运行状
2016-03-21 19:55:31
16410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人