- 博客(44)
- 收藏
- 关注
RSS订阅原创 Centos yum命令提示failed to set locale, defaulting to C
目录问题locale提示解决方案问题在输入yum命令是出现Failed to set locale, defaulting to C出现这个问题是由于系统没有正确设置locale环境, 而locale是用于设置本地环境的比如：语言、时区、数字等locale提示运行locale命令会出现如下提示locale: Cannot set LC_CTYPE to default locale...
2018-12-20 17:31:23
39211
9
原创 C++简单计时器
因为经常需要对代码段计时，如下是一个抽象的计时器类，包含两个类一个是Timer类，用于计时操作，在需要计时的代码段开始处调用Start()开始计时，在代码段结尾处调用Stop()停止计时，Elapse()可以获取代码段的耗时。另一个是TimerFactory类用于Timer的管理调用GetTimer()即可获取一个计时器，GetTimer()参数为计时器的名字。#include <io...
2018-12-09 19:22:18
2840
原创 atom搭建markdown写作环境
1. Atom软件下载与安装Atom官网2. 更改代理加速插件安装在atom的安装.atom下打开.apmrc文件加入 registry = "https://registry.npm.taobao.org/" strict-ssl = false3. Atom插件扩展markdown-writerinstall: apm install markdo...
2018-04-26 23:23:31
808
原创 gcc命令整理归纳
生成特定格式文件-E 预处理： 预处理器的输出被送到标准输出而不是储存在文件里.gcc -E test.c -o test.i //.i文件-S 编译： 产生汇编语言文件gcc -S test.i -o test.s //.s文件-c 汇编： 编译为目标代码gcc -c test.s -o test.o-o 链...
2018-04-26 21:40:16
476
原创 远程访问服务器上的jupyter和tensorboard
一、基本方法这里主要是通过ssh端口转发的方式实现。二、服务器端启动服务nohup jupyter-notebook --notebook-dir notebook data dir> --no-browser --port jupyter port> --ip server ip> > jupyter.log 2>&1 &三、建立ssh隧道nohup ssh -i
2018-01-22 16:38:48
1848
原创 机器学习boosting算法—梯度提升树(GBDT)
1 回归树算法分析Adaboost算法是提升树的特殊情况，主要用于分类问题，对于回归问题怎么处理呢？？ 已知一个训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},假设输入空间为χ\chi,如果将输入空间划分为J个互不相交的区域R1,R2,...,RJR_1,R_2,...,R_J并在每个区域
2018-01-19 15:20:58
910
原创 机器学习boosting算法—Adaboost之示例解析
boosting方法是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能，这里我们通过Adaboost算法的示例分析来了解boosting方法的基本思路。Adaboost算法1 Adaboost算法流程图 左边是训练数据集，其中直方图的不同长度表示每个样例的权重。在经过一个分类器之后，加权的预测结
2018-01-19 15:01:35
2469
原创 机器学习Boosting算法—AdaBoost前向分步解释
算法分析 在Adaboost算法的示例解释中的算法流程中，给出了分类器权重、分类误差以样本权重的更新公式，这一部分从前向分步算法的角度来解释这些公式的由来。 1) 每个分类器的权重计算公式： αm=12ln1−emem\alpha_{m}=\frac{1}{2}ln \frac{1-e_m}{e_m} 2）分类误差的计算公式 em=P(Gm(xi)≠yi)=∑i=1NwmiI(Gm(x
2018-01-04 17:20:25
1433
原创 吴恩达deeplearning之结构化机器学习—策略(2)
1.误差分析 本节阐述了怎样根据算法在开发集上的表现来选择算法的优化方向，基本方法：统计算法在开发集上出错的各类样本的比例按照错误的比例大小，来排序算法优化的优先级，因为错误占比越高，意味着算法的优化空间也越大真正工作中，吴恩达建议可以做一个如下的表格 2.修正标注错误的数据 少量的标记错误数据是否需要修正，吴恩达给出的建议是：深度学习对于随机误差具有很强的鲁棒性，即使不修正训练集中的标
2017-12-20 22:40:06
564
原创 吴恩达deeplearning之结构化机器学习—策略(1)
1.引言 这一部分主要是学习怎样快速高效的优化机器学习项目，加入你想优化你的猫分类器系统，你可以：收集更多的数据增加数据的多样性梯度下降算法训练时间更长一些尝试不同的而优化算法，比如Adam尝试规模更大或更小的网络结构尝试加入Dropout加入l2l_2正则修改网络结构，比如激活函数、隐藏单元个数等等 当优化一个深度学习系统时，通常有很多的方法以供尝试，但是如果选择了一个错误的
2017-12-14 00:31:49
1269
1
原创 pip修改下载源加速下载
pip install 时下载python包有时候会比较慢，可以更换成国内的下载源加速下载，国内比较好的下载源有豆瓣和阿里。临时修改源豆瓣源pip install -i http://pypi.douban.com/simple packagenamepip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.co
2017-12-13 16:54:39
410
原创 吴恩达deeplearning之CNN—深度卷积网络
1.前言 在卷积神经网络入门一节中，讲述了卷积神经网络的基本构建，比如卷积层、池化层以及全连接层，在过去很长一段时间，计算机视觉的大量研究都集中在如何组合这些基本构建，形成有效的神经网络。实际中在计算机视觉中表现良好的网络往往也适用于其它的任务，比如其它人训练了一个识别猫的网络结构，而你的任务是自动驾驶，你完全可以借鉴别人的神经网络框架。2.经典网络：LeNet-5 参数个数：约6万个随
2017-12-02 00:11:56
9421
2
原创 吴恩达deeplearning之CNN—卷积神经网络入门
1.边界检测示例假如你有一张如下的图像，你想让计算机搞清楚图像上有什么物体，你可以做的事情是检测图像的垂直边缘和水平边缘。 如下是一个6*6的灰度图像，构造一个3*3的矩阵，在卷积神经网络中通常称之为filter，对这个6*6的图像进行卷积运算，以左上角的-5计算为例 3∗1+0∗0+1∗−1+1∗1+5∗0+8∗−1+2∗1+7∗0+2∗−1=−53*1+0*0+1*-1+1*1+5*0+
2017-11-28 22:48:55
160913
80
原创 吴恩达deeplearning之CNN—人脸识别与风格化转换(2)
6.什么是神经网络风格转换把下图content的内容转换成Style风格的图像，结果如下Generate图像所示。 7.什么是深度卷积网络这部分通过一些可视化例子来理解，深度卷积网络在学习一些什么东西。 假如训练了一个Alex卷积网络，我们来详细看网络隐藏单元 从第一层的隐藏单元开始，假设遍历了训练集，然后发现最大化激活运算单元的图片或图片是什么，换句话说，将你的训练集经过神经网络然后弄明白哪
2017-11-26 20:46:04
2814
原创 吴恩达deeplearning之CNN—人脸识别与风格化转换(1)
1.什么是人脸识别这部分演示了百度总部大楼的人脸识别系统，员工刷脸进出办公区，在这个演示中主要应用到了人脸识别技术和活体检测。 人脸识别的术语： 1）face verification：输入图像、名字ID判断输入图像是不是名字ID指定的用户 2）face recognition：有一个包含K个用户的数据库，拿到一幅图片，然后判断图片中的人是不是在数据库中，在输出指定用户name，不在就输出未识
2017-11-23 22:57:37
9137
3
原创 吴恩达deeplearning之CNN—目标检测(2)
5. Bounding Box预测 这一部分主要讨论看怎么能得到更为精准的边界框。 在滑动窗口算法中，通过取离散的位置集合然后再上面跑分类器，在有的情况下这些边界框没有一个能完美匹配汽车位置，甚至最合适的边界框可能并不是正方形而是长方形，怎么让边界框的输出更为精准？ 其中一个能得到更精准的边界框的算法是YOLO算法，YOLO算法[1]的意思是你只看一次。比如你的输入图像
2017-11-21 23:08:40
2324
1
原创 吴恩达deeplearning之CNN—目标检测(1)
1 目标定位 这一周学习的主要内容是对象检测，它是计算机视觉领域一个新兴的应用方向,相比两年前，它的性能也越来越好，在构建对象检测之前，需要先了解一下对象定位。 对于图片分类任务大家都耳熟能详，算法通过遍历如下图片来判断其中是不是汽车。而对象定位不仅需要算法判断图片中是不是汽车，还要在图片中标记处它的位置，用边框或红色方框把车圈出来，这就是定位分类问题，在后面的章节我们还会分享如果同一幅
2017-11-20 22:39:51
6622
原创 吴恩达卷积神经网络笔记（2）—深度卷积网络:实例研究
一、 经典的卷积网络LeNet-5AlexNetVGGResNetInception1.1 LeNet-5(Lecun)6000 个参数 Gradient-based learning applied to document recognition(1998)1.2 AlexNet (Hinton)6000万个参数 ImageNet classification with deep
2017-11-13 15:56:11
1519
原创 keras学习笔记(3)—优化器
一、keras优化器类别二、算法详解2.1 SGD这里的随机梯度下降，从严格意义上说应该是Mini-batch梯度下降，即每次用一小批样本进行计算，这样一方面具有梯度下降更新参数时低方差的特性，同时也兼顾了随机梯度下降参数更新的效率。 θ=θ−η⋅∇θJ(θ;x(i;i+n);y(i;i+n))\theta = \theta - \eta\cdot \nabla_\theta J(\theta;x
2017-10-24 21:37:01
10832
原创 python访问memchache的诡异bug
一、背景 最近用python的tornado框架+nginx反向代理做了套服务，通过supervisord进程管理工具来管理服务的多个进程，由于python里面没有实际意义上的线程，所以采用了本地memcache数据库作为了共享缓存。但是在服务上线后出现了一系列诡异的问题。二、异常 1、服务访问过程中，时不时的会出现某个进程卡死的情况，单个进程的cpu利用率卡死到100% 2、
2017-03-08 14:25:51
496
原创 centos 6.5安装c++ folly库
一、引言Folly：是一个在Facebook内部广泛和可重复使用的C++库组件大集合 wangle：C++网络库 proxygen：C++ http框架在安装所有的库之前请检查你系统里面的基础编译工具cmake，autoconf cmake –version：版本号>=2.8.12 autoconf –version：版本号=2.69autoconf我使用2.63时总出现configure.
2016-10-12 10:45:29
3138
原创 gcc编译常用选项
gcc/g++编译步骤 预处理：生成.i的文件 g++ -E file.cpp > file.i转混编：将预处理的文件转成汇编文件g++ -S file.cpp => file.s目标文件：生成机器代码g++ -c file.cpp => file.o可执行文件：g++ -o file file.cpp编译选项x 设定文件所用的语言，如果没有这个选项则根据文件的后缀进行判定 eg: gc
2016-09-24 19:54:35
475
原创 决策树分类与回归（一）
一、决策树决策树(decision tree)就是构建一个树结构，每个非叶结点表示一个特征属性的测试，每一个分支代表这个特征属性在某个值阈上的输出,每个叶节点存放一个类别。相比于其他的分类模型，决策树模型可读取性好，易于描述和人工分析 。二、决策树的构建构造决策树的关键就是分类属性，在某一个节点，选择一个合适的属性，按照该属性的不同划分构造不同的分支，所以决策树的核心怎样度量所选择的划分属性是合理的
2016-08-14 13:44:49
464
原创 mac使用
安装brew 1）运行： /usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)” 2）如果出现：Operation not permitted异常，修改/usr/local的权限pip工具: easy_installlrzsz工具：brew ins
2016-08-13 11:15:01
246
原创 C++ 技巧积累
.gdb调试中出现“No symbol in current context” 在编译中加入 -g -gdwarf-2项c++库总结
2016-08-07 12:06:47
319
原创 文本处理
结巴分词快速入门word2vec词向量训练及中文文本相似度计算利用中文数据跑Google开源项目word2vec - hebin 用中文把玩Google开源的Deep-Learning项目word2vec利用word2vec对关键词进行聚类
2016-07-19 19:11:54
282
原创 多模匹配算法之Aho-Corasick
背景除剔除那些含有敏感词的文本，由于有大量的敏感词，所以通过简单的正则表达式和字符串查找的方式效率太低，每次都有遍历一次字符串。而AC算法的核心思想就是避免不必要的回溯使搜索一直沿着向前的方向，最大可能的减小了时间复杂度，时间复杂度O(N)，N为所有的字符串的长度，而且关键字的字数和长度无关。基本思路该算法核心：字典树的构建及搜索路径的确定 算法动画示例：确实很给力 1. 字典树的构造 就是
2016-05-30 20:40:25
2312
转载 python中的*args 和**kwargs
转载，挺好的一个例子重新整理了一下 示例：def foo(*args, **kwargs): print 'args =', args print 'kwargs = ', kwargs print '-----------------------'if __name__ == '__main__': foo(1, 2, 3, 4) foo(a=1, b=2
2016-05-26 19:38:51
214
原创 python eventlet模块
GreenThread Spawneventlet.spawn(func,*args,**kw)eventlet.spawn_n(func,*args,**kw)
2016-05-26 19:32:37
410
原创 git的使用
## git cheet sheet https://www.git-tower.com/blog/git-cheat-sheet/git命令创建克隆已经存在的仓库git clone ssh://[email protected]/topweibo/cofilter.git 初始化一个空的仓库git init 本地变更查看工作目录文件变更git status查看文件的具体修改git diff把
2016-04-28 19:18:12
222
原创 机器学习算法
机器学习—正则化 非常浅显易懂的一篇关于正则化的博文为什么一些机器学习模型需要对数据进行归一化连续特征离散化与归一化 好的特征处理是后续模型优化的关键
2016-04-28 12:00:50
474
原创 spark资料收集
如何解释spark mllib中ALS算法的原理？ 排版不是很好，但对ALS的基本思想解释的还是比较清楚了Spark性能优化指南-基础版Spark性能优化指南-高级版 美团（2），（3）这两篇关于Spark的解释以及实战中遇到的问题的解决方案真心不错。
2016-04-27 18:52:27
284
原创 python常用模块基础
struct—二进制处理ConfigParser—配置文件处理filter,map,reduce,lambdazip类、实例和其他对象的内建函数with语句*args 和**kwargs的用法异常处理多进程处理protobuf数据处理
2016-04-19 22:49:17
314
原创 文章收藏
个性化推荐是不是伪命题【深度学习&分布式】Parameter Server 详解探寻微博背后的大数据原理：微博推荐算法简述数据分析与挖掘书单推荐，绝对值得一看！(附下载地址) 我读过最好的Epoll模型讲解Epoll模型详解
2016-04-08 10:25:40
399
原创 df和du磁盘空间不一致
背景最近在服务器上部署了一套服务，服务运行过程中不小心把日志文件给删除了，测试了一下没有影响服务的正常运行，而且没有日志后处理的操作就不以为意的扔那了，但不经意间也埋下了一个巨大的坑。收到服务器磁盘报警的时候就df看了一下满了，但是du -h看的时候发现才总共130G的磁盘采用了20G不到。问题df -h :磁盘空间是满的 du -h :磁盘占用才20G不到产生原因du -h du -sh命令
2016-03-18 19:13:27
2324
原创 linux网络编程中常用头文件
sys/types.h：数据类型定义sys/socket.h：提供socket函数及数据结构netinet/in.h：定义数据结构sockaddr_inarpa/inet.h：提供IP地址转换函数netdb.h：提供设置及获取域名的函数sys/ioctl.h：提供对I/O控制的函数sys/poll.h：提供socket等待测试机制的函数sys
2016-02-04 18:02:20
333
原创 合并svn分支到主干（linux）
一、查看分支信息 将目录cd到分支目录（branch） 1.运行svn info： 唯一有用的信息：URL（分支svn地址）svn://192.168.1.80:3698/C/branches/pirate/rpcfw/specialactivety 2.运行 svn log --verbose --stop-on-copy | tail -10
2016-02-04 18:00:07
3880
原创 http_load压力测试
一、部署 http_load官网：http://acme.com/software/http_load/下载：wget http://acme.com/software/http_load/http_load-12mar2006.tar.gz安装：1) tar -zxf http_load-12mar2006.tar.gz 2) make会在当前文件夹
2016-02-04 17:56:36
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人