野孩子1991-CSDN博客

原创 hive笔记

[TOC] 架构在Hadoop之上，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 hive是一个数据仓库工具，作用是可以将结构化的数据文件映射为一张数据库表，并提供简单查询功能，可以将sql语句转化为Mapreduce任务进行，是在Hadoop上的数据库基础架构。 Hive 不是一个关系数据库/实时查询和行级更新的语言.Hadoop是一个开源框架来存储和处理

2018-04-24 17:26:55 449

原创 Spring+Quartz实现定时任务的配置方法

实现比较麻烦，建议看前一篇实现使用注解的方式，更简洁。普通类方法。例子主要功能，每分钟输出“everyMinute”，每天18点输出“hours”1.增加依赖库：<dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support&...

2018-03-01 17:22:56 459 2

原创 spring用Scheduled注解方式实现定时任务

1.spring配置文件中写：<!-spring扫描注解包的配置--><context:component-scan base-package="XXX" /><!—开启这个配置，spring才能识别@Scheduled注解 --><task:annotation-driven/>2.定时任务的类import lombok.extern.slf...

2018-03-01 17:11:58 619

需求：通过注解的方式统一处理controller和service的日志（实现上可能不太严谨，主要是实现流程）原理：先自定义注解。用aop切面拦截方法的使用，看是否有对应的自定义的注解，如果有，在切面中进行日志的统一打印，可以获取到加了注解方法的类名、方法名、参数。如果想每个方法传进来不同信息，可以在自定义注解里写上参数，这样在使用时就可以带进来不同信息。例如，spring自带的注解@Resour...

2018-03-01 12:16:13 2339

原创 ignore-resource-not-found和ignore-unresolvable

.ignore-resource-not-found和ignore-unresolvable两个属性是类似的作用（网上说推荐配对使用，但很少看到配对使用的）如果location中的文件指向了一个不存在的文件（在没有指定上面两个参数的情况下，spring也并不会报错），那么也极有可能意味着有属性无法解析（虽然存在其他属性文件中存在重名，但是这个是应该避免的，所以当ignore-resource-n...

2018-03-01 12:08:26 14973

原创关于Class.getResource和ClassLoader.getResource的路径问题

cahttp://www.cnblogs.com/yejg1212/p/3270152.html（有详细例子，建议看）http://blog.csdn.net/netbug_nb/article/details/46121037（有详细例子）总结：1.Class.getResource（“”）括号中最前面加不加/的效果不同，总结是有/就会取根目录下找，没有就在当前路径下找。加/ ：是取得class...

2018-03-01 11:56:12 428

原创 spring 自定义注解实现登陆拦截

需求：自定义一个注解，使得controller层的类或者方法在写上这个注解后，会有登陆验证。实现原理：（1）先写一个自定义注解，注解上可以通过注释确定是类/方法可以加此注解。（2）之后，写一个拦截器，拦截器内可以通过handler得到被拦截器拦截的类或者方法，之后可以通过这个类/方法得知它是否有之前写的注解，如果有，就需要登陆校验。（3）之后要把这个拦截器配置到spring-mvc的配置文件中，需...

2018-03-01 11:28:55 1596 1

原创朴素贝叶斯（二）实现NBCorpus分类（附代码和数据）

理论可参考：朴素贝叶斯（一）公式：（P(x)为常数，可忽略不考虑）平滑：Nyk是类别为yk的样本个数，n是特征的维数，Nyk,xi是类别为yk的样本中，第i维特征的值是xi的样本个数，α是平滑值。在对NBCorpus词分类时，带入上面的公式可得：某词属于某类别的概率 = （该类别该词的个数 + 1/ 该类别词的总数 + 所有类别所有不重复单词总数） ×（该类别样本个数 / 所有类别总样本个数）...

2018-02-28 14:37:54 1048 1

原创朴素贝叶斯（一）

朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。总结1、朴素贝叶斯有个前提的假设：每个条件（属性）互相之间是独立的。2、最初公式的分母是一个常数，忽略不计。3、在做词分类时，考虑到词很多需要做大量的乘法会影响效率，再者小数的乘法会越乘越小导致数据很小丢失数据，因此对最终的公式做ln处理，不影响单调性，把乘法转换成加法。4、为了防止在...

2018-02-28 14:18:46 2144

原创 numpy常用方法

求平均值 mean求方差 std3numpy scipy pandas 区别读mat文件 loadmat求几次方数组求和 sum排序下标 argsortdict getdict排序 sorted统计次数 bincount最大小值max最大小值的下标argmaxnprandomuniformstart end size13np的flatten vs ravelnpmgrid 生成网格15 npaminamax npminmaxnpvstacktuple nphstacktuple

2018-02-26 11:28:05 615

原创最大似然

最小二乘法思想是求欧式距离最小值。即求出一条线，样本距离这条线的和最小。最大似然符和高斯分布时，和最小二乘法的结果一样。最大似然是站在概率上考虑的，推导出一个概率函数表示目标函数，它希望这个概率函数越大越好。最大似然中心思想，假设拿出来的样本数据有很大的参考性，用这个样本数据反推“导致”这个结果的参数。

2018-02-26 11:20:58 367 1

原创一个奇特的脚本输出日志方式-----记录时间方式

我的python是野路子出身，平常会写一些脚本处理少量数据。当然处理数据的过程中，都要有一些输出记录脚本是否是在执行或者是程序中间出错卡死了，一般的办法是在处理完一个文件就做一个输出，但是当要处理的文件很小数量很多，这时每个文件的处理很快脚本的输出会占用很多时间（当输出时间大于处理时间时，嘻嘻嘻～）。我看过的源码一种解决方式是，记录处理个数，每1000个做一次输出。而今天说的是我前几日又看的一段开

2016-11-09 21:26:49 1261

转载机器学习经典之PCA的数学原理（很值得读）

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成

2016-08-28 17:47:20 3261 1

原创 hadoop时遇到遇到ERROR security.UserGroupInformation: PriviledgedActionException as:xxxx cause:java.io.I

在windows下的eclipse里操纵ubuntu远程跑hadoop项目遇到问题：ERROR security.UserGroupInformation: PriviledgedActionException as:chenli cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-chenli\mapred\staging\chenli1971412180\.staging to 0700Exception

2016-07-18 23:24:35 3894

原创做java时一些问题的解决

1、java.lang.classnotfoundexception（这个是在做hadoop时遇到）2.改了java home，但是java -version仍然是原来的版本3.这个也是hadoop时出现的错16/01/01 21:48:01 WARN mapred.LocalJobRunner: job_local_0001 java.lang.NullPointerException4.对字符串使用replaceAll()方法替换 * ? + / | 等字符的时候会报以下异常：Dangling m

2016-07-18 23:12:22 754

原创 faster rcnn源码解读总结

1.初始数据通过imdb类的操作放在它的属性roidb里。2.roidb只是一个字典，可以拿出来当做一个单独的字典，脱离imdb。3.roi_data_layer下的layer就是input-data。Forward中加载数据并控制一次一张图片的数据进入网络。送到rpn-data中三组数据： gt_boxes ：大小（一张图片xml中box个数, 5）；一张图中box的坐标以

2016-07-18 22:01:46 6381 5

原创 faster rcnn源码解读（六）之minibatch

faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnminibatch源码：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/minibatch.py源码：# ------------------------

2016-07-18 21:57:16 8612 2

原创 faster rcnn源码解读（五）之layer（网络里的input-data）

faster rcnn用python版本的https://github.com/rbgirshick/py-faster-rcnnlayer源码地址：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/roi_data_layer/layer.py源码：# ------------------------------

2016-07-18 21:47:02 5749

原创 faster rcnn源码解读（四）之数据类型imdb.py和pascal_voc.py（主要是imdb和roidb数据类型的解说）

faster用python版本的https://github.com/rbgirshick/py-faster-rcnnimdb.py源码地址：https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/datasets/imdb.pyimdb源码：# ------------------------------------

2016-07-18 21:35:30 7210 2

原创 faster rcnn源码解读（三）train_faster_rcnn_alt_opt.py

faster用python版本的https://github.com/rbgirshick/py-faster-rcnntrain_faster_rcnn_alt_opt.py源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/train_faster_rcnn_alt_opt.pyfaster rcnn训

2016-07-18 20:56:53 3599

原创 faster rcnn源码理解（二）之AnchorTargetLayer（网络中的rpn_data）

faster用python版本的https://github.com/rbgirshick/py-faster-rcnnAnchorTargetLayer源码在https://github.com/rbgirshick/py-faster-rcnn/blob/master/lib/rpn/anchor_target_layer.py源码粘贴：# ------------------

2016-07-18 15:52:06 8250 9

原创 caffe 数据库LMDB的读写

读写的图片都是灰度图，rgb图类似一、读数据（图片的channel是2，其实是两张图片）：import syssys.path.insert(0,"../../python")import numpy as npimport lmdbimport caffeimport argparsefrom matplotlib import pyplotif __name__ =

2016-07-05 20:50:56 12605 11

原创计算机视觉与图像新手的心酸胡扯

我做计算机视觉有半年左右，也是现在现在很火的深度学习。有人说这个是“技术大爆炸”，突然冒出大批人来搞深度学习。但是我现在不想说深度学习，只想说说它的辅助工作---图片处理基础。我是因为读研才开始基础计算机视觉，之前什么都不懂，是真的什么都不懂。然后实验室还是新开设的这个项目，也就是说，实验室也不会有人来指导我如何做，那时只有老师说要什么东西，我就得自己各种的查找来完成，现在想想还是

2016-06-30 23:03:39 1230 4

原创 ubuntu storm安装配置

一、安装准备： JDK、ssh、python。安装都比较简单，我之前做别的时候已经安装，此处不再详述。 ssh的安装和服务启动可以参见我的另一个讲hadoop安装的文章。而且我的storm集群和hadoop相同，都是配置在三台虚拟机上的，用户组及用户名和hadoop那个一样，都要求用户名是hadoop二、安装zookeeper集群（三台虚拟机）前

2016-06-11 23:47:38 3340

原创开发还是算法，一直困惑我的问题

研究生妹纸一枚，方向是深度学习。马上要面临紧张的秋招。我原本这个项目很多人都不看好，都说不好找工作。那时我是真头疼，马上要找工作了，没有项目经验。后来”人机大战“，阿尔法狗获得胜利。我也觉得没啥，但身边做这个项目的都特别高兴，好像机器人赢了，就是我们程序员的胜利。我自己本身很喜欢编程，喜欢各种的技术。前一个月是实习生招聘，发现我的方向出奇的好找工作，呵呵（猜测是阿尔法狗对很多企

2016-05-19 21:38:08 12771 13

原创 faster rcnn的源码理解（一）SmoothL1LossLayer论文与代码的结合理解

2016-05-19 20:55:57 11679 1

原创 faster rcnn修改demo.py保存网络中间结果

faster rcnn用python版本https://github.com/rbgirshick/py-faster-rcnn以demo.py中默认网络VGG16.原本demo.py地址https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py图有点多，贴一个图的本分结果出来：上图是原图

2016-05-17 21:49:54 8953 13

原创 python数据分析之numpy初始化（一）

1np.arange([start,] end [, step])#与list的range相似np.zeros(tupleA)#产生一个tupleA维度大小的矩阵，且初始全为0np.ones(tupleA)#与上面类似，只是初始化全为1np.empty(tupleA)#与上面类似，只是初始化值是不确定的（并不是你以为的0！！！！）。。。

2016-05-16 23:14:57 35783

原创 ubuntu14.04+GPU+caffe

非常建议ubuntu14.04的系统一、执行下面的操作，然后验证硬件支持GPU CUDA，只要型号存在于https://developer.nvidia.com/cuda-gpus，就没问题了 $ lspci | grep -i nvidia （GPU买之前是专门查过的，这个地方不太重要）二、确定你的系统是否支持 $ uname -m && cat /e

2016-05-12 20:38:45 3146

原创程序员修炼之道----从小工到大家读书笔记（一）

5月6 偶然看到这本书，以前去公司实习，上司就说过这本书，他说“你把这本书看完，工作就不用看其他书了”。一直感叹它的神奇，却未曾观看，今日有幸见到，真想对它说“我来晚了，幸会幸会”。

2016-05-06 22:08:39 1205 4

原创用图形画出caffe输出数据的python程序&&git基础命令

caffe的训练过程输出的数据用图形显示出来。先上效果图：图形说明：x是迭代次数，y左是train loss；y右是test accuracy。绿色是左边的线，红色是右边的线。提醒：slover的格式必须是标准格式，如，冒号后边要有空格。。。。好吧，是我懒得做处理了，反正，就酱~ 下载： git clone https://github.com/m

2016-05-05 22:18:39 1258 1

原创 python数据处理之列表、集合、字典推导式

1.列表： [expr for item in collection if condition] 举例：>>> result = []>>> [result.append(item) for item in fruit if len(item) > 5][None, None]>>> result['banana', 'orange'] 效果与下面类似： >>> r

2016-04-21 23:14:14 3493 3

原创初级cnn研究辅助：python的matplotlib显示图片之按钮和触发事件

一、点击显示出来的图片，出现别的：点击左侧图片，显示右侧图片，并在你点击的位置画点。from matplotlib import pyplot as pyfrom matplotlib.widgets import Button,RadioButtonsimport Imagedef on_press(event): if event.inaxes == None:

2016-04-10 22:39:57 12331

原创初级cnn研究辅助：python的matplotlib显示图片

一、简单例子：# -*- coding=UTF-8 -*-import Imagefrom matplotlib import pyplot as pltif __name__ == "__main__": img = Image.open("./Alex.jpg") img_gray = img.convert("L") fig = plt.figure()

2016-04-10 21:23:12 14472

原创 python+caffe做图片处理可能会用到的方法

1、numpy.array(image)和Image.fromarray(np_data)可以实现图片和numpy数据的转化。另外参考我的这篇和这篇，了解更多的图片处理。2、random.randint(start, end)#start到end间随机数。start=<num<=endrandom.shuffle(list)#list以行随机打乱，用于存入数据库时的t

2016-04-10 19:31:25 1520

原创 python的Image和skimage处理图片

一、import Imageimg = Image.open(path)#打开图片 img.getpixel((height, width))#得到(height, width)处的像素值（可能是一个list，3通道）img.convert("L")#转灰度图size = (64, 64)img.resize(size, Image.ANTIALIAS)#改变尺寸 box =

2016-04-10 17:28:30 30451 1

原创 matlab安装遇到问题/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found

1./home/cl/install/Matlab/bin/util/oscheck.sh: /lib64/libc.so.6: not found 解决：locate libc.so定位出lib.so的位置然后软连接：ln -s /lib/x86_64-linux-gnu/libc.so.6 /lib64/libc.so.62.出现找不到jre的情况，

2016-04-10 15:17:30 1839

原创 caffe用python时可能需要的模块安装

1.ImportError: No module named Cython.Distutils2.ImportError: No module named easydict3.ubuntu python安装 sklearn.utils4.ubuntu python安装 pandas.io.parsers5.ImportError: No module named cv26.ImportError: No module named yaml

2016-04-10 15:02:19 23523 2

原创 python图片处理Image和skimage的不同

做cnn的难免要做大量的图片处理。由于接手项目时间不长，且是新项目，老板又一直逼我，前段时间写代码都很赶，现在稍微总结（恩，总结是个好习惯）。1,首先安装python-Image和python-skimage、python-matplotlib。简单代码：import Image as imgimport osfrom matplotlib import pyplot as p

2016-03-27 21:31:51 18270

原创 fast-rcnn训练自己数据集以及demo代码解读和总结（面向fast-rcnn初学者）

首先推荐文章，里面有讲如何安装fast-rcnn，以及编译。或者我直接把fast-rcnn的地址写出来：https://github.com/rbgirshick/fast-rcnn一.最后的demo.py（地址：https://github.com/rbgirshick/fast-rcnn/blob/master/tools/demo.py）的代码解读： 1.获取

2016-03-27 15:20:21 8055 4

NBCorpus（只是为了代码，很小的一部分）

朴素贝叶斯实现NBCorpus分类。这个NBCorpus只是很小的一部分。实现代码http://blog.csdn.net/u010668907/article/details/79400078

2018-02-28

修改过的hadoop-core-1.0.2.jar

hadoop 1.X版本在windows下的eclipse里连接hadoop集群时报类似错：Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700这是因为hadoop-core-1.0.2.jar的org.apache.hadoop.fs.FileUtil文件中找到以下部分，注释掉checkReturnValue方法中的下面代码有段需要注释： private static void checkReturnValue(boolean rv, File p, FsPermission permission) throws IOException { /* //win7 connect to linux hadoop if (!rv) { throw new IOException("Failed to set permissions of path: " + p +" to " + String.format("o", permission.toShort())); } */ } 这个jar包是修改过的jar包。用时直接加在项目里即可。

2016-01-21

TA关注的人

NBCorpus（只是为了代码，很小的一部分）

修改过的hadoop-core-1.0.2.jar

hadoop在eclipse安装的插件

hadoop-1.2.1源码

windows下的Python-2.7.6运行平台

编译原理实验之预测分析算法的设计与实现

python matplotlib显示单色图问题