- 博客(31)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 VMware CentOS6.5 Hadoop3+Zookeeper集群搭建
一、vmware Centos6.5虚拟机准备1. 使用同一用户learn ，安装三台CentOS6.5系统虚拟机，分别为vm1， vm2, vm3。vm1 和vm2 作为 nameNode + DataNodevm3 只作为DataNode2. 通过NAT或者桥接模式分别为vm1，vm2， vm3设置网络。文中采用NAT方式， ip地址分别为： vm1:...
2018-09-13 15:36:30
336
原创 VMware CentOS6.5 搭建ZooKeeper集群
一、vmware Centos6.5虚拟机准备1. 使用同一用户learn ，安装三台CentOS6.5系统虚拟机，分别为vm1， vm2, vm3。2. 通过NAT或者桥接模式分别为vm1，vm2， vm3设置网络。文中采用NAT方式， ip地址分别为： vm1: 192.168.60.128 vm1.learn.com vm2: 192.168.60.1...
2018-09-13 14:39:25
321
原创 ssh 免密登录设置
1. SSH的登录原理如图所示：来源：https://www.jianshu.com/p/33461b619d53Client将自己的公钥存放在Server上，追加在文件authorized_keys中。 Server端接收到Client的连接请求后，会在authorized_keys中匹配到Client的公钥pubKey，并生成随机数R，用Client的公钥对该随机数进行加密得到p...
2018-09-11 18:10:10
964
原创 VMware虚拟机下CentOS6.5 桥接方式网络配置
本文是通过VMware虚拟机的方式配置CentOS6.5 桥接模式访问网络。一、设置虚拟机桥接模式 二、桥接模式配置VMware虚拟机网络1. ipconfig查询宿主机网络信息：连接特定的 DNS 后缀 . . . . . . . :本地链接 IPv6 地址. . . . . . . . : fa81::5462:6445:2e21:7a6b%8IPv4 地址 ....
2018-09-10 17:02:21
3574
原创 Scala SDK及IDEA插件安装配置
Linux CentOS6.5 Scala SDK安装配置1. 下载Scala SDK安装包下载地址：https://www.scala-lang.org/download/本文linux版本为：scala-2.11.12.tgz 2. 创建本地安装目录 mkdir -p /usr/local/scala-2.11.12/3. 解压scala-2.11.12.tgz至安...
2018-09-07 19:59:16
49035
原创 Linux CentOS6.5 java JDK安装配置
1. 下载java JDK。下载网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html本文下载的是：java-jdk-8u181-linux.tar.gz2. 创建 /usr/lib/jvm目录mkdir -p /usr/lib/jvm3. 解压java-j...
2018-09-07 19:21:09
238
原创 Linux CentOS6.5 安装hadoop3.0.3
Linux CentOS6.5 安装hadoop3.0.31. 下载hadoop安装包从官方网站http://hadoop.apache.org/releases.html下载hadoop对应的安装包hadoop-3.0.3.tar.gz（版本按需获取）。2. 解压安装包tar -zxvf hadoop-3.0.3.tar.gz -C /usr/local/hadoop-3.0....
2018-09-07 18:19:15
458
原创 VMware Linux centOS6.5安装VMWare tools Linux.iso
1. 在虚拟机中，以 root 身份登录客户机操作系统，然后打开终端窗口。 2. 虚拟机->设置->CD/DVD->添加CD/DVD驱动设备->选择使用ISO映像->添加linux.iso文件 3. root身份启动并登陆虚拟机，桌面出现VMware Tool 盘符；4. 运行mount命令，找到刚刚添加的CD/DVD的挂载点；默认为/media/...
2018-09-07 15:01:14
1762
原创 CentOS6.5 安装yum源
1. 备份原系统自带的yum源mkdir -p /etc/yum.repos.d.bak mv /etc/yum.repos.d /etc/yum.repos.d.bakmkdir -p /etc/yum.repos.d此时，/etc/yum.repos.d 目录下为空的。2. 获取网易yum源cd /etc/yum.repos.dwget http://mirr...
2018-09-06 16:33:00
503
原创 通过Transporter迁移MongoDB 数据至elasticsearch
目录Transporter 安装Go安装Git安装Clone transporter源码Build transporter源码准备MongoDB 数据建立elasticsearch索引配置Transporter1. 初始化基本的pipeline2. 设置pipeline的source，transform，sink3.测试连接4. 迁移数据参考文档...
2018-07-31 20:16:16
1898
翻译 ElasticSearch数据迁移工具Transporter
什么是Transporter？ transporter 是一款简单而又强大的数据迁移工具。它通过一种的agnostic message format数据形式轻松的将不同数据来源不同格式的数据进行转换。transporter 可以在不同数据库之间进行数据转换迁移，同时也可以将text文件迁移至其他数据库。transporter连接不同数据源的媒介称为Adaptor. Adapto...
2018-07-31 16:35:35
2630
翻译 MongoDB 官方文档学习笔记（四）：3 - find查询操作概述
目录查询文档查询集合所有文档指定equal相等条件查询通过操作符指定查询条件指定AND条件指定OR条件同时指定AND和OR条件其他的查询查询行为游标(Cursor)读隔离（read isolation）其他方法 查询文档本文主要讲述 db.collection.find()方法，通过inventory集合演示，预先插入数据：db.i...
2018-07-21 12:00:34
313
翻译 MongoDB 官方文档学习笔记（四）：2 - insert操作及方法
目录insert插入文档插入单文档插入多文档插入行为集合创建_id字段原子性写操作应答插入方法insert插入文档本文讲述MongoDB的insert操作，通过mongoShell演示。提示： 若当前集合不存在，则insert操作自动创建。插入单文档db.collection.insertOne() 方法向集合中插入单个文档。下面的例子演...
2018-07-21 11:10:43
1221
翻译 MongoDB 官方文档学习笔记（四）：1 - MongoDB CRUD（增、删、改、查）操作概述
目录创建操作读取（查）操作更新操作删除操作批量写操作创建操作创建或者插入操作可向MongoDB集合中添加文档。如果集合不存在则MongoDB 插入操作会自动创建。MongoDB提供以下方法向MongoDB集合中插入文档：db.collection.insertOne() New in version 3.2 db.collection.insertMany()...
2018-07-21 10:20:16
311
翻译 MongoDB 官方文档学习笔记（三）：The Mongo shell
The Mongo Shell介绍Mongo shell 是MongoDB交互式JavaScript接口。可以通过mongo shell 查询，更新MongoDB数据，也可以进行管理操作。The mongo shell is a component of the MongoDB distributions. Once you have installed and have started Mong...
2018-07-15 15:50:15
358
翻译 MongoDB 官方文档学习笔记（二）：文档，BSON类型，字段类型比较、排序
文档（Documents）MongoDB以BSON的形式存储文档。BSON是JSON的二进制表现形式，但包含更多的数据类型。文档结构MongoDB的文档由键值对（field-and-value pairs）组成，如：{ field1: value1, field2: value2, field3: value3, ... fieldN: valueN}字段值可以是任...
2018-07-15 14:27:00
4982
翻译 MongoDB 官方文档学习笔记（一）：概述、数据库、集合、视图及定容集合
MongoDB概述Getting started准备环境学习之前需要，安装MongoDB，可参考：https://docs.mongodb.com/manual/installation/MongoDB 客户端可以安装Robo 3T；插入多个文档db.collection.insertMany() 命令用于在集合中一次插入多个文档，当未指定MongoDB 的“_id”时，将会自动生成_id字段。如...
2018-07-14 11:39:11
1093
原创 java命令执行jar包main方法指定相关依赖
1. 准备好工程执行所需的所有依赖jar包，也可以使用maven导出依赖的方法导出；2. 将工程打包，此处打成jar包，如上图所示，zookeeper-learn-1.0-SNAPSHOT.jar，本次需要jdk java命令执行的jar包；3. 执行jar包zookeeper-learn-1.0-SNAPSHOT.jar中Master类中main方法，工程如图所示。 ...
2018-06-20 11:30:08
10428
3
原创 Maven 将本地jar包添加到本地仓库
1. 安装maven， 设置maven系统环境变量，一般下载后解压即可以使用， 默认的setting配置本地仓库路径为用户下的.m目录下，可以修改为指定目录：2. 准备好本地jar包，我以zookeeper-3.4.10.jar为例，本地路径为E:\softwares\zookeeper-3.4.10\zookeeper-3.4.10.jar3. 指定jar包在maven仓库的g...
2018-06-20 11:16:48
57282
10
原创 IDEA maven依赖导出到指定目录
1. 进入工程-->点击右侧maven projects -->点击上面图标“Execute maven goal”-->弹出maven命令执行窗口，dependency:copy-dependencies -DoutputDirectory=lib
2018-06-20 11:03:01
5523
原创 通过AOP实现Spring+ibatis 多数据源配置
通过AOP实现Spring+ibatis 多数据源配置 Spring实现多数据源动态切换主要是基于继承AbstractRoutingDataSource类， 通过AOP切点动态设置并获取数据源的。在运行时, 根据某种key值来动态切换到真正的DataSource上， 代码入侵性较低。1. 创建类继承AbstractRoutingDataSource类，获取spring动态数据源切换能力；工程...
2018-03-22 18:51:20
491
原创 数据库操作的桥梁-JDBC学习笔记
数据库操作的桥梁-JDBC学习笔记 JDBC代表Java数据库连接(Java Database Connectivity)，它是用于Java编程语言和数据库之间的数据库无关连接的标准Java API，换句话说：JDBC是用于在Java语言编程中与数据库连接的API。JDBC API提供了以下接口和类：DriverManager: 这个类管理数据库驱动程序的列表。确定内容是否符合从Java应用...
2018-03-22 11:53:51
368
原创 XSS跨站攻击解决办法--AntiSamy的配置及使用
XSS跨站攻击 跨站脚本攻击（Cross Site Scripting)，为了不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS。恶意攻击者往Web页面里插入恶意Script代码，当用户浏览该页之时，嵌入其中Web里面的Script代码会被执行，从而达到恶意攻击用户的目的。XSS分为：存储型和反射型
2018-01-24 19:04:31
4126
原创 服务器负载检测、IO性能及磁盘繁忙监控-iostat命令使用
最近发现API服务的负载有几台入口机器负载很高，4C的机器负载经常飙升至10以上，且长时间负载不降， 但是CUP的使用率不是很高，不到20%，这几台入口机器部署了NG， 所以经常影响这个服务的接口请求转发， 影响接口的响应速度。iostat -x 1 10 观测了下机器的IO情况：await：每一个IO请求的处理的平均时间（单位是微秒毫秒）。这里可以
2017-12-21 15:29:08
11099
原创 Python+Eclipse+pyDev开发环境搭建
最近在学习python，自带的IDLE用的实在是心累。Eclipse我平常用作java开发，是个非常强大的集成开发工具，同样支持python开发，但需要安装PyDev插件。1. Python安装；下载地址：http://www.python.org/Python 有 Python 2 和 Python 3 两个版本，语法有些区别，Python3对Python2未向下完全兼容。 保
2017-08-05 16:57:49
534
原创 MySql数据库varchar和java字符串length()长度tips
Java 中字符串以 Unicode 方式编码的， 其长度通常计算的是字符数，一个中文也算一个字符： public static void main(String[] args) { String fileName = "中文English,12345";//中文、英文、标点、数字都算一个字符 int len = fileName.length();
2017-08-01 13:14:35
13130
1
原创 iBATIS update 特殊字符处理
在近期项目中发现有部分用户投诉文件名中带有 单引号、反斜杠及双引号（‘ 、 “）的文件无法上传或者文件名中少了反斜杠或双引号，经查实后发现后台执行SQL异常：org.springframework.jdbc.BadSqlGrammarException: SqlMapClient operation; bad SQL grammar []; nested exception is com
2017-07-31 13:58:07
1881
原创 iBATIS 动态insert插入语句+特殊字符过滤
最近工作中在处理iBATIS insert语句的时候由于特殊字符的原因，很多入库操作都出现了MySql异常。通过$（sql拼接）代替#（动态传参）的方式解决了特殊字符问题，像代码中fileName，aimParentname，oldFileName，groupPath等字段顺利的插入了单引号等特殊字符： insert into group_fileoper_log (FILE_OPE
2017-07-31 13:33:38
3609
原创 BP神经网络
神经网络 神经元即神经网络的基本处理单元，是生物神经元信息传递功能的数学模型。神经元的提出为神经网络的发展和后来的学习方法提供了基础。它一般是一个多输入单输出的非线性器件，1943年心理学家McCulloch和数学家Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础，其结构模型的简图如图2-1所示。
2017-07-30 17:55:26
233
2
原创 特征提取--基于局部二值模型（LBP）的特征提取
基于局部二值模型（LBP）的特征提取局部二值模型（LBP）方法是T. Ojala在1996年提出的一种用于描述灰度图像纹理特征的算子[19, 20]。该算子通过提取图像像素周围局部相邻块的纹理信息，来获得识别能力优越的纹理特征，不但计算简单，识别能力较强，而且还具有旋转不变性和灰度不变性等显著优点。经过近十年来不断地更新研究，广泛地应用于纹理分类、纹理分割和人脸图像分析等领域。LBP是
2017-07-30 17:18:06
920
1
原创 python字符串处理rstrip()、lstrip()、strip()函数使用
python字符串处理rstrip()、lstrip()、strip()函数使用这三个函数都可传入一个参数，指定要去除的首尾字符，需要注意的是以字符数组的形式传参。lstrip函数：去除字符串左边开始的指定字符，默认指定字符为空白字符（whiteSpace），如空格、回车\r，换行\n，制表符\t， 换页符\f；rstrip函数：去除字符串右边结束的指定字符，默认指定字符为空白字符（w
2017-07-30 16:21:41
4282
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人