- 博客(486)
- 收藏
- 关注
RSS订阅原创 flume拦截器
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作1234#!/bin/shfi...
2017-04-26 17:05:02
314
原创 flume+elasticsearch
转自:http://blog.csdn.net/yujimoyouran/article/details/59104131简单描述一下这个例子：将项目日志实时采集到elasticsearch，便于统一管理。1. 收集日志格式为：log4j.properties ： org.apache.log4j.Logger： %d{ISO8601} [%l-%M]-[%p] %t %m%n...
2017-04-26 16:54:31
394
原创 ssh远程执行命令方法和Shell脚本实例
ssh的-t参数 复制代码代码如下:-t Force pseudo-tty allocation. This can be used to execute arbitrary screen-based programs on a remote machine, which can be very useful, e.g. when implementing menu...
2017-01-24 10:41:43
1228
原创 分布式开放消息系统(RocketMQ)的原理与实践
备注：1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题：消息的顺序问题消息的重复问题RocketMQ作为阿里开源的一款高性能、高吞...
2016-12-13 13:23:17
208
原创 RocketMQ与Kafka对比（18项差异）
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，K...
2016-12-13 13:15:27
163
原创 hcatalog简介和使用
Hcatalog是apache开源的对于表和底层数据管理统一服务平台，目前最新release版本是0.5，不过需要hive 0.10支持，由于我们hive集群版本是0.9.0，所以只能降级使用hcatalog 0.4，由于hcatalog中所有的底层数据信息都是保存在hive metastore里，所以hive版本升级后schema变动或者api变动会对hacatalog产生影响，因此在hive...
2016-11-24 09:46:55
951
原创 Dubbo多注册中心
(1) 多注册中心注册 需求：xx银行有些服务来不及在上海部署，只在北京部署，而上海的其它应用需要引用此服务，就可以将服务同时注册到两个注册中心。 consumer.xml <?xmlversion="1.0"encoding="UTF-8"?><beansxmlns=" http://www.springframework....
2016-11-16 18:19:35
120
原创 Sqoop-1.4.6安装部署及详细使用介绍
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署（1）、下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz解压到／opt/cdh5/sqoop（2）、拷贝MySQL的jdbc驱动包mysql-c...
2016-11-07 09:44:19
121
原创 Spark基本工作流程及YARN cluster模式原理
转载请注明出处：http://www.cnblogs.com/BYRans/Spark基本工作流程相关术语解释Spark应用程序相关的几个术语：Worker：集群中任何可以运行Application代码的节点，类似于YARN中的NodeManager节点。在Spark on Yarn模式中指的就是NodeManager节点；Executor：Application运行在Wo...
2016-10-21 10:50:52
278
原创 Spark任务提交jar包依赖解决方案
http://blog.csdn.net/wzq294328238/article/details/48054525 通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。 下面有三个解决方法：方法一：spark-submit –...
2016-09-26 10:52:24
232
原创 mysql主从复制
mysql主从复制（超简单）怎么安装mysql数据库，这里不说了，只说它的主从复制，步骤如下：1、主从服务器分别作以下操作： 1.1、版本一致 1.2、初始化表，并在后台启动mysql 1.3、修改root的密码2、修改主服务器master: #vi /etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二...
2016-09-26 10:31:56
103
原创 Maven类包冲突终极解决小技若干
那句话怎么讲来着的... 引用如果你爱他，就请让他用Maven，因为那里是天堂，如果你恨他，就请让他用Maven，因为那里是地狱.Maven对于新手来说是《步步惊心》，因为它包罗万象，博大精深，因为当你初来乍到时，你就像一个进入森林的陌生访客一样迷茫。 Maven对于老手来说是《真爱配方》，因为它无所不能，利如刀锋，使用Maven做开发，如饮美酒如悦美人。 Maven对于新手来说，最...
2016-08-19 14:34:21
121
原创 linux下为目录和文件设置权限
linux下为目录和文件设置权限，包括子目录的循环递归设置chmod 命令可以改变所有子目录的权限，下面有2种方法 改变一个文件的权限: chmod mode file|dir 改变所有子目录的权限: chmod mode dir -R 注意后面加了个-R参数 参数就是权限模式 mode = 777 or 752 ，666，，， mode 的三个数字，分别...
2016-08-10 10:54:56
113
原创 linux系统安装mysql
http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.htmllinux安装mysql服务分两种安装方法：①源码安装，优点是安装包比较小，只有十多M，缺点是安装依赖的库多，安装编译时间长，安装步骤复杂容易出错；②使用官方编译好的二进制文件安装，优点是安装速度快，安装步骤简单，缺点是安装包很大，300M...
2016-07-25 18:32:02
116
原创 Linux下Mysql 5.6.21 tar包安装实践
http://blog.csdn.net/zhanngle/article/details/41042631 环境:centos 6.4 x64先下载mysql安装包打开 http://dev.mysql.com/downloads/mysql/ 选择 linux - Generic再选择下载完毕后,得到安装包 mysql-5.6.21-linux-glib...
2016-07-25 14:58:36
230
原创 linux下scp命令详解--主机之间拷贝文件
不同的Linux之间copy文件常用有3种方法，第一种就是ftp，也就是其中一台Linux安装ftp Server，这样可以另外一台使用ftp的client程序来进行文件的copy。第二种方法就是采用samba服务，类似Windows文件copy的方式来操作，比较简洁方便，第三种就是利用scp命令来进行文件复制。 scp是有Security的文件copy，基于ssh登录。操作起来...
2016-07-05 15:36:25
177
原创 Java8 Lambda表达式教程
http://blog.csdn.net/ioriogami/article/details/12782141/ 1. 什么是λ表达式 λ表达式本质上是一个匿名方法。让我们来看下面这个例子： public int add(int x, int y) { return x + y; }转成λ表达式后是这个样子： (int x, int...
2016-06-21 13:36:40
132
原创 java连接ldap
http://blog.csdn.net/zfpigpig/article/details/21176697 首先必须了解ldap，ldap相关可以问度娘。这边我重点要提的是dn(distinguished name)，通俗的来说就是唯一标示。然后现在可以先下一个ldapadmin，通过ldapadmin先连接已经配置好的ldap，下面是微软ad的图。 比如admi...
2016-06-14 16:24:21
192
原创 LDAP概念和原理
http://blog.sina.com.cn/s/blog_6151984a0100ey3z.html 什么是目录服务？ 目录服务就是按照树状存储信息的模式 目录服务的特点？ 目录服务与关系型数据库不同？ 目录服务的数据类型主要是字符型, 而不是关系数据库提供的整数、浮点数、日期、货币等类型为了检索的需要添加了BIN（二进制数据）、CIS（忽略大小写）、CES（...
2016-06-14 16:21:34
187
原创 Portal相关技术及架构
Portal以用户为中心，提供统一的用户登录，实现信息的集中访问，集成了办公商务一体的工作流环境。利用Portal技术，可以方便地将员工所需要的，来源于各种渠道的信息资料集成在一个统一的桌面视窗之内。根据Portal提供的定制功能，部门主管可以为本部门人员量身定制一套特有的信息门户，将部门共同所需信息有效地组织在统一的Web浏览器之中，并可根据人员级别和职能来设定相应的访问操作权限。 ...
2016-06-01 10:38:16
220
原创 Spark On Yarn集群环境搭建
http://blog.csdn.net/u014039577/article/details/50829910 一、Scala安装下载scala安装包，地址：http://www.scala-lang.org/download/配置环境变量 下载完成后，解压到指定的目录下，在/etc/profile文件中配置环境变量：export SCALA_HOME=/...
2016-05-06 14:24:53
123
原创 Java Code Examples for parquet.hadoop.ParquetOutputFormat
The following are top voted examples for showing how to use parquet.hadoop.ParquetOutputFormat. These examples are extracted from open source projects. You can vote up the examples you like and y...
2016-05-05 17:53:30
421
原创 HDFS客户端的权限错误：Permission denied
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文件的代码： private...
2016-05-05 15:35:49
104
原创 Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。如下图所示，便是hadoop1.0的架构图；1.2 hadoop2.0对had...
2016-05-05 13:40:22
79
原创 Java API 读取HDFS目录下的所有文件
/** * 获取1号店生鲜食品的分类id字符串 * @param filePath * @return */public String getYHDSXCategoryIdStr(String filePath) { final String DELIMITER = new String(new byte[]{1}); final String INNER_DELIM...
2016-05-04 14:24:18
1086
原创 metaq架构原理
原创文章，转载请注明出处：http://jameswxx.iteye.com/blog/2034111 本来只是想看下metaq的文档，结果发现好乱，现在metaq其实有两个大分支了，一个是庄晓丹维护的已开源的，另外一个是淘宝内部的，本质结构原理没太大区别，只不过开源的已经去掉了对淘系相关的依赖。然后淘系的metaq已经到3.*版本了，但是文档比较乱，深入到细节时，发现好乱，一个点有...
2016-03-21 15:07:44
129
原创 oracle跨库查询dblink的用法
http://www.cnblogs.com/ningvsban/archive/2013/04/26/3045735.html 1.创建之前的工作在创建dblink之前，首先要查看用户是否有相应的权限。针对特定的用户，使用 sqlplus user/pwd登录后，执行如下语句：select * from user_sys_privs t where t....
2016-01-15 14:02:49
180
原创 Oracle同义词创建及其作用
Oracle的同义词（synonyms）从字面上理解就是别名的意思，和试图的功能类似，就是一种映射关系。本文介绍如何创建同义词语句，删除同义词以及查看同义词语句。 oracle的同义词总结： 从字面上理解就是别名的意思，和试图的功能类似。就是一种映射关系。 1.创建同义词语句： create public synonym table_name for user.table_nam...
2016-01-15 14:01:48
77
原创 Web安全测试-Nikto漏洞扫描工具检测
本文已发表在专家专栏：[url]http://netsecurity.51cto.com/art/200712/62159.htm[/url] 【51CTO.com 独家特稿】随着信息技术的发展，网络应用越来越广泛，很多企业单位都依靠网站来运营，正因为业务的不断提升和应用，致使网站的安全性显得越来越重要。另一 方面，网络上的黑客也越来越多，而且在利益驱使下，很多黑客对网站发起攻击，并以此...
2015-12-27 17:37:16
452
原创 Web安全测试-WebScarab工具介绍
1.1 Webscarab【功能】WebScarab是一个用来分析使用HTTP和HTTPS协议的应用程序框架。其原理很简单，WebScarab可以记录它检测到的会话内容（请求和应答），并允许使用者可以通过多种形式来查看记录。WebScarab的设计目的是让使用者可以掌握某种基于HTTP（S）程序的运作过程；可以用它来调试程序中较难处理的bug，也可以帮助安全专家发现潜在的程序漏洞。...
2015-12-27 17:32:54
1001
原创 Windows 64位 安装Oracle instantclient 官方绿色版和PL/SQL Developer 总结
操作系统：Windows 7 64位旗舰要求，安装PL/SQL Developer用于开发 一、下载Oracle官方精简绿色版http://www.oracle.com/technetwork/topics/winsoft-085727.html特别注意，要下载32位的，因为PL/SQL Developer目前只有32位的版本 二、安装配置instantclient...
2015-12-24 15:40:42
189
原创 Spark生态圈之——Elasticsearch与Solr
搜索引擎选型调研文档Elasticsearch简介*Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源...
2015-12-18 16:48:11
230
原创 Spark生态圈之——MLBase分布式机器学习系统
MLBase背景MLBase是Spark生态圈里的一部分，专门负责机器学习这块(除它之外，还有负责图计算的GraphX、SQL ad-hoc查询的Shark、具备容错性查询能力的BlinkDB等)。看了MLBase的论文后，我是迫不及待想要分享一下这个ML系统。虽然对具体ML算法了解不多，但是对比类似的系统，比如Weka，Mahout而言，我感到MLBase的构想有更进一步的创新和独到之处。...
2015-12-18 16:43:52
163
原创 机器学习之——强大的矩阵奇异值分解(SVD)及其应用
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系[email protected]前言： 上一...
2015-12-18 16:42:13
116
原创 机器学习之——线性判别分析（LDA）, 主成分分析(PCA)
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系[email protected]...
2015-12-18 16:41:57
96
原创 机器学习之——模型组合(Model Combining)之Boosting与Gradient Boosting
http://www.cnblogs.com/LeftNotEasy/archive/2011/01/02/machine-learning-boosting-and-gradient-boosting.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系whe...
2015-12-18 16:41:27
105
原创 机器学习之——机器学习中的数学(2)-线性回归，偏差、方差权衡
http://www.cnblogs.com/LeftNotEasy/archive/2010/12/19/mathmatic_in_machine_learning_2_regression_and_bias_variance_trade_off.html 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明...
2015-12-17 18:54:40
103
原创 机器学习之——回归(regression)、梯度下降(gradient descent)
http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经...
2015-12-17 18:53:19
108
原创 机器学习之——机器学习中的算法(2)-支持向量机(SVM)基础
http://www.cnblogs.com/LeftNotEasy/archive/2011/05/02/basic-of-svm.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系[email protected] 前言： 又有很...
2015-12-17 18:45:19
77
原创 机器学习之——决策树模型组合之随机森林与GBDT
转自：http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/1976562.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系[email protected] 前言： 决策树这种算法有...
2015-12-17 18:27:52
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人