- 博客(180)
- 资源 (17)
- 收藏
- 关注
RSS订阅转载 设计模式
Java开发中的23种设计模式详解(转)http://www.cnblogs.com/maowang1991/archive/2013/04/15/3023236.html
2017-08-28 20:27:19
434
转载 Linux日志文件总管——logrotate
日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外，处理一个单个的庞大日志文件也常常是件十分棘手的事。logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及删除旧的日志文件。例如，你可以设置logrotate，让/var/log
2017-03-14 16:22:06
636
转载 java CRC16算法，分解一个大Key实例。和各种hash算法代码
[java] view plain copy package org.rui.hi; /** * 测试： 解决场景:把1亿的用户 存储在一个队列里，过大。用sharding 摸拟redis 集群 sharding Redis * 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Re
2017-03-09 11:33:29
2183
转载 flume与kafka整合
flume与kafka整合前提：flume安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800300.htmlkafka安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800224.html在上诉条件满足的情况下才能进行flume和kafka的整合。fl
2017-03-01 21:14:42
1590
转载 Flume+Kafka+Sparkstreaming日志分析
最近要做一个日志实时分析的应用，采用了flume+kafka+sparkstreaming框架，先搞了一个测试Demo，本文没有分析其架构原理。 简介：flume是一个分布式，高可靠，可用的海量日志聚合系统，kafka是一高吞吐量的分布式发布订阅系统，sparkstreaming是建立在spark上的实时计算框架，这这个Demo中，以上内容均为单机版伪分布，flume的source为ex
2017-02-24 22:07:54
895
转载 Flume+HBase采集和存储日志数据
前言大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。在最近的工作当中，本人刚好实现
2017-02-24 22:01:04
2248
转载 实战Apache-Flume采集DB数据到kafka
Flume是一个优秀的数据采集组件，有些重量级，其本质也是根据SQL语句的查询结果组装成opencsv格式的数据，默认的分隔符号是逗号(，)，可以重写opencsv某些类进行修改 1、下载[root@hadoop0 bigdata]# wget http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.g
2017-02-23 16:38:16
6061
转载 基于flume-ng抓取mysql数据到kafka
flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/ 在apache flume的官网上没有找到sql数据源数据抓取的source，可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的
2017-02-23 16:30:53
4566
4
转载 Apache Flume 1.6.0 用户指南
引言概述Apache Flume是一个分布式的、可靠的、易用的系统，可以有效地将来自很多不同源系统的大量日志数据收集、汇总或者转移到一个数据中心存储。Apache Flume的作用不仅限于日志汇总，因为数据源是可以自定义的，Flume也可以被用于传输大量的事件数据，包括但不限于网络流量数据、社交媒体产生的数据、电子邮件和几乎所有可能的数据源。Apache Flu
2017-02-23 16:02:40
2236
转载 Flume入门教程
Flume 简介Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0
2017-02-22 21:57:15
4500
转载 nginx.conf中关于nginx-rtmp-module配置指令详解
译序：截至 Jul 8th,2013 官方公布的最新 Nginx RTMP 模块 nginx-rtmp-module 指令详解。指令Corertmp语法：rtmp { ... }上下文：根描述：保存所有 RTMP 配置的块。server语法：server { ... }上下文：rtmp描述：声明一个 RTMP 实例。rtmp { server {
2017-02-22 20:01:07
2751
转载 一个直播例子：快速集成iOS基于RTMP的视频推流
效果图iTools有点卡, 但是推到服务器倒是很快的.推流前言这篇blog是iOS视频直播初窥:的一个补充. 因为之前传到github上的项目中没有集成视频的推流.有很多朋友简信和微博上问我推流这部分怎么实现的. 所以, 我重新集成了RTMP的推流, 合并到了之前的项目中.下载链接github(完整版视频直播)blog详解(建议大家结
2017-02-22 16:40:25
941
转载 missian(4)使用异步客户端
重要：Missian刚刚更新到0.31，新增了Future风格的回调方式。 Missian没有绑定spring，但是强烈推荐配合spring一起使用。异步客户端由于需要调用BeanLocator去寻找回调的 Bean，如果配合Spring使用，可以直接使用SpringLocator(BeanLocator的唯一实现)，否则需要自己实现。 使用异步客户端需要注意一点：
2017-02-22 16:25:03
296
转载 missian(3)同步客户端
同步客户端比较简单，它具备以下能力： 1、同步调用Missian服务（通过HTTP或TCP均可）2、同步调用Hessian服务3、使用短连接。作者本人的经验是，在网络通信时，使用短连接比较简单，在一个机柜或者机房内的通信，可以考虑短连接。4、使用连接池，保持长连接。 我们先来看看Missian的同步客户端是怎么工作的。 步骤一
2017-02-22 15:56:36
323
转载 missian(2)配置服务器
在使用Missian时，spring是可选的，但是作者本人强烈推荐和Spring配合使用。Spring是一个伟大的项目，并且它不会对程序在运行时的效率带来任何损耗。 Missian在服务器端依赖与Mina，Missian只是提供一个Codec（协议编码解码，兼容TCP和HTTP）和一个Handler（调用Hessian序列化机制来反序列化数据、使用BeanLocator来定位这次调
2017-02-22 15:54:14
365
转载 missian(1)
missian是什么 hessian（hessian over mina）是一个基于HTTP的优秀的、高效的RPC框架，而missian可以理解为：基于mina对hessian进行扩展，使之：1、具备异步RPC能力，但同时也提供了同步的客户端，和hessian完全兼容2、能够在TCP之上传输，省掉了HTTP编码解码的过程，但是同事也支持HTTP协议，意味着hes
2017-02-22 15:51:04
458
转载 Hessian学习(1)
hessian是一个采用二进制格式传输的服务框架，相对传统soap web service，更轻量，更快速。官网地址：http://hessian.caucho.com/目前已经支持N多语言，包括：Java/c#/flex/PHP/ruby...maven的依赖项如下：1 dependency>2 groupId>com.cauchogroupId>3
2017-02-22 15:34:26
247
转载 Netty4.x中文教程系列(五) 从头开始Bootstrap
其实自从中文教程系列（五）一直不知道自己到底想些什么。加上忙着工作上出现了一些问题。本来想就这么放弃维护了。没想到有朋友和我说百度搜索推荐了我的文章。瞬间有点小激动啊。决定自己要把这个教程系列完善下去。这里诚挚的想支持我的盆友们道歉。真的是让你们失望了。我居然有想放弃的这种丧心病狂的念头。以后绝对不会了。 其实伴随着对Netty的逐步深入学习。感觉自己对netty的了
2017-02-20 21:51:01
2382
1
转载 Netty4.x中文教程系列(四)编解码器Codec
上一篇文章详细解释了ChannelHandler的相关构架设计，版本和设计逻辑变更等等。 这篇文章主要在于讲述Handler里面的Codec，也就是相关的编解码器。原本想把编解码器写在上一篇文章里面的。后来想想Netty里面的编解码器太多了。想要一次写完比较困难。于是重新开了一篇文章来专门写这个。1. Hello World ！实例中的使用 在这里先讲一下我
2017-02-20 21:49:28
855
转载 Netty4.x中文教程系列(三) ChannelHandler
上一篇文章详细解释了Hello World示例的代码。里面涉及了一些Netty框架的基础。 这篇文章用以解释ChannelHandler。笔者本身在以前写过文章ChannelHandler改动及影响 和 ChannelInitializer 学习 对Netty的.ChannelHandler做过阐述。里面主要描述了4.x版本相对于3.x版本的改动以及影响。并引用了一些文章。为大家
2017-02-20 21:48:33
972
转载 Netty 中文教程 （二） Hello World ！详解
上一篇文章，笔者提供了一个Hello World 的Netty示例。 时间过去了这么久，准备解释一下示例代码。1.HelloServer 详解 HelloServer首先定义了一个静态终态的变量---服务端绑定端口7878。至于为什么是这个7878端口，纯粹是笔者个人喜好。大家可以按照自己的习惯选择端口。当然了。常用的几个端口(例如:80,8080,843(Flash及Si
2017-02-20 21:43:56
689
转载 Netty4.x中文教程系列(一)Hello World !
在中国程序界。我们都是学着Hello World !慢慢成长起来的。逐渐从一无所知到熟悉精通的。 第二章就从Hello World 开始讲述Netty的中文教程。 首先创建一个Java项目。引入一个Netty 框架的包。这个步骤我在本系列教程的后面就不在重复了。 先上一张我示例的项目工程图给大家看一下:1.下载并为项目添加Netty框架 Ne
2017-02-20 21:42:35
1419
转载 分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。cluster.name: elas
2017-02-20 19:55:12
259
转载 分布式搜索elasticsearch高级配置之（三）----------中文分词集成
elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行：安装ik插件：[plain] view plain copyplugin -install me
2017-02-20 19:54:02
579
转载 分布式搜索elasticsearch高级配置之（二）------线程池设置
一个Elasticsearch节点会有多个线程池，但重要的是下面四个：索引（index）：主要是索引数据和删除数据操作（默认是cached类型）搜索（search）：主要是获取，统计和搜索操作（默认是cached类型）批量操作（bulk）：主要是对索引的批量操作（默认是cached类型）更新（refresh）：主要是更新操作（默认是cached类型）可以通过给设置一个参
2017-02-20 19:51:33
918
转载 分布式搜索elasticsearch高级配置之（一）------分片分布规则设置
分片分布是把索引分片分布到节点的过程。这个操作会在初次启动集群，副本分配，负载均衡，或增加删除节点时进行。下面是一些与分片分布相关的设置：cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设
2017-02-20 19:50:30
228
转载 分布式搜索elasticsearch java API 之（八）------使用More like this实现基于内容的推荐
基于内容的推荐通常是给定一篇文档信息，然后给用户推荐与该文档相识的文档。Lucene的api中有实现查询文章相似度的接口，叫MoreLikeThis。Elasticsearch封装了该接口，通过Elasticsearch的More like this查询接口，我们可以非常方便的实现基于内容的推荐。先看一个查询请求的json例子：[plain] view plai
2017-02-20 19:49:12
776
转载 分布式搜索elasticsearch java API 之（七）------与MongoDB同步数据
elasticsearch提供river这个模块来读取数据源中的数据到es中，es官方有提供couchDB的同步插件，因为项目用到的是MongoDB，所以在找mongodb方面的同步插件，在Git上找到了elasticsearch-river-mongodb。 这个插件最初是由aparo写的，最开始的功能就是读取mongodb里面的表，记录最后一条数据的id，根据时间间隔不断访
2017-02-20 19:48:10
727
转载 分布式搜索elasticsearch java API 之（六）------批量添加删除索引
elasticsearch支持批量添加或删除索引文档，Java api里面就是通过构造BulkRequestBuilder，然后把批量的index/delete请求添加到BulkRequestBuilder里面，执行BulkRequestBuilder。下面是个例子：[java] view plain copyimport static org.el
2017-02-20 19:47:27
2268
转载 分布式搜索elasticsearch java API 之（五）------搜索
elasticsearch的查询是通过执行json格式的查询条件，在Java api中就是构造QueryBuilder对象，elasticsearch完全支持queryDSL风格的查询方式，QueryBuilder的构建类是QueryBuilders，filter的构建类是FilterBuilders。下面是构造QueryBuilder的例子：[java] view plain
2017-02-20 19:46:50
237
转载 分布式搜索elasticsearch java API 之（三）(四)------索引数据、删除索引数据
es索引数据非常方便，只需构建个json格式的数据提交到es就行，下面是个Java api的例子[java] view plain copyXContentBuilder doc = jsonBuilder() .startObject() .field("title", "this is a t
2017-02-20 19:45:54
1243
转载 分布式搜索elasticsearch java API 之（二）------put Mapping定义索引字段属性
Mapping,就是对索引库中索引的字段名及其数据类型进行定义，类似于关系数据库中表建立时要定义字段名及其数据类型那样，不过es的mapping比数据库灵活很多，它可以动态添加字段。一般不需要要指定mapping都可以，因为es会自动根据数据格式定义它的类型，如果你需要对某些字段添加特殊属性（如：定义使用其它分词器、是否分词、是否存储等），就必须手动添加mapping。有两种添加mapping的方
2017-02-20 19:44:32
3092
1
转载 分布式搜索elasticsearch java API 之（一）------与集群交互
注意：这是es1.x及以下版本的交互方式，新的2.x版本的请浏览es官网，里面有比较详细的例子（https://www.elastic.co/guide/en/elasticsearch/client/Java-api/current/transport-client.html）这是关于elasticsearch Java api的第一篇教程，陆续会把es的一些心得写出来。
2017-02-20 19:43:28
220
转载 ElasticSearch的Java Api基本操作入门指南
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎框架。分布式是其最大的特点。安装比较简单，如果单机运行的话直接下载解压，在命令行下运行bin/elasticsearch就行了（win的dos和linux的窗口都行）。它能够通过http、restful、thrift等方式访问。不过今天我们看的是使用最普通的java api来测试其功能。java
2017-02-20 19:42:16
786
转载 CAS 单点登陆
一、Tomcat配置SSL1. 生成 server key以命令方式换到目录%TOMCAT_HOME%,在command命令行输入如下命令： keytool -genkey -alias tomcat_key -keyalg RSA -storepass changeit -keystore server.keystore -validity 3600 用户名输入域名，如loc
2017-02-20 14:41:45
626
转载 Shiro 权限管理
先简单介绍一下Shiro，对于没有用过Shiro的朋友，也算是做个简介吧。 Shiro是Apache下的一个开源项目，我们称之为Apache Shiro。它是一个很易用与Java项目的的安全框架，提供了认证、授权、加密、会话管理，与 Spring Security 一样都是做一个权限的安全框架，但是与Spring Security 相比，在于 Shiro 使用了比较简单易懂易于使用的授权方
2017-02-20 14:39:15
862
转载 直播系列5-使用nginx+nginx-rtmp-module+ffmpeg搭建流媒体服务器笔记（二）
第二部分1、昨天已经把网络摄像机的rtsp视频流成功利用FFmpeg和Nginx转换成rtmp流推送到了nginx视频服务器上面，并且通过vlc可以观看到直播视频。今天继续昨天的工作，将rtsp的视频流推送到Nginx上面，客户端根据hls协议使用http在网页进行观看（推送的仍然是rtmp视频流），关于hls，先给一小段简单介绍：HTTP Live Streaming（H
2017-02-09 17:56:02
490
转载 直播系列4-使用nginx+nginx-rtmp-module+ffmpeg搭建流媒体服务器笔记（一）
第一部分主要步骤及命令记录：1、下载nginx，地址http://nginx.org/en/download.html，选择最新版本下载、解压。当前最新版为：nginx-1.7.9。2、为了增加对rtmp的支持，下载nginx-rtmp-module，地址：https://github.com/arut/nginx-rtmp-module#example-nginxconf
2017-02-09 16:49:39
3659
2
转载 直播系统3-ffmpeg处理RTMP流媒体的命令和发送流媒体的命令（UDP，RTP，RTMP）
将文件当做直播送至liveffmpeg -re -i localFile.mp4 -c copy -f flv rtmp://server/live/streamName re限制输出速率，按照帧率输出将直播媒体保存至本地文件ffmpeg -i rtmp://server/live/streamName -c copy dump.flv
2017-02-09 16:46:16
2325
单点登录最好实例SSOAuth+SSOWebDemo1+SSOWebDemo2.zip
2013-01-14
单点登录最好实例
2013-01-11
ant使用指南
2012-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人