- 博客(103)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Cloudera Manager5在线安装停止在获取安装锁、不能选择安装主机、本地 parcel 错误
当我们处于下载的过程中，如下图如果我们的网络不错，下载成功，如下图。可是我们下载过程中，中断了，我们回不到下载界面了，而是进入了下面界面: 我们该如何找回cloudera-agent执行下面命令：sudo apt-get remove avro-tools crunch flume-ng hadoop-
2016-12-15 15:57:57
9261
转载 如何查看Hadoop运行过程中产生日志
如何查看Hadoop运行过程中产生日志时间 2014-03-28 20:05:48 三劫散仙原文 http://qindongliang1922.iteye.com/blog/2038096主题 Hadoop用hadoop也算有一段时间了，一直没有注意过hadoop运行过程中，产生的数据日志，比如说System打印的日志，或者是log4j，slf4j等记录的日志，存
2016-02-26 03:41:00
24315
原创 kafka 原理精选
Kafka 0.8.2版本一条消息从Producer到broker是确保了At least once，可通过设置Producer异步发送实现At most onceAt most once 消息可能会丢，但绝不会重复传输At least one 消息绝不会丢，但可能会重复传输Kafka HA设计解析一个典型的部署方式是一个Topic的Partition数量大于Broker的
2016-02-25 15:06:08
704
转载 ImageMagick 图片处理工具的安装
ImageMagick安装配置 for java项目 （使用jmagick） 目录：一、ImageMagick介绍二、在Linux上用源码安装ImageMagick与jmagick三、在Linux上使用yum安装ImageMagick四、在windows上安装ImageMagick与jmagick五、常见问题以及解决方法 一、
2016-02-19 11:05:45
581
原创 redis安装
我用的系统是：centos [root@infa ~]# wget http://download.redis.io/releases/redis-2.8.12.tar.gz tar xzf redis-2.8.12.tar.gz[root@infa ~]# tar xzf redis-2.8.12.tar.gz[root@infa ~]# cd redis-2.8.12[
2016-01-03 19:34:12
298
转载 svn的merge使用例子
先说说什么是branch。按照Subversion的说法，一个branch是某个development line（通常是主线也即trunk）的一个拷贝，见下图：branch存在的意义在于，在不干扰trunk的情况下，和trunk并行开发，待开发结束后合并回trunk中，在branch和trunk各自开发的过程中，他们都可以不断地提交自己的修改，从而使得每次修改在repo
2015-12-07 11:20:34
305
转载 hadoop 2.6.0单节点-伪分布式模式安装
1、系统信息[root@lsn-linux ~]# cat /etc/issueCentOS release 6.3 (Final)Kernel \r on an \m[root@lsn-linux ~]# uname -aLinux lsn-linux 2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012 x8
2015-11-18 09:50:40
376
转载 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
转自: https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/#icommentsZookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Z
2015-11-08 22:18:02
499
原创 Apache Kafka 分布式消息队列中间件安装与配置
本文演示从1个zookeeper+1个kafka broker到3个zookeeper+2个kafka broker集群的配置过程。kafka依赖于zookeeper, 首先下载zookeeper和kafka$ wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.t
2015-11-03 22:47:58
643
原创 CentOS下安装Scala（事例为Scala2.11.7） 2015
注：下载地址：wget http://downloads.typesafe.com/scala/2.11.7/scala-2.11.7.tgz?_ga=1.192788266.1890576434.1446347770可采用#wget "下载地址" 方法下载到指定位置下载 scala-2.11.6.tgz 并 保存到/usr/local/src目
2015-11-01 11:43:57
1153
原创 菜单 install parallets tools,同时解决 kernel sources 错误
菜单 install parallets toolscd /mntmkdir dvdmount /dev/dvd /mnt/dvdsu -c "yum install kernel-headers kernel-devel"su -c "yum update kernel && reboot"cd /mnt/dvdsudo ./intall
2015-10-31 23:34:41
423
原创 scala的环境变量设置
cala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。工具/原料scala安装包方法/步骤首先从官网下载适合自身电脑配置的scala安装包。scala下载官网网址：http://www.scala-lang.org/download/
2015-10-29 18:00:53
3452
转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf
2015-10-25 22:05:50
384
原创 Mac OS X 10.10 Yosemite下安装java、jdk、mysql、maven、idea
Mac OS X Yosemite已经在2014年10月17日正式发布了。作为一个java开发者，尝鲜第一时间安装了最新版本。和之前的OS X系统还是有很多不同的。下面主要在java开发环境方面做一个笔记。1、jdk安装默认情况下，10.10系统同样没有安装JDK,也不会自动到Apple服务器下载jdk。这两有两个选择，一是到oracle官网下载最新版（1.
2015-10-18 15:36:42
479
转载 Win7系统上配置使用Intellij Idea 13的SVN插件
以前开发工具一直用的是Eclipse/MyEclipse，虽然早就听说过Idea而且也尝试用过几次，但由于使用不习惯每次都是不久就放弃了，这次因为使用了FreeMarker，而Idea对FreeMarker的支持很好，因此下决心换IDE说实话一开始使用idea真是很不习惯，不只是快捷键不同；比如项目和模块、服务器（如Tomcat）配置等也完全不同，但坚持用过一段时间后感觉很棒，比使用Ecl
2015-10-14 15:00:38
434
原创 HashMap 4种循环遍历方式及其性能对比
主要介绍HashMap的四种循环遍历方式，各种方式的性能测试对比，根据HashMap的源码实现分析性能结果，总结结论。1. Map的四种遍历方式下面只是简单介绍各种遍历示例(以HashMap为例)，各自优劣会在本文后面进行分析给出结论。(1) for each map.entrySet()Map map = new HashMap();for (Entry entry
2015-10-11 10:42:25
2005
转载 Java并发编程：线程池的使用
Java并发编程：线程池的使用 在前面的文章中，我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题： 如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？
2015-10-10 11:56:53
320
原创 Memcached 工作原理
Memcached处理的原子是每一个（key，value）对（以下简称kv对），key会通过一个hash算法转化成hash-key，便于查找、对比以及做到尽可能的散列。同时，memcached用的是一个二级散列，通过一张大hash表来维护。Memcached有两个核心组件组成：服务端（ms）和客户端（mc），在一个memcached的查询中，mc先通过计算key的hash值来 确定kv对所
2015-10-09 18:09:31
322
原创 java并发(synchronized 4 种用法 )
1 什么是并发问题。多个进程或线程同时(或着说在同一段时间内)访问同一资源会产生并发问题。银行两操作员同时操作同一账户就是典型的例子。比如A、B操作员同时读取一余额为1000元的账户，A操作员为该账户增加100元，B操作员同时为该账户减去 50元，A先提交，B后提交。 最后实际账户余额为1000-50=950元，但本该为 1000+100-50=1050。这就是典型的并发问题。
2015-09-30 16:27:33
548
原创 solr基本操作代码示例
1、基本操作类?12345678910111213141516171819202122232425262728293031323334353637383940414243444546474
2015-09-24 12:44:41
459
原创 JAVA中重写equals()方法为什么要重写hashcode()方法
那为什么在重写equals方法时都要重写equals方法呢：首先equals与hashcode间的关系是这样的：1、如果两个对象相同（即用equals比较返回true），那么它们的hashCode值一定要相同；2、如果两个对象的hashCode相同，它们并不一定相同(即用equals比较返回false) 自我的理解：由于为了提高程序的效率才实现了hashcode方法
2015-09-23 18:39:38
799
原创 单例模式（Singleton）详解
单例对象（Singleton）是一种常用的设计模式。在Java应用中，单例对象能保证在一个JVM中，该对象只有一个实例存在。这样的模式有几个好处：1、某些类创建比较频繁，对于一些大型的对象，这是一笔很大的系统开销。2、省去了new操作符，降低了系统内存的使用频率，减轻GC压力。3、有些类如交易所的核心交易引擎，控制着交易流程，如果该类可以创建多个的话，系统完全乱了。（比如一
2015-09-23 18:34:10
282
原创 Java之美[从菜鸟到高手演变]之设计模式
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真
2015-09-23 18:27:53
394
原创 JAVA多线程实现的三种方式(继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future实现有返回结果的多线程)
JAVA多线程实现方式JAVA多线程实现方式主要有三种：继承Thread类、实现Runnable接口、使用ExecutorService、Callable、Future实现有返回结果的多线程。其中前两种方式线程执行完后都没有返回值，只有最后一种是带返回值的。1、继承Thread类实现多线程继承Thread类的方法尽管被我列为一种多线程实现方式，但Thread本质
2015-09-23 12:12:38
3273
原创 linux下面测试网络带宽 bmon iftop nload
一.添加yum源方便安装bmon# rpm -Uhv http://apt.sw.be/redhat/el5/en/x86_64/rpmforge/RPMS//rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm# yum install bmon- bandwidth monitor可以在 shell 下监控网络流量的状况( 具有动态效果 )
2015-09-23 10:13:41
1262
原创 MySQL单列索引和组合索引的区别介绍
MySQL单列索引是我们使用MySQL数据库中经常会见到的，MySQL单列索引和组合索引的区别可能有很多人还不是十分的了解，下面就为您分析两者的主要区别，供您参考学习。为了形象地对比两者，再建一个表：CREATE TABLE myIndex ( i_testID INT NOT NULL AUTO_INCREMENT, vc_Name VARCHAR(50) NOT NULL, vc_
2015-09-22 21:25:48
299
原创 mysql 联合索引详解
mysql 联合索引详解联合索引又叫复合索引。对于复合索引:Mysql从左到右的使用索引中的字段，一个查询可以只使用索引中的一部份，但只能是最左侧部分。例如索引是key index (a,b,c). 可以支持a | a,b| a,b,c 3种组合进行查找，但不支持 b,c进行查找 .当最左侧字段是常量引用时，索引就十分有效。两个或更多个列上的索引被称作复合索引。
2015-09-22 21:20:58
522
原创 Java Thread 多线程同步、锁、通信
线程同步 当多个线程访问同一个数据时，非常容易出现线程安全问题。这时候就需要用线程同步 Case：银行取钱问题，有以下步骤： A、用户输入账户、密码，系统判断是否登录成功 B、用户输入取款金额 C、系统判断取款金额是否大于现有金额 D、如果金额大于取款金额，就成功，否则提示小于余额 现在模拟2个人同时对一个账户取款，多线程
2015-09-21 14:01:20
453
原创 HashMap实现原理分析
1. HashMap的数据结构数据结构中有数组和链表来实现对数据的存储，但这两者基本上是两个极端。 数组数组存储区间是连续的，占用内存严重，故空间复杂的很大。但数组的二分查找时间复杂度小，为O(1)；数组的特点是：寻址容易，插入和删除困难；链表链表存储区间离散，占用内存比较宽松，故空间复杂度很小，但时间复杂度很大，达O（N）。链表的特点是：寻址困难
2015-09-17 16:17:59
398
1
转载 Mysql 存储引擎中InnoDB与Myisam的主要区别
1， 事务处理innodb 支持事务功能，myisam 不支持。Myisam 的执行速度更快，性能更好。2，select ,update ,insert ,delete 操作MyISAM：如果执行大量的SELECT，MyISAM是更好的选择InnoDB：如果你的数据执行大量的INSERT或UPDATE，出于性能方面的考虑，应该使用InnoDB表
2015-09-17 10:49:46
279
原创 check out maven project 中scm url 没有svn
import--->Check out Maven Projects from SCM--->next--->点击连接m2e Marketplace.进入后找到m2e-subclipse.选择install.执行安装操作.
2015-05-19 18:12:17
3974
转载 linux上启动Memcache报错：error while loading shared libraries: libevent-1.4.so.2
linux上启动Memcache报错：Shell代码 [root@localhost memcached]# ./bin/memcached -d -m 2048 -p 11211 -u root ./bin/memcached: error while loading shared libraries: libevent-1.4.so.2: cannot op
2015-05-12 11:34:20
878
转载 在Linux上安装Memcached服务
下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.3。（如果你的系统已经安装了li
2015-05-12 11:31:36
306
转载 linux上安装activeMQ
1.新建一个文件夹activeMQ mkdir /server2.授权 chmod 777 /server3.下载activeMQ安装包,拷贝到/activeMQ目录下apache-activemq-5.6.0-bin.tar.gz，下载地址http://activemq.apache.org/download.html4.解压文件到运行目录/active
2015-05-12 10:27:35
378
原创 mysql max_allowed_packet 设置过小导致记录写入失败
mysql根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会受max_allowed_packet 参数限制，导致写入或者更新失败。查看目前配置show VARIABLES like '%max_allowed_packet%';显示的结果为：+--------------------+---------+| Variable_name | V
2015-05-05 18:01:53
403
原创 ssh免密码登录
1.生成公钥和私钥Shell代码 ssh-keygen -t rsa 默认在 ~/.ssh目录生成两个文件： id_rsa ：私钥 id_rsa.pub ：公钥2.导入公钥到认证文件,更改权限 2.1 导入本机Shell代码 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_k
2015-05-05 17:14:11
297
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人