xh16319-CSDN博客

转载分布式锁2 Java非常用技术方案探讨之ZooKeeper

分布式锁1 Java常用技术方案前言: 由于在平时的工作中，线上服务器是分布式多台部署的，经常会面临解决分布式场景下数据一致性的问题，那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料，做一个讲解和总结。希望这篇文章可以方便自己以后查阅，同时要是能帮助到他人那也是很好的。 =============================

2017-06-05 16:34:12 782

转载 Eclipse常用配置

Eclipse常用配置介绍以下是项目中所使用的eclipse需要配置的地方, 相关工具软件放在(\\172.20.17.126\tools），配置文件放在（http://tech.xiaoniu88.net/svn/documents/eclipse_settings）开发过程须统一开发工具与代码格式:上述目录中的eclipse说明：eclipse-jee-luna-R-w

2017-05-19 11:20:08 865

转载 Drools基础入门

第一节：基础使用1. 新建一个maven工程2. 引入drools的依赖** dependencies> dependency> groupId>org.droolsgroupId> artifactId>drools-coreartifactId> version>6.3.0.F

2017-05-19 11:18:51 1094

转载 Drools的另类用法--模板使用，以及与Spring集成

简述Drools的用法非常多，功能也非常强大，本文不讨论具体语法以及使用，主要分享一下在使用过程中一种比较另类的思路，由于本人未使用过Drools历史版本，故没有对比，所有讨论都基于Drools 6.3。思路首先我们都知道Drools由一系列的drl规则文件 + 工作内存(working Memory) + 决策引擎组成，在Drools6.3为了跟maven集成，动

2017-05-19 11:17:33 8108

转载修改linux最大文件句柄数

大家知道在linux服务器大并发调优时，往往需要预先调优linux参数，其中修改linux最大文件句柄数是最常修改的参数之一。在linux中执行ulimit -a 即可查询linux相关的参数，如下所示：[root@mongodb11 ~]# ulimit -acore file size (blocks, -c) 0data seg size

2016-09-14 19:17:51 3435

转载四种生成和解析XML文档的方法详解（介绍+优缺点比较+示例）

众所周知，现在解析XML的方法越来越多，但主流的方法也就四种，即：DOM、SAX、JDOM和DOM4J下面首先给出这四种方法的jar包下载地址DOM：在现在的Java JDK里都自带了，在xml-apis.jar包里SAX：http://sourceforge.net/projects/sax/JDOM：http://jdom.org/downloads/index.htmlD

2015-02-04 16:27:10 2455

转载 crontab命令

前一天学习了 at 命令是针对仅运行一次的任务，循环运行的例行性计划任务，linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。一、crond简介crond是linux下用来

2014-12-23 17:30:42 1550

转载 Redis与Memcached的区别

传统MySQL+ Memcached架构遇到的问题　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。　　2.Mem

2014-11-10 17:11:32 850

转载 InputFormat的数据划分、Split调度、数据读取三个问题的浅析

在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发：1、运行mapred程序；2、本次运行将生

2014-11-05 21:28:44 855

转载 Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode

正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。1. Secondary NameNode原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image优点：Hadoop较早的版本都自带，

2014-11-05 17:40:31 2126

转载 hadoop中槽-slot是线程还是进程讨论

hadoop一个节点默认起两个map slot，这两个slot是多线程吗？hadoop-0.21.0 源码中是这样的：首先看看 org.apache.hadoop.mapred.TaskTracker 类：=====================================================================================

2014-11-05 17:39:17 967

转载 Hadoop集群三种作业调度算法介绍

Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简

2014-11-05 16:56:51 1217

转载 HDFS体系结构简介及优缺点

1 HDFS体系结构简介及优缺点1.1体系结构简介 HDFS是一个主/从（Mater/Slave）体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD（Create、Read、Update和Delete）操作。但由于分布式存储的性质，HDFS集群拥有一个NameNode和一些DataNode。NameNode管理文件系统的元数据，DataNode

2014-11-05 14:34:59 1101

转载 hadoop机架感知--加强集群稳固性，该如何配置hadoop机架感知

最新热门最新回复最新发表面试题项目区hadoop资源openstack资源新手指导环境搭建休闲阅读目hadoop疑问openstack疑问移动云百度云微软云 storm区CDH区hbase区pig区hive区sqoop区

2014-11-05 11:08:01 932

原创 linux NAT方式上网

我以下写的配置方法别人在网上已经发布过类似的文章。但是我觉的别人写的东西不一定是对的，必须自己亲自试验一下才行。就像有句话说的：“实践是检验真理的唯一标准”以下是我操作的步骤。希望不足的地方，读者能够指出。 1.必须检查你的windows系统的VMware DHCP Service 和VMware NAT Service这个两个服务是否启动。如果未启动请启动。 2. 把wind

2014-09-30 15:30:01 4649

原创 hadoop集群balance工具详解

在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。 1） hadoop balance工具的用法：[html] view plaincopyTo start: bi

2014-09-28 11:42:41 1079

转载 It's possible that the above module doesn't match the current version of Python

当运行yum时可能出现如下问题:[root@Centos ~]# yumThere was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: No module named yumPlease install

2014-09-19 11:28:28 7515

原创 Linux下python升级至2.7步骤

首先下载源tar包　　可利用linux自带下载工具wget下载，如下所示：1# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz　　　下载完成后到下载目录下，解压1tar -zxvf Python-2

2014-09-14 23:16:28 20714 3

转载 Jedis使用示例

Jedis 是 Redis 官方首选的 Java 客户端开发包。工作过程总结的一个示例，贴出来，如下：Java代码 package com.wujintao.redis; import java.util.Date; import java.util.HashMap; import java.util.Iterator; import java.util.

2014-09-09 00:05:49 7526

转载 Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍

redis是一个著名的key-value存储系统，而作为其官方推荐的java版客户端jedis也非常强大和稳定，支持事务、管道及有jedis自身实现的分布式。在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比：一、普通同步方式最简单和基础的调用方式，@Testpublic void test1Normal() { Jedis jedis = new

2014-09-09 00:00:53 1534

转载 maven插件报错之解决

用m2eclipse创建Maven项目时报错问题：Could not calculate build plan: Failure to transfer org.apache.maven.plugins:maven-surefire-plugin:pom:2.7.1 from http://repo1.maven.org/maven2 was cached in the loc

2014-08-31 18:44:43 1872

原创 maven中央库连接不成功解决办法

解决办法：修改hosts文件，新增一行

2014-08-20 23:11:38 6361 1

转载 hive中简单介绍分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：create table partition_test(member_id string,name string)partition

2014-08-19 23:41:10 655

转载 memcached全面剖析–5. memcached的应用和兼容程序

系列文章导航：memcached完全剖析–1. memcached的基础memcached全面剖析–2. 理解memcached的内存存储memcached全面剖析–3. memcached的删除机制和发展方向memcached全面剖析–4. memcached的分布式算法memcached全面剖析–5. memcached的应用和兼容程序发表日：2008/7/30

2014-08-18 15:54:00 608

转载 memcached全面剖析–4. memcached的分布式算法

2014-08-18 14:40:59 646

转载 memcached全面剖析–3. memcached的删除机制和发展方向

2014-08-18 14:12:27 586

转载 memcached完全剖析–1. memcached的基础

2014-08-18 14:10:30 550

转载 memcached全面剖析–2. 理解memcached的内存存储

2014-08-18 14:09:54 592

转载如何使用Hadoop的ChainMapper和ChainReducer

Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Mapper像Linux管道一样，前一个Mapper的输出结果直接重定向到下一个Mapper的输入，形成一个流水线，而这一点与L

2014-06-28 23:25:38 1766

转载 Hadoop配置项整理(mapred-site.xml)

续上篇namevalueDescriptionhadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location 用户历史文件存放位置io.sort.fa

2014-06-24 10:49:20 1826

转载 Hadoop配置项整理(hdfs-site.xml)

续上篇整理一下hdfs相关的配置项 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置

2014-06-24 10:48:49 950

转载 Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分以hadoop 1.x配置为例core-site.xml namevalue Description fs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口 fs.check

2014-06-24 10:47:44 3441

原创 VMware tools 安装

echo "export LC_ALL=C" >> /root/.bashrc

2014-06-23 15:59:16 793

翻译 Secondary NameNode:它究竟有什么作用？

前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂，现将其翻译如下：

2014-06-16 14:14:34 82501 16

原创 Hadoop Hbase完全分布式环境搭建

Hadoop分布式环境搭建一、安装软件准备由于资源限制，本文档的Hadoop的节点环境均部署在虚拟的linux上，使用的虚拟机和linux的版本如下：VMware-workstation-full-8.0.2-591240.exe[红帽企业.Linux.5].TLF-SOFT-RedHat.Enterprise.Linux.5.Update.2-XiSO.iso Hado

2014-06-11 15:44:08 3909

原创 jsoup的基础理论(一)

一、 JSOUP简介在以往用java来处理解析HTML文档或者片段时，我们通常会采用htmlparser（http://htmlparser.sourceforge.net/）这个开源类库。现在我们有了JSOUP，以后的处理HTML的内容只需要使用JSOUP就已经足够了，JSOUP有更快的更新，更方便的API等。jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址

2014-06-02 20:54:53 8744 1

转载 Java 正则表达式量词 --- 三种匹配模式【贪婪型、勉强型、占有型】

在Sun的API中对在对 “最大匹配Greedy”“最小匹配Reluctant”“完全匹配Possessive”的描述，不能让我明白他们有什么区别，现在将我对这三种匹配模式的理解写出来，供大家参考。1、Greediness（贪婪型）：最大匹配X?、X*、X+、X{n，}都是最大匹配。例如你要用“”去匹配“aaavaabb”，也许你所期待的结果是想匹配“”，但是实际结果却会匹配到

2014-05-29 10:56:27 2243

转载 REST风格的应用程序实现

莫笑我老土，因为我确实是最近才听说REST风格的，以前就是觉得 /category/product/pid这样的地址非常的漂亮，但是那只是表象罢了，了解深入以后，发现必须有一个客户端的Ajax Engine和Server端的服务配合，才能实现一个REST风格的应用，下面就是我的实验。问题？要对外提供哪些服务。服务器端的服务可能会被众多的浏览器请求，也可能被第三方应用程序所调用，所以需要

2014-05-13 16:25:56 880

转载 SOA标准之----SCA架构思想

SOA标准之----SCA架构思想 SOA在Java领域有两套标准：一个是SUN推出的JBI（没有得到BEA和IBM的承认），另外一个是：IBM和BEA等公司推出的SCA和SDO标准。 JBI之关注Java组件只处理Java组件的集成。SCA实现了业务组件和传输协议的分离，可以处理各种平台组件的集成。SDO可以的自由读取各种不同数据源的数据。另外，BPEL本质上是一种集

2014-05-06 12:02:39 1255