xishanxinyue-CSDN博客

转载 Eclipse Maven工程中缺少Maven Dependencies

Eclipse在引入Maven工程后，找不到Maven Dependencies。使得代码报错，具体如下图所示：而正常Maven的工程如下所示：产生这种现象的原因可能是工程对应的开发环境改变，本地Maven仓库地址和原来的不一致。其根本原因是Maven project的Maven选项未开启或启动无效。为了解决这个问题我们只需要重启Depende

2015-08-16 11:47:57 515

原创 hadoop主机名和hbase连接名配置问题记录

记录两个小问题问题1 现象：在hadoop配置文件中配置地址：<configuration><property> <name>fs.defaultFS</name> <value>hdfs://主机名:8000</value> </property></configuration>并在通过在etc/hosts中配置了主机名和ip的映射后hadoop还是报地址无法识

2015-07-13 16:34:42 2231

转载 JAVA虚拟机内存回收算法与调优参数

一、相关概念基本回收算法引用计数（Reference Counting）比较古老的回收算法。原理是此对象有一个引用，即增加一个计数，删除一个引用则减少一个计数。垃圾回收时，只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。标记-清除（Mark-Sweep）此算法执行分两阶段。第一阶段从引用根节点开始标记所有被引用的对象，第二阶段遍历整个堆，把未标记的对象清除。此算法需要暂停整

2015-07-03 16:45:42 507

nutch 在抓取网页的时代报如下错误：2015-06-30 16:25:53,420 DEBUG security.UserGroupInformation - PrivilegedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.mapred.InvalidInputException: Input path does

2015-06-30 17:32:56 533

原创 hmaster和hregionserver 16020 端口冲突问题

问题背景：哥最近升级了下hadoop、 hbase、 spark，发现hbase升级后主节点上的hregionsever老是启动不了。查看日志发现如下端口冲突错误：java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegion

2015-05-20 18:33:40 10365 2

转载 linux开启自启程序详解

Linux开机启动程序详解我们假设大家已经熟悉其它操作系统的引导过程，了解硬件的自检引导步骤，就只从Linux操作系统的引导加载程序(对个人电脑而言通常是LILO)开始，介绍Linux开机引导的步骤。加载内核 LILO启动之后，如果你选择了Linux作为准备引导的操作系统，第一个被加载的东西就是内核。请记住此时的计算机内存中还不存在任何操作系统，PC(因为它们天然的设计缺陷)也还没有办法存取机器上

2015-04-20 09:17:29 585 1

转载 Spring容器中定义Bean几种初始化方法和销毁方法

Spring 容器中的 Bean 是有生命周期的，Spring 允许 Bean 在初始化完成后以及销毁前执行特定的操作。下面是常用的三种指定特定操作的方法：通过实现InitializingBean/DisposableBean 接口来定制初始化之后/销毁之前的操作方法；通过<bean> 元素的 init-method/destroy-method属性指定初始化之后 /销毁之前调用的操作方法；在指

2015-04-15 10:27:09 1253

原创 elastic编译

elastic编译如果对elastic需要定制修改，那么需要修改后做编译。编译过程：1、编译版本使用1.5.0操作系统Centos6.42、下载elastic 1.5.0源码3、安装mavenwgethttp://apache.fayea.com/apache-mirror/maven/maven-3/3.2.1/binaries/apache-

2015-04-11 09:52:00 506

原创 Nutch总结（一）

Nutch总结（一）本文基于nutch 1.9版本。1、 Nutch是什么？做什么比较合适？Nutch是一个开源的网络爬虫，完全用java编写。可以自动的抓取网页数据。网页抓取后和Solr结合使用可以实现一个完整的搜索引擎，同时也支持elastic search作为其搜索引擎。如果有网路爬虫需要可以考虑使用Nutch。2、 Nutch的特点？l 灵活、

2015-04-10 19:08:14 620

原创编译hadoop

编译hadoop Hadoop官网已经提供二进制发行版本，可以直接使用，但是很多情况还是需要更具源代码重新编译hadoop。比如1、hadoop需要定制化修改 2、hadoop为了提升性能以及一些java库的缺失，一部分代码引入了本地库，使用c语言编写。那官方提供的本地库文件可能和你实际运行的机器不匹配，导致本地库无法加载，虽然可以通过屏蔽本地库解决问题的，但是为了提升性能还是

2015-04-10 19:02:42 407

原创如何将spring dm导入到eclipse 配置启动项中？

如何直接将Spring-DM bundle放到target platform中运行。解决：window -- preferences -- Plug-in Development -- Target Platform , 选中 “Running Platform(Active)”,点击“Edit...”,在“locations“书签下，点击“Add...”,在此加入Spring

2015-04-08 16:16:07 424

原创 hadoop 启动后yarn不能监控问题记录

hadoop 启动后yarn不能监控问题：现象：启动各个节点成功包括resourceManager 但是监控页面无法监控job task masterapplication 日志无异常。可能原因：centos主机名和ip绑定的配置文件/etc/hosts 中 127.0.0.1 后也绑定了主机名hadoop1。导致节点之间通讯异常。并且无法远程访问hadoop主节点。

2015-04-08 16:13:08 2454

原创大矩阵乘法运算map reduce实现思路

实现思路：存储：大矩阵很多都是稀疏矩阵，并且有可能有上百万的行和上百万的列。那么矩阵可以存在类似HBase面向列的分布式数据库中。假设HTable中有两个表A和表B分别存储两个巨型矩阵a和b。表A和表B都是只有一个列族。列名都是1开始计数。那么表A和表B所存储的矩阵a和矩阵b表示为如下形式：矩阵a(m,n):a11 a12 a13 ... a1na21 a22

2015-04-08 15:08:45 854

原创 SQL Server Agent无法启动问题解决方法

问题背景：最近需要使用SQL Server制定周期性执行的任务，而运行任务需要启动SQL Server Agent服务，但是启动这个服务的时候报如下字样：“SQL Server Agent无法启动，一些服务启动后又停止了，因为他们没有什么可做的”。查看SQL SERVER 日志，报类似如下错误：“[298] SQLServer 错误: 15247，用户没有执行此

2013-11-12 16:39:58 18718

原创定位JVM内存溢出问题思路总结

JVM的内存溢出问题，是个常见而有时候有非常难以定位的问题。定位内存溢出问题常见方法有很多，但是其实很多情况下可供你选择的有效手段非常有限。很多方法在一些实际场景下没有实用价值。这里总结下我的一些定位思路。要定位JVM内存溢出问题，首先要对JVM的内存布局有一定的了解，对常见的JVM内存工具要比较熟悉。所谓工欲善其事，必先利其器。而熟悉JVM的内存管理机制是你定位JVM内存问题的基石。首

2013-11-11 12:03:26 13873

转载布隆过滤器 (Bloom Filter) 详解

布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插入元

2013-11-11 11:47:48 569

原创一道算法题的思考-管道取珠

最近做了一道算法题，觉得很有意思。记录如下：题目大意管道取珠有一个游戏，左侧有两个上下两个管道，右侧有一个输出管道。游戏初始时，左侧上下两个管道分别有一定数量的小球（有深色球和浅色球两种类型），而右侧输出管道为空。每一次操作，可以从左侧选择一个管道，并将该管道中最右侧的球推入右边输出管道。假设上管道中有n个球,下管道中有m个球，则整个游戏过程需要进行n+ m次

2013-10-20 20:22:53 791

原创 TCP IP之TIME_WAIT状态

前段时间碰到一个服务器挂死问题，原因是由于服务器上的TCP连接数过多导致程序无法新建SOCKET连接，最后该问题解决了。中间在定位问题的时候查看但是操作系统上的TCP连接数，有几百个连接处于TIME_WAIT状态，这个TIME_WAIT到底是表示什么意思呢？于是重新查看了下TCP协议，终于理清了，这里记录一下。下面的是TCP IP的状态变迁图：从中可以看得

2013-07-06 18:21:23 835

xishanxinyue的专栏