kamereon-CSDN博客

原创启动hbase输出ignoring option PermSize=128m; support was removed in 8.0告警信息

./start-hbase.sh starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-hd1.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was r

2017-01-17 14:45:35 36766 5

原创 hbase1.2.3+zookeeper3.4.9+hadoop2.7.3完全分布式部署遇到的问题

启动start-hbase.sh 后hbase没有启动查看日志如下：ERROR [main] master.HMasterCommandLine: Master exitingjava.io.IOException: Could not start ZK with 3 ZK servers in local mode deployment. Aborting as clients (e

2017-01-17 14:27:07 3110

转载 ZooKeeper-3.4.9集群安装配置及注意事项

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在

2017-01-12 17:01:09 2542 1

原创 SecondaryNameNode启动异常端口被占用

2017-01-12 01:27:04,313 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: registered UNIX signal handlers for [TERM, HUP, INT]2017-01-12 01:27:04,824 INFO org.apache.hadoop.metrics2.imp

2017-01-12 09:51:51 3380 1

转载 hadoop2.X如何将namenode与SecondaryNameNode分开配置

问题导读1.如何将namenode与SecondaryNameNode分开？2.SecondaryNameNode单独配置，需要修改那些配置文件？3.masters文件的作用是什么？我们这里假设你已经安装配置了hadoop2.2，至于如何配置可以参考，hadoop2.2完全分布式最新高可靠安装文档。在这个基础上，我们对配置文件做一些修改：

2017-01-12 09:46:30 381

转载内网环境NTP服务及时间同步(CentOS6.x)配置和部署

今有一小型项目，完全自主弄，原来以为很简单的NTP服务，我给折腾了2个多小时才整撑头（以前都是运维搞，没太注意，所以这技术的东西，在简单都需要亲尝啊），这里记录为以后别再浪费时间。目标环境，5台linux centos 6.3，一台作为NTPD服务与外部公共NTP服务同步时间，同时作为内网的NTPD服务器，其他机器与这台服务做时间同步。服务器I

2017-01-11 15:37:53 16267 2

转载 MapReduce 中 map 分片大小确定和map任务数的计算

Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.block.si

2017-01-08 01:16:38 4194

转载 hadoop 2.7.3 启动Hadoop HDFS时的“Incompatible clusterIDs”

“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.7.3是data目录.从上述描述不难看出，解决办法就是清空所有DataNode的data目录，但注意不要将data目录本身给删除了。

2017-01-03 15:44:20 1188

转载 postgis安装及shapefile导入

安装了postgresql和postgis后，有的时候在pgadmin中会发现并无postgis_templete或者postgis_21_sample这种模板，这种时候，直接自己新建一个数据库，不要选择任何模板，进入新建好的数据库，输入一下SQL：-- Enable PostGIS (includes raster)CREATE EXTENSION postgis;-- Enable

2016-12-06 11:11:06 591

原创 python 通过happybase 访问hbase

1、Installing the HappyBase packageThe next step is to install HappyBase. The easiest way is to use pip to fetch the package from the Python Package Index (PyPI). This will also install the Thrif

2016-11-09 12:27:33 3012

转载 linux python27安装

redhat 下安装python操作：（centos下安装python操作：需要第七步）1. https://www.python.org/ 下载Python-2.7.12.tgz2.解压：tar -xvf Python-2.7.12.tgz3.cd Python-2.7.124../configure会在目录下面生成makefile文件，这个makefile主要是为mak

2016-11-08 11:41:53 1731

转载内存泄露或内存管理工具和方法

c/c++等支持指针操作的语言不支持垃圾回收机制。可以使用内存检查工具，比如Rational Purify、Compuware BoundsChecker和英特尔的Parallel Inspector等。从设计方法的角度也衍生了类似于内存引用计数之类的方法（通常被称为“智能指针”），来解决内存泄露和资源管理的问题。

2016-11-02 08:22:18 421

转载 QT基于UDP通信的多线程编程问题

近来用Qt编写一段多线程的TcpSocket通信程序，被其中Qt中报的几个warning搞晕了，一会儿是说“Cannot create children for a parent that is in a different thread”，有时候又是“QSocketNotifier: socket notifiers cannot be enabled from another thread”，

2015-11-02 09:15:11 13116

原创 IE条件注释解决浏览器兼容问题

" class="no-js ie6"> " class="no-js ie7"> " class="no-js ie8"> " class="no-js ie9"> " class="no-js">

2015-07-14 11:43:37 608

kamereon的博客