stephen9527-CSDN博客

转载 nginx-tomcat-redis共享session

原文地址：http://www.cnblogs.com/lengfo/p/4260363.html1、从 github 获取 tomcat-redis-session-manager-master 源码，地址如下：https://github.com/jcoleman/tomcat-redis-session-manager 2、由于源码构建基于 gradle，请先配置 gradle 环境：配置g

2017-11-12 12:36:25 301

原创 spark环境搭建--Standalone模式

spark本身不存储数据，数据的存储和读取依赖的HDFS，因此开始可以先安装HDFS；下载spark和scala的安装压缩文件：tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C apptar -zxvf scala-2.10.6.tgz -C app修改配置文件:/etc/profileSCALA_HOME=/home/hadoop/app/

2017-03-15 20:52:03 360

原创第一个MapReduce程序

要编写一个mapreduce程序就需要编写一个map程序和一个reduce程序，一个WordCount示例：/* 编写map程序需要继承Mapper类，Mapper类有四个泛型参数，第一个表示的是输入数据的key的类型，第二参数为输入value的类型，第三个参数为输出数据的key的类型，第四个参数为输出数据的value的类型；通常是在map程序中读取文件，第一个参数默认情况下都是Long

2017-03-12 22:42:54 337

原创 centos6.5Redis安装

下载redis 2.8.7压缩文件http://download.redis.io/redis-stable.tar.gz1.解压安装文件[root@hadoop01 redis-stable]# tar -zxvf redis-stable.tar.gz -C /usr/local/2.进入到压缩目录[root@hadoop01 redis-stable]# make[roo

2017-03-12 16:31:15 318

原创 centos6.5安装mysql5.7.x版本

1.检查是否已经安装过相关服务rpm -qa | grep -i mysql2.如果已经安装过，则先卸载之前的rpm -e --nodeps xxxx3.解压安装压缩包tar -zxvf mysql-5.7.11-1.el6.x86_64.rpm-bundle.tar4.安装rpm -ivh mysql-community-server-5.7.11-1.el6.x86

2017-03-12 15:52:25 530

原创 storm分布式实时计算框架搭建

在storm集群中，有两类节点，主节点和工作节点，主节点运行着一个叫做Nimbus的守护进程，这个守护进程负责在集群中的分发代码，为工作节点分配任务，并监控故障。工作节点运行着叫supervisor的守护进程，一个storm拓扑结构在不同的机器上运行着众多的工作节点；1.安装前必须确保已经安装了zookeeper集群2.解压安装包tar -zxvf apache-storm-0.9

2017-03-12 14:01:49 780

原创 kafka环境搭建

1.解压文件tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/2.修改配置文件server.properties#每台服务器设置一个不同的id，每一台服务器的broker.id必须不一样，在集群中保持唯一 vi /home/hadoop/app/kafka_2.10-0.8.1.1/config/server.properties

2017-03-12 12:48:46 267

原创 Hbase安装

在安装hbase之前需要先选择hbase版本，不同的hbase版本可能支持的hadoop的版本不同，这里使用的是hbase-0.96.2-hadoop2版本。另外还需要同步各台主机的时间，否则可能刚启动好master就死掉；1.同步各台主机之间的时间：这里说下使用NTP(network time protocol)同步时间，选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动

2017-03-12 11:56:40 189

原创 zookeeper集群环境搭建

zookeeper的集群的环境搭建

2017-03-12 11:27:25 403

原创 hadoop伪分布式环境搭建

主要是将之前学习hadoop的时候的一些东西做简单的整理，这里主要是记录hadoop2.4.1伪分布式的简单安装过程

2017-03-12 08:53:19 179

restful接口测试工具

这个一个用于测试restful接口的一个工具，可以通过这个工具测试不同的提交方法，比如get/post/put/delete等等。

2017-04-23

hadoop权威指南（第二版）

第一章强调为什么需要hadoop，然后概述项目发展历史，第二章简要介绍MapReduce

2016-06-11

Hadoop技术内幕：深入解析YARN架构设计与实现原理.pdf

第一部分为基础篇（第 1 ～ 2 章），简单地介绍 Hadoop YARN 的环境搭建和基本设计架构，帮助读者了解一些基础背景知识。　 V 第二部分为 YARN 核心设计篇（第 3 ～ 7 章），着重讲解 YARN 基本库、应用程序设计方法和运行时环境的实现，包括 ResourceManager、NodeManager 和资源调度器等关键组件的内部实现细节。第三部分为计算框架篇（第 8 ～ 10 章），主要讲解当前比较流行的可运行在 YARN 上的计算框架，包括离线计算框架 MapReduce、DAG 计算框架 Tez、实时计算框架 Storm 和内存计算框架 Spark。第四部分为高级篇（第 11 ～ 13 章），主要介绍了几个类似于 Hadoop YARN 的开源资源管理系统，包括 Corona、Mesos 等，并总结了资源管理系统的特点及发展趋势。

2016-06-11