- 博客(11)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Docker下配置阿里云镜像加速
摘要：在使用docker下载镜像时，在国内使用官方的Docker registry下载时速度很慢，庆幸国内还有镜像加速服务。目前支持Docker镜像的有阿里云和DaoCloud两家。本文将详细讲解镜像服务的具体配置方法。docker使用阿里云镜像库加速注册阿里云开发者帐号帐号https://cr.console.aliyun.com/登陆后取
2016-12-06 16:13:51
5140
原创 Cloudera Manager最新版5.13.0安装方式总结
今天准备在Cloudera公司的网站上查找一下有关ClouderaManager有关的安装方式，官网网址：https://www.cloudera.com/，突然发现网站最底层有个语言选项，竟然有中文，果断转换成中文，看着舒服多了，中文官网网址：http://cn.cloudera.com/。只是主页支持了中文，但是里面的文档其实还是英文版的，只好慢慢啃吧。输入网址：https://ww
2017-12-29 11:22:23
1742
原创 公司生产环境RHEL6.4下的Cloudera环境搭建详解
1 准备安装介质1.1 底层服务器服务器比较多，有HP，DELL，IBM多家服务器。1.2 虚拟化选用vmsphere的虚拟化1.3 操作系统选用Redhat Enterprise Linux 6.4作为操作系统，下载地址：http://www.redhat.com1.4 Java开发与运行环境选用Oracle jdk1.7.0_55作为JAVA开发与
2017-12-17 15:59:04
2008
原创 大数据平台的选择
接触大数据已经有将近3个年头了，从最开始的Apache系列开源开始研究学习，到后来接触过华为的大数据平台，但是华为的大数据平台是收费的，所以最终选择了免费的CDH集群，周末没事突然想对比一下市面上的大数据平台。 目前Hadoop有不少发行版：华为发行版 收费 、Intel发行版 收费 、Cloudera发行版（Cloudera’sDistribution Including A
2017-12-17 13:47:55
6182
1
原创 最新gitlab在CentOs7.3中的安装
最近需要构架容器管理平台，里面有个DevOps功能，准备用git版本进行管理，经过调研准备用gitlab开源的软件进行管理。记录了自己在虚拟机中的安装过程。 1. 安装依赖软件并设置开机启动yum install curlpolicycoreutils openssh-server openssh-clientssystemctl enablesshd systemctl st
2017-12-16 19:15:32
1377
原创 04-Kafka Broker启动脚本及对应源码解析
我们已经在IDEA集成工具中导入了Kafka源代码，现在我们先从应用角度去分析一下Kafka启动的过程。 最近因为工作原因要对Kafka源码进行二次开发,所以就开始着手源码的学习。1.首先我们先看一下kafka-server-start.sh脚本 kafka在启动的过程中我们会用到%KAFKA_HOME%下的bin目录下的kafka-server-start.sh../conf
2017-07-28 16:12:43
1100
1
原创 03-eclipse创建maven项目进行Kafka Producer的测试
前面已经部署好了Kafka集群并且在利用kafka集群提供的脚本测试通过，下面要进入Java开发环境搭建。一、环境描述 1、server2008下 eclipse（kepler） 2、本机建立了虚拟机系统： redhat 6.4 ip：192.168.5.130,192.168.5.132,192.168.5.133
2017-07-27 15:28:27
1799
原创 02-kafka环境搭建及测试
集群的搭建，首先我们准备了3台虚拟机，在虚拟机中配置好了基础的环境，如Java，scala等配置。如下#java setJAVA_HOME=/opt/jdk1.7.0_79JRE_HOME=$JAVA_HOME/jrePATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.j
2017-07-27 15:02:12
407
原创 01-Kafka源码编译阅读环境搭建
开发环境： Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访
2017-07-27 13:58:28
694
原创 IDEA构建Alluxio最新源码阅读环境
1.本教程主要讲解的是在IDEA中构建Alluxio最新的源码阅读环境，本文构建的是Alluxio的Branches Master。如下图2.利用Git工具获取GitHub远程的源代码操作如下。3.利用Git工具下载后的源码如下。4.打开IDEA工具，开始加载源码。注意点：以为Alluxio项目是Maven为管理工具，在加载
2016-12-22 13:27:30
922
原创 Alluxio1.3.0源码编译
最近研究有关Alluxio的有关信息，首先我们从Alluxio的远代码出手，直接利用工具去编译源码，这样以后可以更好的二次开发。1.环境Hadoop 2.6.0Spark 1.6.0Java 1.7RHEL6.4Maven工具 3.3.9 2.下载： wget https://github.com/Alluxio/alluxio/archive/
2016-12-22 09:58:36
1103
window系统下开发hadoop2.2出现报错
2015-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人