qq_23229591-CSDN博客

原创 hadoop压缩工具比较

hadoop里支持许多压缩算法。压缩的好处主要有两点：1.减少了文件占用的存储空间，原来上T的文件可能压缩完以后只需要两三百G的空间即可；2.文件的体积小了以后，数据传输的速度自然就快了。在现在的大数据环境下，这两点显得更加重要。所以现在hdfs文件系统上存的文件，如果数据量大到一定程度，都需要经过压缩处理。hadoop上常用的压缩格式包括gzip，lzo，snappy，bzip2。以...

2019-10-15 14:44:43 156

原创 Kafka集群安装之普通安装和Docker方式安装

普通安装准备工作安装jdk上传jdk到linux中，并执行解压命令解压缩安装包tar -zxzf jdk1.8.0.tar.gz -C /opt/module添加环境变量vim /etc/profile #添加环境变量##JAVA_HOME##export JAVA_HOME=/opt/module/jdk1.8.0export PATH=$PATH...

2018-08-08 22:11:08 1160

原创 kafka简介

kafka是什么Apache Kafka 是一个开源消息系统，由scala写成。最初是由Linkedln公司开发，于2011年开源。Kafka是一个分布式消息队列 Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是pr...

2018-08-08 20:34:16 496

原创 HDFS文件系统介绍及简单API操作

HDFS文件系统HDFS概念概念HDFS是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它还是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有个字的角色。HDFS的设计适合一次写入，多次读取的场景，且不支持文件的修改。适合用来做数据分析，并不适合做网盘应用。组成HDFS集群包括，NameNode和DataNode以及Secondary N...

2018-07-30 21:23:35 546

原创 hadoop集群搭建之伪分布式和完全分布式

## Hadoop集群搭建一、软件及环境准备安装JDK查询是否安装jdk：rpm -qa }grep java如果安装版本小于1.7，卸载该版本rpm -e 软件包将上传好的jdk解压并配置环境变量tar -zxf jdk-8u131-linux-x64.tar.gz -C /opt/modulevim /etc/prof...

2018-07-30 21:18:55 3761

原创 CentOS 7 安装 mysql5.5

首先安装各种依赖环境 yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++yum -y install make bison-devel libaioyum install bison -yyum install perl-Da...

2018-06-22 11:58:37 191

原创 JPress 部署教程

环境：eclipse-jee-mars jdk-7u80-windows-x64 mysql-5.6.10 apache-maven-3.5.2 ApacheTomcat7 Jpress下载链接 https://github.com/JpressProjects/jpress alpha分支。（注：jdk版本使用1.7的不要用其他版本的，下面有些图片是第一次在1.8环境里面安装的有

2017-11-24 11:42:27 10451