成神之路-CSDN博客

原创大数据之Spark

一、Spark（一）Kafka1.JMS 规范是什么（1）JMS 的基础 JMS 是什么：JMS 是 Java 提供的一套技术规范，即 Java 消息服务（Java Message Service）应用程序接口。是一个 Java 平台中关于面向消息中间件的 API。用于在两个应用程序之间或分布式系统中发送消息，进行异步通信。Java 消息服务是一个与具体平台无关的 API...

2018-09-17 22:40:47 2043

原创大数据之重点概念及原理

一、大数据(一)概念：指的是传统数据处理应用软件不足以处理(存储和计算)它们大而复杂的数据集。(二)数据级别： 1.MB:普通用户数据级别 2.PB:企业级数据级别 3.ZB:全球数据总量级别(三)特点：容量大，种类多，速度快，价值高(四)Hadoop 1.概念：Apache旗下的一套开源软件平台 2.功能：利...

2018-08-09 23:27:54 9055 5

原创大数据之java基础增强

一、集合框架： (一)集合框架五大类体系： 1.Collection(常用的List和Set，和不常用的Queue和Vector和Stack)，单元素集合 2.Map(常用的HashMap和TreeMap，不常用的HashTable)，Key-Value映射 3.Iterator(迭代器) 4.工具类(Collect...

2018-08-09 16:26:33 467

原创 Shell命令

Hive Shell命令一、DDL操作库操作进入客户端：hive创建普通库：create database dbname;创建库的时候检查存与否：create database if not exists mydb;创建库的时候带注释：create database if not exists dbname comment 'create my db named dbname...

2018-08-23 23:26:08 242

原创 Redis安装

一、Redis安装下载：下载地址：[https://redis.io]解压：tar -zxvf redis-3.2.6.tar.gz -C /home/hadoop/apps/执行命令：进入到Redis安装目录下： 1) 检测一下make是否安装：make -version 如果没有安装：sudo yum install -y make 2...

2018-08-15 17:30:52 155

原创 HBase集群搭建

一、HBase安装安装zookeeper集群见上一篇zookeeper集群搭建下载：找到官网下载 hbase 安装包下载地址：[http://mirrors.hust.edu.cn/apache/hbase/]解压： tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/hadoop/apps/修改配置文件：进入到Hbase安装目...

2018-08-14 20:47:20 232

原创 Zookeeper集群搭建

一、Zookeeper安装安装须知：鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台 1. 下载：下载地址：[http://mirrors.hust.edu.cn/apache/ZooKeeper/]解压：tar -zxvf ZooKeeper-3.4.7.tar.gz -C apps/修改配置文件：cd conf/mv ...

2018-08-14 17:18:21 173

原创 Azkaban安装部署实战

一、Azkaban安装部署下载：Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gzAzkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gzAzkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.gz下载地址:http://azkaban.gith...

2018-08-14 15:34:57 584

原创 Flume部署实战案例

一、Flume安装部署1. 安装配置1) 上传安装包到数据源所在节点上2) 解压：tar -zxvf 安装包3) 进入安装目录下的conf下 cp flume-env.sh.template flume-env.sh 修改flume-env.sh,配置JAVA_HOME4) 在flume安装路径下创建一个目录agentconf，在该目录下创建一个配置文件： ...

2018-08-14 13:10:32 767

原创 Hadoop集群搭建和配置

- 一、jdk安装和配置环境（一）Windows： 1.jdk安装 jdk工具来源：[http://www.oracle.com] JDK（java开发工具包）+ JRE（java运行环境） 2.jdk配置环境进入系统：高级系统设置---》环境变量---》系统变量---》新建---》环境变量配...

2018-08-13 10:10:44 356

原创 Sqoop 数据导入导出

导入 MySQL 数据到 HDFS1.普通导入sqoop import \--connect jdbc:mysql://hadoop02:3306/mysql \--username root \--password root \--table help_keyword \-m 12.指定分隔符和导入路径sqoop import \--connect jdbc:mysq...

2018-08-09 21:07:27 284

www.成神之路.csdn