qq_48395735-CSDN博客

原创 Hive练习

Hive50道练习题一、建库建表，插入数据– 建库create database if not exists test;use test;– 建表– 课程表create table if not exists course(course_id int,course_name string,teacher_id int);– 分数表create table if not exists score(student_id int,course_id int,score int);– 学生表c

2020-07-20 19:10:45 497

原创 MapReduce工作流程详解

MapReduce整个工作流程图示：1、文件读取（1）文件读取默认调用InputFormat，而其中有两个方法：getSplits()和createRecordReader()（2）getSplits()是对输入目录的文件进行分片得到splis，有多少个split就对应启动多少个MapTask（3）createRecordReader()是对split文件读取，将每个splie解析成records, 再依次将record解析成<Key,Values>，（Key表示每行首字符偏移值，va

2020-07-09 21:28:32 770

原创 MapReduce案例二：流量统计（序列化操作）

在开发中往往常用的基本序列化类型，不能满足所有需求，比如在hadoop框架内部传递一个bean对象，那么该对象需要实现序列化接口具体实现对象序列化步骤如下7步：1、必须实现Writable接口2、反序列化时，需要反射调用无参构造，所有必须有无参构造3重新序列化方法4、重写反序列化方法5、反序列化的顺序和序列化的顺序安全一致6、要把结果显示在文件中，需重写toString()方法7、如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框架中的

2020-07-04 14:31:08 311

原创 MapReduce实例一：单词统计

要求：给定一个文件，统计文本中单词出现的次数用户编写的程序分为三个部分：Mapper、Reduce和Driver·1、Mapper阶段package cn.kgc.map;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;imp

2020-07-02 19:32:25 715

原创 MapReduce详解-基础入门

MapReduce的设计思路分而治之：简化并计算的编程模式，不需要考虑集群之间的数据交互，只需要注重我们的业务逻辑构建抽象模型：Map和Reduce开发人员专注于实现Mapper和ReduceMapReduce特点

2020-07-02 19:26:45 382

原创使用Java实现HDFS文件读写

1、HDFS读文件2、HDFS写文件3、实例操作3.1新建Mawen工程3.2在pom.xml中将标签中内容替换为以下代码，静待依赖包下载完毕<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version>

2020-06-30 21:36:05 8718

原创使用IDEA搭建Maven开发环境

使用IDEA搭建Maven开发环境1、文件准备链接：https://pan.baidu.com/s/155nkYLYhsV9nhIbmDRMPZA提取码：1bpq以上资源已修改完毕2、新建–>project3、点击Maven4、勾选Create from aechetype5、选择Maven-achetype-quickstart（勾选后输入quickstrat）6、next7、Groupld：输入包名8、Artifatld：输入文件名8、选择路径9、next10、

2020-06-30 19:11:55 245

原创 HDFS分布式文件系统

HDFS分布式文件系统1、HDFS产生背景当今社会处在大数据的时代，各行各业产生海量数据，随着数据量越来越大，使用单台机器已无法处理这些海量数据，因此需要一种系统来存储当代大数据下产生的海量数据，于是分布式文件系统就诞生了。2、分布式文件系统概叙**分布式文件系统：**文件系统管理的资源不一定直接连接在本地节点上，把数据分布存储到各个独立的机器上（多台机器共同协作），通过网络来访问文件，而用户和程序看起来却像是在访问本体文件系统一样。3、HDFS优缺

2020-06-30 18:36:37 141

原创 Hadoop安装教程详解

使用VirtualBox安装Hadoop安装详解一、前言1、本文使用VirtualBox安装Hadoop，前期的centos7的配置请看：https://blog.csdn.net/qq_48395735/article/details/106816891（按照博客做完第三步：使用moba连接虚拟机即可）二、准备相关安装包下载：链接：https://pan.baidu.com/s/1MOa9GqINlZF4avz0nVyGPg提取码：w8uh三、安装Hadoop1、导入安装包、讲安装包拖入s

2020-06-26 22:36:17 371

原创 ELK集群的搭建详解

使用VirtualBox、Moba对ELK集群的搭建一、复制虚拟机1、找到装好的虚拟机elk002，右键复制，选择专家模式，选择完全复制、当前虚拟电脑状态（M），勾选重新初始化所有网卡的MAC地址（R）、点击复制该虚拟机命名elk0032、继续上个操作，重新复制一个虚拟机命名elk0043、打开elk002、elk003，elk004二、修改主机名和主机列表1、修改网络地址（1）输入：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 （3个窗口全

2020-06-21 23:50:06 419

原创 ElasticSearch安装详解

ELK的安装配置一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备（elk安装包版本要求一直）链接：https://pan.baidu.com/s/1CpiisRtbG8IQ9fT7T2PUUA提取码：uzk3ps:以上资源如有需要，请自取三、安装虚拟机VirtualBox，及linux环境安装、配置网关、使用Moba连接以上操作，如有不清楚的，请看我之

2020-06-21 20:36:19 312

原创 npm ERR! code ELIFECYCLE npm ERR! errno 3/errno99 Head-master启动报错

Head-master启动报错1、以上报错大概率都是下载时丢包，所以无法启动2、输入：npm install grunt --save-dev3、如果启动成功，那么恭喜你，如果报以下错误：4、输入：npm install grunt-contrib-clean grunt-contrib-concat grunt-contrib-watch grunt-contrib-connect grunt-contrib-copy grunt-contrib-jasmine5、重新启动：npm ru

2020-06-21 20:23:03 1653 1

原创 ERROR: [1] bootstrap checks failed，ERROR No log4j2 configuration file found

在ES配置时这两个错误很常见，有时在文件中明明已经按要求修改了，却还是报错，你可能只是忘记加空格了1、ERROR: [1] bootstrap checks failed排查很久才找到原因，排查步骤如下：1、输入命令：vi /etc/security/limits.conf，按shfit+g进入最底端，看如图4个指令是否有配置，如果没有，请修改添加，添加完毕后重写登录用户，再次执行ElasticSearch启动命令ps：输入时切记*后面有一个空格，如果不输入空格也会报此错误* soft nof

2020-06-18 23:41:37 634

原创 Linux安装详解

一、安装虚拟linux操作系统前言ps：通过VirtualBox安装虚拟Linux系统，连接MobaXterm进行操作1、安装前先介绍一下什么时虚拟机？（个人理解）通过一个软件，使用软件模拟出一个虚拟完整的计算机系统，可以充当现实电脑来进行一系列操作。本次我们使用的是VirtualBox2、请确认你的电脑的操作系统是多少位的，本人的是64位，所以相关文档都64位操作系统的前期准备：VirtualBox安装包，链接：链接：https://pan.baidu.com/s/1-AV99LpsUHc

2020-06-18 18:21:55 211

原创 Linux常用快捷键详解

Linux常用命令（cenOS7）一、目录操作二、文件内容操作三、vi编辑器四、用户管理五、用户管理六、用户管理七、解压文件一、目录操作1、结构：'/'系统根目录，~当前用户家目录，其他普通目录2、cd 切换目录：用于切换当前的工作目录的路径 cd 目录绝对路径，相对路径(../返回上一级) 代码实现: 使用绝对路径切换到/home/abc:#cd /home/abc 在/home/abc下,需要切换到/usr/src:#cd ../../usr/srcps:关于路.

2020-06-17 00:14:06 413

原创图书管理系统

图书管理系统使用Sql+Mybatis创建一个图书管理系统，要求如下：图书管理系统一、Sql建表，插入数据 #创建图书表CREATE TABLE IF NOT EXISTS books(book_id INT(10) PRIMARY KEY AUTO_INCREMENT,book_name VARCHAR(20),price DOUBLE(10,2),store INT(10),book_type INT(10)) #插入数据INSERT INTO books VALUES(1,"

2020-06-15 23:24:02 520 1

qq_48395735的博客