ITjob1102-CSDN博客

原创 hadoop+hive+hbase+spark分析美团外卖数据

一、环境要求Hadoop+Hive+Spark+HBase 开发环境。start-all.shstart-hbase.shnohup hive --service metastore &hivecd .../sparksbin/start-all.sh二、提交结果要求1.必须提交源码或对应分析语句，如不提交则不得分。2.带有分析结果的功能，请分析结果的截图与代码一同提交。三、数据描述meituan_waimai_meishi.csv 是美团外卖平台的部分外卖 SPU（Sta

2020-10-13 18:47:48 1949 2

原创 Hadoop简易快速搭建（官网流程版）

环境准备一个纯净版的centos7 虚拟机，配置好静态ip，主机名，主机映射配置静态ipvi /etc/sysconfig/network-scripts/ifcfg-eno16777736 -----------------------------------------------------TYPE=EthernetBOOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DE

2020-06-30 20:12:17 286

原创 Hadoop生态系统及HDFS的上传下载

大数据特征Volume(大数据量)：90% 的数据是过去两年产生Velocity(速度快)：数据增长速度快，时效性高Variety(多样化)：数据种类和来源多样化结构化数据、半结构化数据、非结构化数据Value(价值密度低)：需挖掘获取数据价值固有特征时效性不可变性Hadoop是什么？Hadoop是一个开源分布式系统架构分布式文件系统HDFS——解决大数据存储分布式计算框架MapReduce——解决大数据计算分布式资源管理系统YARN–处理海量数据的架构首选–非常快得完成大数据

2020-06-30 19:54:40 142

原创 hadoop配置及集群的搭建

安装centos7.01.1 、配置VirtualBox1.2 centos环境配置关闭、禁用防火墙systemctl stop firewalldsystemctl disable firewalld配置网卡vi /etc/sysconfig/network-scripts/ifcfg-enp0s3修改ifcfg-enp0s3 BOOTPROTO=staticONBOOT=yesIPADDR=192.168.56.137ifcfg-enp0s8BO.

2020-06-28 17:00:46 152

原创 ELK集群搭建

一、复制虚拟机二、修改主机名和主机列表1．网络地址（1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址2．主机名（1）hostnamectl set-hostname test01（2）vi /etc/hostname 内容修改为test013．主机列表（1）vi /etc/hosts 内容增加主机的ip地址主机名三、配置免密登录1．ssh-keygen -t rsa -

2020-06-19 16:41:54 110

原创 ELK的安装配置

ELK的安装配置一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)下载：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x6

2020-06-18 20:21:25 119

原创 Linux解压下载安装命令

常用命令：tar、yum、rpm1、tar命令 tar命令解包：tar -zxvf xxx.tar.gz(-xvf xxx.tar) tar命令压包：tar -zcvf xxx xxx.tar.gz2、yum命令搜索命令：yum search命令下载并安装：yum install -y 应用名卸载：yum remove 应用名3、rpm命令：需要先有rpm包安装：rpm -ivh 安装包卸载：rpm -e 应用[--nodeps]

2020-06-17 19:20:20 4111

原创 Linux的常用命令及解释

linux常用命令一、目录操作1、结构：/ 系统根目录、~当前用户家目录、其他普通用户2、切换目录：cd 目录—绝对路径、相对路径（…/返回上一级）3、清屏：clear或ctrl+l4、查看当前所在目录：pwd5、查看当前目录下的内容：ls：-a -i -l6、文件夹操作：增：mkdir 目录路径删：rmdir改：mv 原路径新路径7、文件操作：增：touch文件路径删：rm 文件路径删库跑路必备技能：rm-rf改：mv复制：cp 原路径新路径二、文件内容操作1、

2020-06-16 17:09:46 863

原创基于Oracle VM VirtualBox的Linux系统的安装与配置

一.安装Linux系统1.安装Oracle VM VitualBox,准备好linu光盘镜像2.点击新建3.设置名称内存分配4G以上,系统选择64位4.文件夹位置选择固态,分配30G以上5.进入设置常规在高级里将共享粘贴板和拖放更改为双向系统主板启动顺序设置为光驱硬盘和网络,不要软驱存储分配光驱加载linux镜像网络启用网络1和网络2 网络1选择仅主机网络网卡2选择网络地址转换(NAT)6.启动Linux选择第一项直接安装设置时区,双网卡打开,自动分区begin ins

2020-06-16 17:07:12 649

原创 Mybatis实现图书管理模糊查询

技术概要：mybatis、单例、jsp、mysql…创建图书实体类Book创建dao层接口，接口中创建查询全部图书和根据条件查询的方法public interface BookMapper { List<Book> getBookList(Book book); List<Book> queryBook(Book book);}通过xml文件映射，实现数据库中数据的查询<?xml version="1.0" encoding="UTF-8" ?&g

2020-06-16 13:37:59 641

ITjob1102的博客