- 博客(19)
- 收藏
- 关注
RSS订阅
原创 HADOOP生态圈简介
1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与s...
2020-04-18 19:32:59
461
原创 JDBC-MySQL-Tomcat 登录到主页
1.下载网页模板(我只是网页的搬运工，代码是自己写的——不喜勿喷)。最终效果： Tomcat—MySQL登录 登录页面链接：https://pan.baidu.com/s/1_X-2crExl3dyo_zxf0qLQA 提取码：AAAA 主页面链接：https://pan.baidu.com/s/1csUICPCm32WBNwib6wYGHA 提取码：BBBB m.
2021-03-04 20:03:13
383
3
原创 Spring Boot单元测试与热部署
一、编写单元测试类和测试方法。1.Demo01ApplicationTestspackage com.example.demo01;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.test.context.SpringBootTest;impo
2020-11-03 16:53:38
877
原创 Spring Boot入门程序
一、环境准备1、JDK spring Boot最稳定版本为2.1.3，因此需要要求JDK版本必须是JDK8以上2、项目构建工具 [Maven（3.3+）](https://www.runoob.com/maven/maven-setup.html)3、开发工具 Eclipse(推荐使用) IntelliJ IDEA----------------------本次使用二、使用Spring Initializr 方式构建Spring Boot项目1.创建Spring Bo
2020-11-03 15:32:31
131
原创 Spring Boot概述
Spring Boot 发展背景多年来，Spring 配置复杂性一直为人所诟病，Spring IO 子项目试图解决这一问题，但由于其主要侧重于解决继承方面的问题，因此 Spring 配置复杂性并没有得到本质的改观，如何实现简化 Spring 配置的呼声依旧高亢，直到 Spring Boot 的出翔。Spring Boot 可让开发人员不再需要编写复杂的 XML 配置文件，仅通过几行代码就能实现一个可运行的 Web 项目。Spring Boot 不是去再造一个“轮子”，它的“革命宣言”是为 Spring
2020-11-03 14:31:42
97
原创 flume监控本地文件并同步到hdfs进行数据查询与分析
总体要求利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。**前期准备**1、配置大数据需要的环境（1）配置Hadoop环境：可看博客：（2）配置zookeeper环境：https://blog.csdn.net/weixin_44701468/article/details/106822805（3）配置spark环境：（3）配置hive环境：（3）配置spark环境：2、下载
2020-07-16 00:09:36
572
转载 Sqoop-Flume资料整理
1.Sqoop - 数据迁移工具https://blog.csdn.net/howard2005/article/details/1042510662.初识日志收集系统Flumehttps://blog.csdn.net/howard2005/article/details/1042587343.Flume - 下载、安装与配置https://blog.csdn.net/howard2005/article/details/1042599824.Flume Sources（Flume源）
2020-06-24 12:28:42
88
转载 Hive资料整理
1.Hive - 下载、安装与配置https://blog.csdn.net/howard2005/article/details/1041043242.解决CentOS7上MySQL启动失败问题https://blog.csdn.net/howard2005/article/details/1041272043.Hive - 数据库与表操作https://blog.csdn.net/howard2005/article/details/1041306374.Hive - 内部表与外部表
2020-06-24 12:20:32
102
原创 软科中国最好大学排名------------Python爬虫
import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding ret...
2020-04-29 09:27:46
363
原创 9、数据采集系统Flume配置安装
Flume配置安装Flume是Cloudera提供的一个高可用的，高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume特点如下：Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中Flume可以将从多个服务器中获取的数...
2020-04-18 21:03:09
200
原创 8、Zookeeper分布式安装部署
4.1 分布式安装部署0）集群规划在hadoop2、hadoop3和hadoop4三个节点上部署Zookeeper。1）解压安装（1）解压zookeeper安装包到/opt/module/目录下[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/（2）在/opt/module/zo...
2020-04-18 19:26:47
103
原创 7、zookeeper本地模式安装部署
1、本地模式安装部署安装前准备：（1）安装jdk（2）通过filezilla工具拷贝zookeeper到到linux系统下（4）解压到指定目录[root@master software]$ tar -zxf zookeeper-3.4.10.tar.gz -C /opt/module/配置修改：（1）将/opt/module/zookeeper-3.4.10/conf这个路径下的z...
2020-04-18 19:20:44
131
原创 6、日志的聚集
日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上开启日志聚集功能步骤：（1）配置yarn-site.xml<-- 日志聚集功能使能 --><-property><-name>yarn.log-aggregation-enable<-/name><-value>true<-/value><-/p...
2020-04-18 19:12:22
129
原创 5、历史服务配置启动查看
历史服务配置启动查看先关闭防火墙----service firewalld stop1）配置mapred-site.xml<-property><-name>mapreduce.jobhistory.address<-/name><-value>master:10020<-/value><-/property>&...
2020-04-18 19:05:31
209
2
原创 4、YARN上运行MapReduce 程序
伪分布式运行Hadoop 案例YARN上运行MapReduce 程序1）分析：（1）准备1台客户机（2）安装jdk（3）配置环境变量（4）安装hadoop（5）配置环境变量（6）配置集群yarn上运行（7）启动、测试集群增、删、查（8）在yarn上执行wordcount案例2）执行步骤（1）配置集群（a）配置yarn-env.sh配置环境变量-----JAVA_HOME...
2020-04-18 18:47:54
244
原创 3、伪分布式运行Hadoop 案例
伪分布式运行Hadoop 案例3.2.1 HDFS上运行MapReduce 程序1）分析：（1）准备1台客户机（2）安装jdk（3）配置环境变量（4）安装hadoop（5）配置环境变量（6）配置集群（7）启动、测试集群增、删、查（8）在HDFS上执行wordcount案例2）执行步骤（1）配置集群（a）配置：vi /opt/module/hadoop-2.9.2/etc/...
2020-04-18 18:16:38
228
原创 2、本地文件运行Hadoop案例
官方wordcount案例1）创建在hadoop-2.9.2文件下面创建一个wcinput文件夹[wangxiaoyu@主机名 hadoop-2.9.2mkdirwcinput2）在wcinput文件下创建一个wc.input文件[wangxiaoyu@主机名hadoop−2.9.2mkdir wcinput2）在wcinput文件下创建一个wc.input文件[wangxiaoyu@主机...
2020-04-18 18:12:38
214
原创 1、Hadoop安装和配置
Hadoop配置安装1.修改为静态ip-------vi /etc/sysconfig/network-scripts/ifcfg-ens332.重启网卡-----------------service network restart3.修改主机名---------vi /etc/hostname4.修改IP对应关系-----------vi /etc/hosts5.修改window7的...
2020-04-18 18:08:06
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人