- 博客(44)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)
CDH集群部署1.1原生Hadoop的问题版本管理过于混乱 部署过程较为繁琐,升级难度较大 兼容性差 安全性低1.2CDH和CM(ClouderaManager)CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可以直接用于生产环境。就是Hadoop等大数据安装包的第三方版本的集合，提供了Hadoop等大数据服..
2020-10-11 09:22:19
8483
21
原创 Ambari2.7+HDP3.0安装(基于Centos7)
1.Ambari简介Apache Ambari项目旨在通过开发用于配置，管理和监视Apache Hadoop集群的软件来简化Hadoop管理。Ambari通过其RESTful API提供了直观，易于使用的Hadoop管理Web UI。Ambari使系统管理员可以：设置Hadoop集群Ambari提供了用于在任意数量的主机上安装Hadoop服务的分步向导。Ambari处理群集的Hadoop服务的配置。管理Hadoop集群Ambari提供了用于在整个集群中启动，停止和重新配置Hado
2020-10-10 14:21:00
7548
20
原创 PTA(浙大版《C语言程序设计（第3版）》题目集
PTA(浙大版《C语言程序设计（第3版）》题目集学习C语言程序设计的PTA题目目录PTA(浙大版《C语言程序设计（第3版）》题目集PTA(浙大版《C语言程序设计（第3版）》题目集) 习题2-1 求整数均值 (10 分)输入格式:输出格式:输入样例:输出样例:解题代码PTA(浙大版《C语言程序设计（第3版）》题目集) 习题2-2 阶梯电价 (15 分)输入格式:输出格式:输入样例1:输出样例1:输入样例2:输出样例2:解题代码PTA(浙大版《C语言程序设计（第3版）》题目集) 习题2-3 求平方与倒数
2024-01-14 16:13:15
1077
原创 Spark读取ES报错EsHadoopInvalidRequest The number of slices [1632] is too large
较大的切片数可能会增加搜索操作的负载和资源消耗。是 Elasticsearch 中的一个设置，用于控制每次滚动搜索操作的切片数。指定数量为 2048，这种方式只需要修改读取索引的设置即可，不用重启服务，并且读取完毕之后可以将该参数值改回默认的 1024。当执行滚动搜索时，Elasticsearch 将结果切分为多个切片（slices），每个切片处理一部分数据。最近需要将ES指定索引中的数据使用Spark读取，进行简单处理后写入HBase，使用了如下依赖。设置决定了每次滚动搜索操作中可以使用的最大切片数。
2023-07-11 18:17:26
193
原创 数据爬取概念以及Java和Python语言实现
本文简单介绍了爬虫的基本原理，Java和Python两种语言实现网页爬虫的方式。随着现在互联网环境越来越规范，爬虫也成为了高危操作，对数据爬取者本身来说，如果对爬取的目标网站造成危害，就可能要承担相应的法律责任，对于被爬取网站来说，会造成服务器的负载过大，影响自身业务系统。
2023-05-24 21:20:27
871
原创 hadoop2.7.5分布式集群安装
三台虚拟机192.168.79.132 master192.168.79.133 slave1192.168.79.134 slave21.修改主机名 hostnamectl set-hostname (name)2.配置主机的映射(每台都要设...
2023-05-16 20:05:09
702
1
原创 zookeeper3.4.9安装
1.环境准备安装jdk www.baidu.com(输入正确的关键词) 3台虚拟机 vi /etc/hosts 在文件末尾加入192.168.1.4 slave1192.168.1.5 slave2192.168.1.6 slave3 关闭防火墙(不关闭会导致zookeeper无法通信) systemctl stop firewall...
2023-05-16 20:04:59
3574
1
原创 Python学习-Python简介以及开发环境
Python学习-Python简介以及开发环境1. 什么是Python2. Python的特点2.1 优点2.2 缺点3.应用领域4.开发环境搭建4.1 Python的版本4.2 Anaconda简介4.3 Anaconda下载以及安装4.3.1下载4.3.2安装5.第一个Python程序5.1 交互式运行5.2 非交互式运行6. Python IDE6.1基本配置6.2 Spyder运行hello world首先上图，左边是Python之父龟叔，右边是Java之父高司令，大家自行体会1. 什么是Py
2023-05-16 20:04:38
487
1
原创 Python基础语法与数据类型
Python基础语法与数据类型1. 基础语法1.1 编码1.2 标识符1.3 注释1.4 行结束与缩进1.5 多行语句2. 数据类型2.1变量的定义2.2 运算符2.2.1 赋值运算符2.2.2 算术运算符2.2.3 比较运算符2.2.4 逻辑运算符2.2.5 成员运算符2.2.6 身份运算符2.3 数字类型(Number)2.3.1 数值类型的类型转换2.4 布尔类型(bool)2.5 字符串类型(String)2.6 列表类型(list)2.7 元组类型(tuple)2.8 字典类型(dict)小结1
2023-05-16 20:03:00
206
原创 Redis基础以及JavaAPI
本文简单介绍了NoSQL数据库以及Redis的基本概念，Windows以及Linux下Redis的安装，如何使用Java操作Redis的各种数据类型，以及MySQL数据库如何同步到Redis。
2023-05-15 22:17:40
295
原创 JVM内存模型
JVM内存模型1.JVM(Java Virtual Machine)JVM(Java虚拟机)本质上就是一个程序，当它在命令行上启动的时候，就开始执行保存在某字节码文件中的指令。Java语言的可移植性正是建立在Java虚拟机的基础上。任何平台只要装有针对于该平台的Java虚拟机，字节码文件（.class）就可以在该平台上运行。这就是一次编译，多次运行。引入Java语言虚拟机后，Java语言在不同平台上运行时不需要重新编译。Java语言使用Java虚拟机屏蔽了与具体平台相关的信息，使得Java语言编译程序
2021-10-06 15:41:04
247
原创 Java Graphics绘制表格和直方图
Java Graphics绘制表格和直方图最近有一个需求是使用Java的swing中Graphics绘制表格和直方图，感觉还是有点意思记录一下，先上图。 开始感觉有点复杂，其实和自己在Windows的画图工具中操作差不多，只不过要使用代码实现。主要用到了Java中的swing库中的JPanel，也就是画板类，根据API文档即可作图。Jpanel需要使用一个类继承Jpanel，然后重载paintComponent方法，使用提供Graphics对象来进行图形的绘制。Graphics对象的方法
2021-09-09 23:30:14
1813
原创 PySpark（Spark3.0）
PySpark（Spark3.0）PySpark简单来说就是Spark提供的Python编程API，包括交互式的PySpark shell和非交互式的Python程序。1.环境Spark3.0Hadooop3.2Centos7Python3.6.8PycharmWindos10其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明前提 Spark3.0的集群已经搭建完毕，本文使用的是Standalone模式的集群 Hadoop3.2分布式集群
2021-04-22 19:26:03
3665
2
原创 基本概念
基本概念1.定义数据结构是数据对象，以及存在于该对象的实例和组成实例的数据元素之间的各种联系。这些联系可以通过定义相关的函数来给出。数据结构是ADT(Abstract Data Type)抽象数据类型的物理实现。数据结构是计算机中存储、组织数据的方式。通常情况下，精心选择的数据结构可以带来最优效率的算法。2.例子书架放书主要考虑新书插入和书籍查找问题随便放 利于插入 不利于查找顺序放 利于查找 不利于插入整数1-N打印循环实现与递归实现循环实现对空间要求小，递归实现对栈的
2021-04-15 12:45:38
81
原创 Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）
Cloudera公司的CDH与HDP均无法下载问题1.问题描述2.解决方法1.问题描述最近想下载CDH的相关安装包，发现需要输入用户名和密码然而输入cloudera账号之后，会出现如下提示[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MlPFvg2F-1614908210620)(C:%5CUsers%5Ckiller%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-2021030509293386
2021-03-05 09:39:40
6760
24
原创 MySQL5.7主从复制(CentOS7)
MySQL5.7主从复制1.什么是主从复制2.主从复制原理3.主从复制的好处4.MySQL主从复制形式4.1一主一从4.2主主复制4.3一主多从4.4多主一从4.5联级复制5.MySQL主从复制集群部署5.1安装环境5.2基本配置5.3安装MySQL5.75.4MySQL主从配置5.5创建数据库5.5设置数据库的访问权限5.6设置主从关系5.7验证注意事项1.什么是主从复制MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节
2021-03-01 16:50:13
204
原创 Java加密和解密
Java加密和解密1.使用异或进行加密和解密操作2.Base64进行加密和解密3.使用MD5和sha256进行加密和解密1.使用异或进行加密和解密操作 对于一个二进制数和同一个二进制数进行异或操作两次就会得到原来的数a 97 0110 0001b 1 0000 0001第一次 0110 0001 0000 0001加密完成 0110 0000 0000 0001解密完成 0110 0001public static String xor(String base){.
2021-03-01 16:45:06
308
原创 数据结构与算法基础（Java）
数据结构与算法基础（Java）文章目录数据结构与算法基础（Java）1.数据结构1.1存储结构1.2逻辑存储2.算法2.1特性2.2基本要求3.线性结构3.1数组3.1.1数组的基本使用3.1.2数组元素的添加3.1.3数组元素的删除3.1.4面向对象的数组3.1.5线性查找3.1.6数组的二分法查找3.2栈3.3队列3.4单链表3.4.1删除单链表节点3.4.2单链表节点插入3.5循环链表3.6双向循环链表4.递归4.1斐波纳切数列4.2汉诺塔5.排序算法5.1时间复杂度5.2交换排序5.2.1数组冒泡
2021-02-24 21:34:15
487
原创 Hadoop高可用（Hadoop2.x）
Hadoop高可用（Hadoop2.x）目录Hadoop高可用（Hadoop2.x）1.什么是高可用2.Hadoop集群存在的问题3.单点故障3.1HDFS的单点故障3.2NameNode的内存受限的问题3.3Yarn的单点故障4.Hadoop的高可用5. Hadoop HA架构搭建5.1基本环境配置5.2安装Zookeeper5.3安装Hadoop5.4测试6.NameNode的联邦机制联邦的好处1.什么是高可用高可用性HA（High
2021-02-19 09:38:24
1958
原创 HBase部署踩坑
1.HMaster自动挂掉版本如下HBase2.0.6Hadoop3.1.1HBase启动后不久，HMaster进程自动挂掉，查看HBase的日志发现如下问题cat /opt/hbase-2.0.6/logs/hbase-root-master-node-1.log Hbase需要底层文件系统支持hsync功能，但是底层文件系统不支持hsync功能。之前Hadoop2.x就没有这样的问题，可能是Hadoop的版本过高导致的问题，修改hbase-site.xml文件配置，即可解决。vi
2021-02-01 21:32:46
169
原创 Spark被端口占用 Address already in use: bind: Service ‘SparkUI‘ failed after 16 retries
环境如下win10IDEA2020.3spark2.4.4在Windows上调试Spark程序时出现如下错误:Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态，启动Web程序就需要监听一个端口，默认为4040，这个好像是端口被占用了，spark就会依次重试16,将端口号依次加1，如果重试16次之后依然被占用，就会抛出异常。解决方法需要配置端口被占用之后的重试次数，代码如下spark.port.maxRetries=100val spar
2021-01-09 22:20:53
1973
原创 SpringBoot+SpringBootJPA+Thymeleaf实现基本CURD+分页
1.环境准备JDK1.8Maven3.6.0SQLServer 2008R2IDEA2020.12.数据库准备-- 建库CREATE DATABASE school;-- 使用库USE school;-- 建表create table student(sno varchar(9) not null, sage int, sdept varchar(20), sname varchar(20) not null, ssex varchar(2), primary key
2020-12-22 13:18:02
682
原创 Spark2.4.7(Standalone)搭建
Spark2.4.7(Standalone)搭建1.虚拟机环境主机名IP内存磁盘CPU系统hadoop1192.168.56.772G40G1Centos7hadoop2192.168.56.882G40G1Centos7hadoop3192.168.56.992G40G1Centos72.下载安装包使用中科大的开源软件镜像站，https://mirrors.ustc.edu.cn/apache/spark/spark-2.4
2020-12-07 10:54:08
940
1
原创 zookeeper3.5.8分布式搭建
1.虚拟机环境主机名IP内存磁盘CPUhadoop1192.168.56.772G40G1hadoop2192.168.56.882G40G1hadoop3192.168.56.992G40G12.下载安装包https://mirrors.ustc.edu.cn/apache/zookeeper/zookeeper-3.5.8/使用的是中国科学技术大学的开源软件镜像站3.安装zookeeper特别注意:安装zookeeper的机
2020-11-26 19:42:29
449
原创 SQLServer2008R2安装(Win10)
1.下载SQL Server是微软的产品，国外的网站访问比较慢，并且也是收费软件，因此选择下载国内的绿色版本，仅供学习交流使用，本下载连接为系统之家下载连接:http://soft.xitongxz.net/202005/Sqlserver2008r2_XiTongZhiJia.zip这个版本为64位版本注意，本文使用操作系统为win102.解压本文使用的解压软件为Bandzip，只用解压图中选中的文件SQLEXPRADV_x64_CHS.exe3.安装3.1以管理员的方式运行安装程序
2020-11-17 19:59:07
1346
原创 Hadoop学习---(HDFS Java客户端API基本使用)
1.开发环境 Win10+IDEA2019.2+JDK1.8+Maven2.maven依赖 <!-- hadoop-client Hadoop客户端maven依赖 注意版本--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>
2020-11-13 10:49:33
232
原创 Hadoop学习---(Hadoop2.7.3分布式安装)
1.虚拟机环境 本文基于centos7,使用virtual box + vagrant快速建立三台虚拟机,配置如下:主机名内存硬盘IPhadoop14G40G192.168.56.77hadoop22G40G192.168.56.88hadoop32G40G192.168.56.99注意:在virtual box中如果想让虚拟机连接外网,需要添加一块为NAT或者桥接的网卡2.基本配置2.1配置主机名# hadoop1hostnamec
2020-11-12 15:24:03
638
原创 Docker配置阿里云镜像加速器
docker修改为阿里镜像仓库 由于docker的默认镜像仓库为国外服务器，这样就导致访问速度过慢，在下载镜像的时候会非常浪费时间，这就需要配置国内的镜像仓库，解决镜像下载过慢的问题，这里我选择的是阿里的镜像加速仓库。PS:需要注册阿里云账号，阿里云的镜像加速服务是免费的，懂的都懂1.获取镜像加速器的链接 登录阿里云之后，进入控制台这样就可获取到镜像加速器了的链接了，阿里云会为每一个用户分配一个不同的镜像加速器2.配置镜像加速器 我使用的操作系统是Centos7，在安装docke
2020-09-20 09:44:44
904
原创 Docker 安装(使用阿里源)
Docker 安装(使用阿里源) 注意:本安装教程基于CentOS71.安装依赖yum install -y yum-utils device-mapper-persistent-data lvm2其中除了yum-utils是添加yum源需要的，其它的都是docker依赖的2.添加yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3.安装dock
2020-09-20 09:10:24
2026
原创 SSM整合
SSM整合环境说明基本环境如下： JDK1.8 MySQL5.6 Tomcat8.5 Idea2020.1Spring5+Mybatis3+SpringMVC51.数据库建库建表-- 建库create database if not exists ssm default character set = 'utf8';-- 建表CREATE TABLE if not exists `emp` ( `id` int(11) NOT NULL AUT
2020-05-30 22:03:59
272
原创 CentOS7安装MySQL5.7
CentOS7安装MySQL5.71.MySQL下载MySQL的官网提供YUM安装方式比较慢，所以本次安装采用rpm的形式安装。首先需要下载MySQL的rpm安装包。下载地址:https://dev.mysql.com/downloads/mysql/选择合适的版本，下载相应的rpm包，需要下载common、libs、client、server这四个就可以了。2.安装2.1上传安装包将下载好的rpm包使用sftp工具上传到服务器，在CRT中可以使用ALT + P打开SFTP工具默认是上传到
2020-05-21 09:25:47
1058
1
原创 Linux的PATH环境变量缓存问题
1.问题引入最近开始使用Hadoop3.0,由于电脑的硬盘空间不是很多了，就直接在原来的虚拟机上安装，原来的虚拟机上已经安装了Hadoop2.9，也配置好了环境变量，把原来的环境变量修改成现在的路径的时候就出现了如下问题。修改了HADOOP_HOME为/opt/hadoop-3.2.1，并且source了/etc/profile文件,但是在使用Hadoop命令的时候发现Hadoop命令还...
2020-05-03 11:09:27
1097
原创 Java连接数据库的配置(附带jar包)
1.关系型数据库 Oracle url = jdbc:oracle:thin:@ip(host):1521(port):orcl(instance) driver = oracle.jdbc.OracleDriver user = scott password = password MySQL url = jdbc:m...
2019-04-09 22:29:00
2406
原创 Java-IO(字节流和字符流的转换)
在使用java的io流的时候，可能会出现把字节流转换成字符流或者把字节流转换成字符流，这个时候就需要对两种不同的流进行转换。1.具体的类 InputStreamReader 是字节流通向字符流的桥梁 BufferedReader in = new BufferedReader(new InputStreamReader(System.in)); Out...
2018-08-18 15:04:50
21468
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人