- 博客(22)
- 收藏
- 关注
RSS订阅原创 启动Hbase,HMaster消失了的解决方案
启动HBase的时候，发现HRegionServer起来了，HMaster没了解决方案：输入命令：zkCli.sh然后查看/ls /最重要的：rmr /hbase然后重启虚拟机结果：
2021-04-08 00:14:24
1377
1
原创 flume+tomcat日志收集
flume+tomcat日志收集目录flume+tomcat日志收集安装环境flume配置任务脚本配置执行flume任务执行后发现报错，原因一、org/apache/hadoop/io/SequenceFile$CompressionType安装环境新建一个虚拟机，克隆即可，安装jdk+tomcat[root@tm2 ]# tar -zxf apache-tomcat-8.5.
2021-03-22 19:51:32
449
原创 HIVE的数据倾斜
目录HIVE的数据倾斜什么是数据倾斜主要表现三级目录HIVE的数据倾斜什么是数据倾斜由于数据分布不均匀，造成大量的数据集中到一个分区里，造成数据热点主要表现三级目录
2021-03-02 23:22:29
229
原创 Spark-RDD
RDD概念学习spark已经第四天了，对RDD还是云里雾里。RDD是spark最重要的一部分，RDD的英文全名是Resilient Distributed Dataset就是 弹性 分布式 数据集弹性：优先考虑内存，内存不够自动去落盘RDD是一个不可变的分布式对象集合，每个RDD都被分成多个分区，这些分区运行在集群的不同节点上。这里我们就从spark的源码入手，一个RDD包含一下内容：A list of partitionsA function for computing each
2021-01-14 11:33:25
141
原创 Mysql 中文乱码 问题解决
目录问题Mysql中文错误异常问题Mysql中文错误mysql不允许插入中文的解决方法#进入mysql查看当前字符集信息show variables like 'char%';#如果出现以下信息，是不允许中文插入的原因character-set-database latin1character-set-server latin1#ctl+c退出mysql返回lunix#查找mysql配置文件路径find -name '*.cnf'#编辑配置文件vi /etc/my.cnf
2021-01-13 22:50:36
128
原创 Linux下的远程拷贝和远程命令
目录准备免密登录主机映射远程拷贝脚本测试远程命令脚本准备免密登录https://blog.csdn.net/Forest_sld/article/details/112545574#_38主机映射vi /etc/hosts远程拷贝脚本vi allsend.sh#!/bin/bashif [ $# -lt 2 ];then echo "please input 2 args : source and dest path" exit 0fi#SERS=“远程拷贝的主机名，可以是
2021-01-13 19:16:08
146
原创 虚拟机克隆
vi /etc/sysconfig/network-scripts/ifcfg-ens33vi /etc/hostssystemctl restart network
2021-01-13 12:07:49
133
原创 数仓准备-集群搭建(mysql和免密登录)
yum -y install wget.x86_64rpm -qa|grep mariabdwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm设置镜像开始安装启动mysql ，查状态修改密码授权先use mysqlupdate user set password=password('kb10') where user='root';grant all on *.* to root@'%' identi.
2021-01-13 11:46:16
201
原创 JDBC-＞HIVE/MySQL/Hbase
先在resource里添加dataresource.properties日志文件driver=org.apache.hive.jdbc.HiveDriverurl=jdbc:hive2://192.168.44.128:10000/defaultusername=root
2021-01-11 08:21:44
209
原创 Spark连接外部数据源
Spark连接外部数据源spark -> hivespark集成hiveIDEA连接hivespark -> hivespark集成hive将hive110/conf目录下的hive-site.xml复制到spark/conf目录下；cp /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark220/conf/将hive110/lib目录下的mysql-connector-java-
2021-01-11 08:21:07
271
原创 Hadoop-容错机制
目录一、HDFS副本机制二、Yarn容错机制Map/Reduce TaskAppMasterNodeManager三、zookeeper的高可用集一、HDFS副本机制文件上传HDFS默认是三个副本，当前节点一份，同一机架不同节点一份，不同机架任意节点一份，如果某一节点上传失败，那整个块都会上传失败，需重新启动该副本的上传文件下载下载失败可能因为副本丢失或者节点坏掉，会优先调用同一机架的另一个节点的数据备份，这样会减少数据开销二、Yarn容错机制Map/Reduce TaskAppMaster
2021-01-07 16:00:23
397
原创 Hadoop -Yarn
HADOOP -YARN一、 yarn的基本架构ResourceManagerNodeManagerApplicationMasterContainer二、job提交的全过程一、 yarn的基本架构ResourceManagerResourceManager:资源调度（全局管理），接受并且处理client请求监控NodeManager并向其发送指令，启动或监控appmaster的指令NodeManagerNodeManager：单节点的资源管理，监控Container生命周期和使用的资源，处理来自
2021-01-07 16:00:02
96
原创 MapReduce - 全面讲解
MapReduce 目录一、什么是MapReduce?二、MapReduce的流程三、MapReduce优缺点优点缺点一、什么是MapReduce?二、MapReduce的流程三、MapReduce优缺点优点缺点
2021-01-07 15:59:34
132
原创 HDFS - 全面讲解
HDFS什么是HDFS ？HDFS组件以及作用HDFS优缺点优点缺点HDFS的读写流程读操作写操作HDFS的shell命令什么是HDFS ？HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系统。HDFS是一个高度容错性的系统。具有高容错、高吞吐量等特性。并且能部署在廉价的机器上。HDFS组件以及作用组件作用Client1、文件上传HDFS的时候对文件进行切分，文件下载HDFS时对文件进行合并 。 2、与NN通信，上
2020-12-22 00:12:12
243
原创 Sqoop 基本原理
Sqoop什么是Sqoop?Sqoop数据传输RDBMS ->HDFSincremental appendincremental lastmodifiedMYSQL->HBASESqoop job常用命令什么是Sqoop?什么是Sqoop？sqoop其实是一个桥梁，主要在关系型数据库和Hadoop之间进行数据传输，进行数据的导入和导出关系图导出和导入Sqoop数据传输RDBMS ->HDFSmysql到hdfs通过sqoop进行数据传输 分两种，一是只支持新
2020-11-20 08:17:15
745
1
原创 Hadoop、yarn、hive、zookeeper、hbase、sqoop所有配置文件代码汇总(复制就方便的很,基本都有)
**环境变量**export JAVA_HOME=/opt/software/jdk180export HADOOP_HOME=/opt/software/hadoop/hadoop260export HIVE_HOME=/opt/software/hadoop/hive110export PATH=$HIVE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATHexport CLASS_PATH=.:$JAVA_H..
2020-11-17 08:19:28
186
原创 Vmware安装详细教程
一、先下载镜像文件，并记住文件位置(一会儿要用的！！)这里我用的 CentOS-7-x86_64-DVD-1908二、在自己的学习盘里新建文件夹,专门用来存在文件三、打开vmware，创建新的虚拟机四、下一步下一步，选择linux,还有自己镜像文件的版本五、然后放入学习盘中，刚刚新建的文件中注意默认系统盘哦！！！六、指定磁盘大小，这里我设置的40G(学的大数据，一般20就够啦)七、然后设置一下内存和处理器的大小，然后把镜像导进去八、设置虚拟机的installation destinat
2020-11-13 21:20:32
1205
原创 JAVA知识点(面试可能会问哦)(常来看看)
#JAVA知识点什么是方法的重载？ //(加粗很重要哦~)//在同一个类中，方法名称相同，参数不同（数量不同，类型不同，不同类型顺序不同）。什么是方法的重写?1、子类继承父类2、方法名称相同，返回类型相同。3、访问权限 >=父类什么是多态？多态的必要条件是什么？一种类型多种表现形态。必要条件：1、继承（多个类继承同一个方法）2、重写（子类重写父类方法）对比抽象类和接口的相同点和差异点相同点:1、两者都不可以实例话2、都可以有属性3、都可以有抽象方法不同点:1、抽
2020-10-24 11:39:13
143
原创 JAVA练习题（会有100道吗？）
求1~200中的以3的整数倍，或包含3的数值之和 int sum = 0; for (int i = 1,a,b; i <=200 ; i++) { boolean has3 =false; if(i>10){ a=i%10; b=(i/10)%10; if(a==3||b==3){ has3 =
2020-10-08 00:25:23
187
1
原创 图形打印
一切的一切只需记住一个公式即可(Di+X) =Y i增加 Y增加；（X-Di）= Y i增加 Y减少；然后把D的值和Y的值代入，求X即可直角三角形for (int i = 1; i <=5 ; i++) { for (int j = 1; j <=i ; j++) { System.out.print("*"); } System.out.println();
2020-10-07 16:34:01
210
原创 算法-排序
冒泡排序冒泡排序是一个很简单排序算法冒泡排序就从序列第一个数开始,与下一位相邻的比较，如果比他小（大），就交换，然后继续比较，知道找到最小（大）值，就停止。然后再剩余数列中继续进行这个循环。int[] arr={3,6,2,13,34,15,7,8,76,45,3};for(int i = 0;i<arr.length-1;i++){ for(int j =0,t;j<arr.length-1-i;j++){ if(arr[j]>arr[j+1]){ t=arr[j];
2020-10-07 10:48:39
598
原创 算法-二分法
使用二分法来快速判断随机数在不在该数组内二分法也叫折半法，是一种在有序数组中查找特定元素的算法。//先设一组有序数组，再设随机数组vimport java.util.Random;//导包必不可少哦Random rand = new Random();int[] arr = {3,7,13,18,19,21,24,26,29,31,32,38,41,44,45,47,50};int v = rand.nextInt(50) + 1;int begin=0,end =arr.lenght-1
2020-10-05 16:35:08
382
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人