- 博客(51)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java（二十一）
知识点一：作业回顾题目一：给定一个字符串, 统计每个字符出现的次数方法一：将字符作为数组下标，对字符串进行遍历。@Test public void test2() { String string = "ajfalkjsdflkajsdflasjdf348729384723984汉不苛是要困右百百呆在中2342lalakjfds"; int[] arr = new int[65536]; for (int i = 0; i < string.
2021-07-11 11:34:59
211
3
原创 Java（二十）
知识点一：HashMap源码解析public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable { // 缺省的初始容量:16 static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16 // 最大容量0100000000000000000000
2021-07-10 23:01:34
125
1
原创 Java（十九）
知识点一：Collection知识总结（1）Set：无序不可重复HashSet：使用哈希算法实现的Set集合 散列表，因为对象在数组中是散列保存的，越散列性能越好。 唯一缺点：要求内存连续。 LinkedHashSet。TreeSet：基于二叉搜索树（红黑树）实现的Set集合，应用场景：频繁的检索数据，修改数据不多。 优点：对内存要求低，不要求连续，检索速度非常快，基于二分法。 缺点：插入删除速度非常慢。（2）List有序可重复ArrayLIst：基于数组实现的
2021-07-10 22:40:22
108
原创 Java(十八)
知识点一:IO流IO流：数据从源节点到目标结点的移动。* 字节流 字符流* 输入流 InputStream Reader* 输出流 OutputStream Writer知识点二:文件流文件流：File前缀字节文件输入流：FileInputStream字节文件输出流：FileOutStream字符文件输入流：FileReader字符文件输出流：FileWriter读文本文件：FIleReader写文
2021-07-10 22:24:25
63
1
原创 Java(十七)
知识点一：Map接口Map : 保存具有映射关系的key对象和value对象. * HashMap : 使用哈希算法实现的Map集合, 对所有键对象保存规则就是无序不可重复. * Hashtable : 老的类, 效率低下, 线程安全. * Properties : 属性们 , 属性名 = 属性值 专门处理字符串, 和文本文件* * TreeMap : 基于二叉树实现的Map集合. * key 和 value 之间存在单向一对一关系，即通过指定
2021-07-10 22:10:09
208
1
原创 Java(十六)
知识点一：常用类的扩展1.时间类1）Date缺点：显示不友好，年有1990问题，月是少1@Test public void test1() throws ParseException { long time = System.currentTimeMillis(); // 当前时间, 以1970-01-01 00:00:00.000为0, 距离当前时间的毫秒数 System.out.println(time); Date date = ne
2021-07-10 18:19:58
71
1
原创 Java（十五）
知识点一：枚举属性及理解package com.atgugui.javase.homework;import com.atgugui.javase.exer.MyDate;/** * enum Week { * MON, TUE, WED, THU, FRI, SAT, SUN * } * * 给Week枚举加上属性,String feel; */enum Week{ MON("hope"), TUE("sad"), WED("boring"), TH
2021-07-10 16:56:59
112
1
原创 Java（十四）
知识点一：回顾Java基础1.变量定义：内存中的一块空间，可以保存数据。2.数据类型定义：变量名，数据类型决定了空间大小，还决定了数据的范以及数据能做什么！！按照数据类型来分：1）基本数据类型：值本身2）引用数据类型：其他数据的地址(内存中某个字节的编号，本质上是正数)按照声明的位置来分：1）局部变量：在方法中声明的变量：范围小，寿命短，在栈中存活。2）成员变量：在类中方法体外声明的变量：范围大，寿命长，在堆中存活。①实例变量（对象属性），存活在GC堆中。②类变量（类属性），存活在方
2021-07-10 16:13:47
127
原创 Java(十三)
知识点1：异常的理解在使用计算机语言进行项目开发的过程中，即使程序员把代码写得尽善尽美，在系统的运行过程中仍然会遇到一些问题，因为很多问题不是靠代码能够避免的，比如：客户输入数据的格式，读取文件是否存在，网络是否始终保持通畅等等。//InputMismatchException:输入不匹配的异常 public static void main(String[] args) { System.out.println("请输入一个整型数据："); Scanner
2021-07-10 13:18:03
72
原创 Java（十二）
知识点1：final关键字的使用package com.atguigu.java;/** * * final关键字的使用 * * 1.final : 最终的 * 2. 可以用来修饰：类、方法、变量（属性、局部变量） * * 3. final修饰类：表示此类不能被继承。 * 比如：String\StringBuffer\StringBuilder * * 4. final修饰方法：表示此方法不能被重写 * 比如：Object类中getClass() * * 5.1 fi
2021-07-10 12:08:52
66
原创 Java(十一)
知识点1：static关键字的使用理解 * 1. static:静态的 * 2. static可以用来修饰的结构有：属性、方法、代码块、内部类1. static修饰属性 /* 3. static修饰属性：静态属性、静态变量 * 3.1 创建了类的多个对象，每个对象拥有一套非静态的属性。意味着：当修改一个对象的非静态属性时，不会影响 * 其他对象此属性的值。 * 3.2 创建了类的多个对象，每个对象共享类中声明的静态的属性。意味着：当通过对象修改静态属性时，会影响 * 其
2021-07-10 11:24:28
79
原创 Java（十）
知识点1：面向对象的特征之三：多态性1. 多态性的基本知识点/* 面向对象的特征之三：多态性 * 1. 多态性：可以理解为一个事物的多种形参。简称：多态性。 * * 2. 子类对象的多态性：父类的引用指向子类的对象。（或子类的对象赋给父类的引用） * * 3. 多态性的应用：虚方法调用（编译看左边，运行看右边） * * 4. 多态性的使用前提：① 要有类的继承关系。② 要有方法的重写 * * 注意：多态性只适用于方法。不适用属性。(编译、运行都看左边） */代码演示pack
2021-07-09 21:19:39
68
原创 Java（九）
知识点1：JavaBean的概念package com.atguigu.java;/** * * 所谓javaBean，是指符合如下标准的Java类： * 类是公共的 * 有一个无参的公共的构造器 * 有属性，且有对应的get、set方法 */public class User { private int id; private String name; public User(){ } public User(int i,String n
2021-07-09 21:07:36
81
原创 Java（八）
知识点1：可变形参的方法（jdk5.0新特性）package com.atguigu.java;/** * * * 测试java中方法的可变形参的使用（jdk5.0的新特性） * * 1. 可变形参的格式：数据类型 ... 参数名 * 2. 在调用可变形参的方式时，可以给可变形参赋值的参数个数为：0个，1个，2个,.... * 3. 可变形参的方法与同一个类中，相同方法名的多个方法间构成重载。（除了第4点中的情况） * 4. 可变形参的方法a与 参数同类型的数组的形参的方法b 不能在
2021-07-08 21:48:13
115
3
原创 Java(七)
知识点1：类与对象1. 二者的理解 * 类： 是对一类事物的描述，是抽象的、概念上的定义 * 对象：是实际存在的该类事物的每个个体，因而也称为实例(instance)2. 类的设计 * 三、设计类，实际上就是设计类的内部成员 * * 属性 = 成员变量 = field = 域 = 字段 * 方法 = 成员方法 = 函数 = 成员函数 = method * * 四、类的实例化 = 创建类的对象 *代码体现//设计类class Phone{ //属性
2021-07-08 20:23:50
76
原创 Java(六)
知识点1：二维数组的使用 * 数组，属于引用数据类型。 * 数组的元素，可以是基本数据类型，或引用数据类型。 * > 数组A的元素，还可以是数组B。则构成了二维数组 对于二维数组的理解，我们可以看成是一维数组array1又作为另一个一维数组array2的元素而存在。其实，从数组底层的运行机制来看，其实没有多维数组。public class ArrayTest { public static void main(String[] args) { //
2021-07-07 22:33:08
109
1
原创 Java（五）
知识点1：while(true)、for(;????/*从键盘读入个数不确定的整数，并判断读入的正数和负数的个数，输入为0时结束程序。最简单“无限” 循环格式：while(true) , for(;;),无限循环存在的原因是并不知道循环多少次，需要根据循环体内部某些条件，来控制循环的结束。*/import java.util.Scanner;class ForWhileTest { public static void main(String[] args) { Scanner sc
2021-07-07 22:10:12
446
原创 Java(四)
作业题/*1. 定义三个int型变量并赋值，使用三元运算符或者if-else获取这三个数中的较大数的实现*/class HomeWork01{ public static void main(String[] args){ //用三元运算符实现： int num1 = 10; int num2 = 20; int num3 = 25; int max = (num1 > num2)? num1 : num2; int max1 = (max > num3)
2021-07-07 21:04:18
846
原创 Java（三）
一边回顾一边分享知识点1：算术运算符/*1. 测试算术运算符的使用+ - + - * / % (前)++ (后)++ (前)-- (后)-- + */class AriTest { public static void main(String[] args) { //测试：/ int m1 = 12; int m2 = 5; int m3 = m1 / m2 * m2; System.out.println("m3 = " + m3);//10.
2021-07-07 20:25:41
86
原创 Java（二）
Java（二）知识点1：关键字和保留字定义：被Java语言赋予了特殊含义，用做专门用途的字符串（单词）特点：关键字中所有字母都为小写Java中定义的关键字如下：保留字的理解Java保留字：现有Java版本尚未使用，但以后版本可能会作为关键字使用。自己命名标识符时要避免使用这些保留字 。比如：goto 、const知识点2：标识符(Identifier)理解1. 标识符：凡是自己可以起名字的地方都叫标识符。 比如：类名、变量名、方法名、接口名、包名等命名的
2021-07-06 22:25:51
50
原创 Java 回顾（一）
Java 回顾（一）害，最近在面试，发现之前学的基础的东西忘记了，傻傻说不清楚，然后就把自己在学习得工程中做的笔记，拿出来回顾一下，笔记做的还算详细，希望也能帮到别人吧哈哈哈????知识点1：Java学习框架学习脉络图Java基础分层内容说明第一部分：任何一个编程语言都会涉及到的内容。比如：变量、运算符、流程控制（循环、条件判断）、数组、...第二部分：（重点中的重点）Java面向对象编程第三部分：Java API的应用：多线程、集合、IO、网络通信、反射、....附加部分
2021-07-06 21:53:12
81
1
原创 Spark与Flink的内存管理（二）
Flink的内存管理目前，大数据计算引擎主要用Java或是基于JVM的编程语言实现的，例如Apache Hadoop、Apache Spark、Apache Drill、Apache Flink等。Java语言的好处在于程序员不需要太关注底层内存资源的管理，但同样会面临一个问题，就是如何在内存中存储大量的数据（包括缓存和高效处理）。Flink使用自主的内存管理，来避免这个问题。JVM内存管理的不足：Java对象存储密度低。Java的对象在内存中存储包含3个主要部分：对象头、实例数据、对齐填充部分。
2021-06-28 23:53:57
341
6
原创 Spark与FLink的内存管理（一）
最近被Spark和Flink的内存管理搞吐了，所以专门整理一下????????Spark的内存管理Spark1.6版本之后引入的统一内存管理机制，与静态内存管理机制的区别在于存储内存和执行内存共享同一块空间，可以动态占用对方的空闲区域，统一内存管理的堆内结构如图所示，统一内存管理的堆外内存结构如下图所示：其中最重要的优化在于动态占用机制，其规则如下：设定基本的存储内存和执行内存区域（Spark.storage.storageFraction参数），该设定确定了双方各自拥有的空间
2021-06-27 22:04:15
405
4
原创 HIve之ORC与Parquet
Orc与parquet的区别表类型默认压缩压缩格式描述OrcZlibNode、Zlib、SnappyOrc可以选择Zlib或Snappy压缩，Snappy需要额外安装ParquetUncompressedUncompressed、Snappy、Gzip、LzoParquet使用gzip压缩率高，使用lzo、snappy效率高ORC列式存储但支持的压缩格式有限，Orc表支持None、Zlib、Snappy压缩，默认支持Zlib压缩。但这3种压缩格式不支持切
2021-06-25 17:57:09
2715
原创 周
字节查看面经的步骤1.面经链接（这个人的面字节三轮，可以看一下他面试的问题）https://www.nowcoder.com/discuss/654344?source_id=discuss_experience_nctrack&channel=-1问题整理：DAU下降如何找原因原因解析链接：https://blog.csdn.net/lee__leee/article/details/106417164抖音的广告收入怎么去预估答案链接https://zhuanlan
2021-05-07 21:13:16
114
原创 flume-kafka数据采集
flume-kafka数据采集概述数据生产阶段（采集日志到kafka）数据消费阶段（消费kafka中的数据，并将其存储到hdfs）概述今天来给大家展示一下，日常数据收集中，我们flume和kafka是如何协同工作的。我们先来看一下整体集群情况。hadoop102hadoop103hadoop104zkzkzknamenoderesourcemanagersecondarynamenodedatanodedatanodedatanodekafka
2020-10-01 21:03:01
1236
原创 [2020-09-29 19:16:39.658]Container killed on request. Exit code is 143 [2020-09-29 19:16:39.674]Cont
跑MR时出现[2020-09-29 19:16:39.658]Container killed on request. Exit code is 143[2020-09-29 19:16:39.674]Container exited with a non-zero exit code 143.主要是由于一下虚拟内存受到限制引起的is running 343398912B beyond the 'VIRTUAL' memory limit. Current usage: 392.4 MB of .
2020-09-29 19:22:40
385
原创 大数据之Kafka（二）
大数据之Kafka（二）3. Kafka架构深入3.1 Kafka 工作流程及文件存储机制3.2 Kafak生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 Exactly Once语义3.3 Kafka消费者3.3.1 消费方式3.3.2 分区分配策略3.3.3 offset的维护不排除内部的topic3.3.4 消费者组案例3.4 Kafka 高效读写数据3.5 Zookeeper在Kafka中的作用3.6 Kafka事务3.6.1 Producer 事务3.6.2 Consumer事务（
2020-09-28 19:28:03
1468
原创 大数据之Kafka
大数据之Kafka1 . Kafka概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构2 Kafka 快速入门2.1 集群规划2.1.2 Kafka 下载2.1.3 集群部署2.2 Kafka 命令行操作3 Kafka 架构深入3.1 Kafka工作流程及文件存储机制1 . Kafka概述1.1 定义Kafka是一个分布式的基于分布、订阅模式的消息队列，主要应用于大数据实时处理领域。至于什么是消息队列和分布、订阅模式，待会给
2020-09-26 16:18:12
299
原创 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/module/fl
因Flume和Hadoopjar包冲突导致的问题，将Flume下的flume-1.9.0/lib/slf4j-log4j12-1.7.25.jar这个路径下jar包修改一下就可以了[atguigu@hadoop102 lib]$ mv slf4j-log4j12-1.7.25.jar slf4j-log4j12-1.7.25.jar.bak
2020-09-24 23:57:28
2330
原创 大数据之Flume（二）
大数据之Flume（二）3. Flume进阶3.1 Flume 事务3.2 Flume Agent 内部原理3.3 Flume 拓扑结构3.3.1 简单串联3.3.2 复制和多路复用3.3.3 负载均衡和故障转移3.3.4 聚合3.4 Flume企业开发案例3.4.1 复制和多路复用3.4.2 负载均衡和故障转移3.3.4 聚合3.5 自定义Interceptor3.6 Flume 数据流监控3.6.1 Ganglia的安装与部署3.6.2 操作Flume测试监控之前一节分享是基础的内容，今天来讲解一下
2020-09-24 23:50:10
6327
原创 大数据之Flume（一）
大数据之Flume（一1. Flume 概述1.1 Flume定义1.2 Flume基础框架1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event2. Flume 入门2.1 Flume 安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume 入门案例2.2.1 监听端口数据官方案例2.2.2 实时监控单个追加文件2.2.3 实时监控目录下多个新文件2.2.3 实时监控目录下的多个追加文件今天的日志收集框架Flume是我认为的一个很
2020-09-23 20:46:35
169
原创 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
产生原因：堆内存溢出导致的，修改yarn-site.xml文件中添加以下内容就可以解决；解决方案：<!-- 解决堆内存溢出 --> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>10000</value> </property> <property> <name>yarn.sc.
2020-09-23 19:42:08
16304
2
原创 Schema initialization FAILED! Metastore state would be inconsistent !!
重新初始化hive的时候出现的，这个bug是在之前删除过hive的默认目录，所以后续它不会讲表建立到warehouse下，需要指定。解决方案：删掉连接的MySQL的数据库（metastore），另外清除hdfs上的元数据，重新进行初始化就可以了。...
2020-09-23 19:37:59
1336
4
原创 Unsuccessfully sent block report 0xe17fd65e6fba7932, containing 1 storage report(s), of which we s
这个bug一般是在重新格式化集群产生的错误，主要原因是其他节点同步了主服务器的集群id导致的，删除掉其他节点的data和logs，就可以重新初始化集群了。
2020-09-23 19:32:56
375
原创 大数据之Hive（二）
大数据之Hive（二）3 Hive数据类型3.1 基本数据类型3.2 集合数据类型3 Hive数据类型3.1 基本数据类型Hive数据类型Java数据类型长度例子tinyintbyte1byte有符号整数20smallintshort2byte有符号整数20intint4byte有符号整数20bigintlong8byte有符号整数20floatfloat单精度浮点数3.14159doubledouble双精度浮点
2020-09-20 17:53:12
158
原创 大数据之Hive（一）
大数据之Hive（一）1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 的架构原理2.Hive安装2.1 Hive安装地址2.2 Mysql安装2.3 Hive 安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到Mysql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动metastore和hiveserver22.5.3 HiveJDBC 访问2.5.4 Hive访问2.6
2020-09-14 20:13:46
218
原创 大数据之HA配置步骤
1. 在/opt下新建ha目录，并将hadoop安装包拷贝一份sudo mkdir /opt/hasudo chown atguigu:atguigu /opt/hacp -r /opt/module/hadoop-3.1.3 /opt/harm -rf /opt/ha/hadoop-3.1.3/data /opt/ha/hadoop-3.1.3/logs2. 修改/opt/ha/hadoop-3.1.3的配置文件core-site.xml<?xml version="1.0" e
2020-09-13 23:26:44
460
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人