- 博客(41)
- 收藏
- 关注
RSS订阅原创 Mac版sourcetree由于git密码重置而造成更新不了的解决方法
背景： git 密码总是需要修改。在修改代码后，拉去代码， source tree 总提示access denied.解决方法：重新修改git 仓库对应的密码。for mac：应用程序 －》 钥匙串 －》 搜索 source tree ，会找到这个git 对应key value pair 。 删除即可。...
2021-06-29 23:31:50
883
原创 hive-exec.jar与Simba JDBC For Google Bigquery依赖jar包冲突问题解决方案
hive-exec.jar与Simba JDBC For Google Bigquery依赖jar包冲突问题解决方案问题背景问题产生原因问题解决方案结论问题背景在实际项目中，当我们同一个项目的maven依赖同时依赖hive-exec.jar和Simba JDBC For Google Bigquery依赖的guava.jar包时，在运行项目时，会报错找不到exhaust方法。网上查询了其他人的解决方案: hive-exec包guava冲突解决问题产生原因原因是hive-exec.jar中依赖了gu
2021-06-29 00:19:19
787
1
原创 Spark提交报错—Exception in thread “main“ java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError
今天在将代码打包上传到集群上运行时报错：问题原因：maven依赖的scala版本与实际使用的scala版本不一致。解决方案：修改依赖中的scala版本，重新编译打包，再提交到集群即可。
2020-12-05 14:06:24
1930
原创 谁来跟我聊9毛钱的分布式消息队列——kafka
分布式消息队列——kafkakafka架构kafka工作流程及文件存储kafka生产者kafka消费者kafka高效读写数据zookeeper在kafka中的作用kafka事务常见问题kafka的日志目录结构？如何根据offset找到对应消息？kafka Controller的作用？kafka哪些设计让它有如此高的性能？kafka分区分配策略kafka消息数据积压，kafka消费能力不足怎么处理？kafka架构kafka工作流程及文件存储kafka生产者kafka消费者kafka高效读写数据z.
2020-12-03 21:11:04
222
原创 idea配置hive教程详解——再也不用采坑了
主要步骤参考博客：IntelliJ IDEA的强大：使用IDEA实现Hive的可视化主要写一下遇到的问题吧；连接显示失败，会报java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration错误问题原因：hive的jar包没导全。解决方案：将以下几处的包统统导入，1、hadoop-2.7.5/share/hadoop/common下的2、hive-2.1.0/lib下的 hive开头的包也要导入。连接成功后，数据
2020-12-03 17:36:03
1928
原创 谁来跟我聊8毛钱的列式存储Nosql——HBase
列式存储Nosql——HBaseHbase介绍Hbase与RDBMS比较Hbase与HDFS比较Hbase与Hive比较Hbase数据模型表（table）行（row）列簇（Column Family）列标识符（Column Qualifier）单元格（Cell）Hbase架构Hbase架构解析Hbase读写过程Hbase二级索引Hbase的过滤器类型Hbase优化Row key的设计列簇的设计常见问题为什么要按列存储？按列存储有什么好处？Hbase介绍HBase是BigTable的开源java版本。是.
2020-11-26 15:48:02
204
原创 谁来跟我聊7毛钱的分布式缓存——redis
分布式缓存——redisredis概述redis的数据类型stringhashsetlistzsetredis的持久化RDBAOFredis的事务redis的过期策略定时过期惰性过期定期过期redis的淘汰策略redis的高可用主从复制哨兵模式redis集群redis常见问题缓存穿透缓存击穿缓存雪崩redis概述redis的数据类型stringhashsetlistzsetredis的持久化RDBAOFredis的事务redis的过期策略定时过期惰性过期定期过期redis的淘
2020-11-20 10:00:07
167
3
原创 谁来跟我聊6毛钱的数据仓库——hive
数据仓库——hive数据仓库的概念数据仓库与数据库的区别数据仓库的分层架构hive工作流程将sql解析为MapReducehive表的类型管理表内部表外部表hive表的结构分区表分桶表hive中的join与排序join排序hive的优化hive中的数据倾斜数据仓库的概念数据仓库与数据库的区别数据仓库的分层架构hive工作流程将sql解析为MapReducehive表的类型管理表内部表外部表hive表的结构分区表分桶表hive中的join与排序join排序hive的优化hiv
2020-11-17 15:04:50
228
原创 谁来跟我聊四毛钱的分布式资源管理与任务调度框架——YARN？
YARN——分布式资源管理与任务调度框架YARN的架构与运行机制YARN的架构ResourceManager管理节点NodeManager计算节点YARN的运行机制YARN的资源管理与任务调度YARN的资源管理YARN的任务调度机制FIFO调度器（FIFO Scheduler）容量调度器(Capacity Scheduler)公平调度器（Fair Scheduler）YARN的架构与运行机制YARN是hadoop的集群资源管理系统。YARN被引入hadoop2，最初是为了改善MapReduce的实现，但
2020-10-26 22:18:55
172
1
原创 谁来跟我来聊个一毛钱的 Zookeeper ？
Zookeeper内容详解一、什么是Zookeeper?1.1 文件系统1.2 watch监听机制二、zookeeper的特性三、zookeeper的集群角色四、zookeeper的节点类型五、zookeeper的选举机制六、常见问题1、什么是脑裂？Zookeeper是怎么解决脑裂问题的？2、为什么集群最好是奇数？为什么集群数量要大于3？在了解Zookeeper之前，我们来先了解一下，在大数据中，集群与分布式的区别。分布式（distributed是指在多台不同的服务器中部署不同的服务模块，通过远程调用.
2020-10-21 00:10:21
102
原创 java并发编程（一）——让你从源码完全理解Lock锁框架
Lock锁框架Lock锁接口继承关系ReetrantLockReadWriteLock与StampedLockLockSupportLock锁接口继承关系ReetrantLockReadWriteLock与StampedLockLockSupport
2020-09-20 11:12:57
1182
原创 java并发编程——JUC并发包简介
JUC并发包简介JUC并发包简介JUC包的主体结构JUC并发包简介JDK并发工具类是JDK1.5引入的一大重要的功能，集中在Java.util.concurrent包下。java.util.concurrent包主要包含了并发集合类以及线程池和信号量三组重要工具类。java.util.concurrent包下还包括了java.util.concurrent.atomic以及java.util.concurrent.locks两个子包。它包括并发应用程序的锁、互斥、队列、线程池、轻量级任务、有效的并发集
2020-09-17 17:47:02
315
原创 聊一下：数据结构中的各种常见的树——AVL树、红黑树、B树、B+树
数据结构——树常见的树AVL树AVL树的结构AVL树的特点AVL树的应用红黑树红黑树的结构红黑树的特点红黑树的应用红黑树与AVL树的区别B树B树的结构B树的特点B树的应用B+树B+树的结构B+树的特点B+树的应用B树与B+树的区别有关树的一些问题为什么文件系统要用B树而不用二叉查找树？为什么不用B+树？为什么不用hash索引？为什么MySQL数据库索引使用B+树而不用B树？为什么不用hash索引？为什么不使用红黑树？为什么JDK 1.8中Hashmap要使用红黑树？为什么不使用AVL树？常见的树AVL树
2020-09-14 17:12:57
666
原创 一看就懂的JVM类加载机制
Java类加载器类加载器概述类加载器种类类加载器的双亲委派机制ClassLoader类类的加载方式隐式加载显式加载如何自定义一个类加载器？类加载器概述类加载器种类类加载器的双亲委派机制ClassLoader类类的加载方式隐式加载显式加载如何自定义一个类加载器？...
2020-09-07 19:42:52
89
原创 tomcat启动报Unable to process Jar entry [module-info.class] from Jar问题原来这样解决~~~
启动tomcat服务器报Unable to process Jar entry [module-info.class] from Jar [jar:file:/E:/software/maven/maven_repository/org/projectlombok/lombok/1.18.12/lombok-1.18.12.jar!/] for annotations org.apache.tomcat.util.bcel.classfile.ClassFormatException: Invalid by
2020-09-01 21:42:47
7214
2
原创 一看就秒懂的java垃圾回收机制
Java垃圾回收机制JAVA虚拟机垃圾回收机制JVM内存结构什么是JVM？JVM的体系结构如何判断对象是否存活引用计数器法算法可达性分析Java的四种引用垃圾回收算法垃圾收集器JAVA虚拟机垃圾回收机制JVM内存结构什么是JVM？JVM的体系结构如何判断对象是否存活引用计数器法算法可达性分析Java的四种引用垃圾回收算法垃圾收集器...
2020-08-27 17:23:18
259
原创 集合——HashMap的一些理解与总结
HashMap详解HashMap的概述什么是HashMap？为什么要使用HashMap？HashMap四种遍历方式？HashMap的实现原理HashMap与其他集合区别HashMap与HashTable的区别HashMap和HashSet的区别HashMap常见问题为何HashMap的数组长度一定是2的次幂？HashMap为什么线程不安全？为什么重写equals方法需同时重写hashCode方法？HashMap的扩容机制---resize() &死循环的问题HashMap的概述什么是HashMa
2020-08-09 21:58:37
978
原创 java并发编程——史上最全最详细的ThreadLocal
ThreadLocal详解什么是ThreadLocal？ThreadLocal的使用场景ThreadLocal与synchronized的区别ThreadLocal如何实现线程安全？ThreadLocal常用方法get()方法set()方法remove()方法ThreadLocal内存泄漏问题内存泄漏与内存溢出引用的类型ThreadLocal内存泄漏的原因为什么ThreadLocal要使用弱引用？如何避免ThreadLocal内存泄漏什么是ThreadLocal？1、线程并发：在多线程场景下2、传递数
2020-08-04 22:34:19
309
原创 LeetCode——给定一个字符串，请你找出其中不含有重复字符的 最长子串的长度（java实现）。
题目：给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例：输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。输入: "pwwkew"输出: 3解释: 因为无重复字符的最长子串是 "wke"，所以其长度为 3。 请注意，你的答案必须是 子串 的长度，"pwke" 是一个子序列，不是子串。解题思路一：暴力法。两层
2020-07-31 23:18:25
589
原创 有关ArrayList使用remove函数删除元素的问题。
今天，交流群里突然有人问到一个有关ArrayList的问题，之前就有遇到这个问题，知道是for循环遍历ArrayList调用remove导致的问题，也知道使用iterator迭代器调用是没有问题的，但是貌似没有认真研究过，出现问题的真正原因，也就是为什么for循环中调用remove会出问题？为什么使用iterator迭代器就不会出现问题呢？一、为什么ArrayList在for循环中调用remove函数会出现问题？（出现上述问题的原因）我们先来查看一下Arraylist中remove（int ind
2020-07-31 01:55:05
604
原创 LeetCode——给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。
题目：给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位数字。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -> 0 -> 8原因：342 + 465 = 807解题思路：使用index为标记表示进位1，当两个链表长度不一致时，当结点为null时的val处理为0.使用一个临时的链表temp去保存结点，root指向temp的头结点最后作为返回值。代码如
2020-07-30 23:43:34
3215
5
原创 Leetcode——给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。（java语言）
题目：给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例：给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]这题与之前有说过类似的题，附上链接如下。剑指offer——输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是
2020-07-29 23:43:54
3570
原创 java并发编程——synchronized关键字详解
synchronized概述synchronized是java中的关键字，是一种对象锁（锁的是对象而非引用），作用粒度是对象。synchronized的使用方法synchronized通常有三种加锁方式：同步代码块（锁的是括号中的对象）通过一下几段代码来帮助理解一下：public class MyThread{ public void test() { synchronized (this) //锁的是当前对象 {
2020-07-28 22:56:08
197
原创 剑指offer——有关链表的算法题详解
有关链表的算法题1、链表的倒数第K个结点2、从尾到头打印链表（递归和非递归）3、链表有关环的算法题3.1 如何判断一个链表有环3.2 计算链表中环的大小3.3 链表中环的入口结点4、反转链表5、两个链表的第一个公共结点6、合并两个排序的链表7、单链表在时间复杂度为O(1)删除链表结点8、从尾到头打印链表9、孩子们的游戏(圆圈中最后剩下的数)1、链表的倒数第K个结点题目描述：输入一个链表，输出该链表中倒数第k个结点。方法一：倒数，可以利用栈去存储链表的所有结点，然后出栈K个结点，第K个就是倒数第K个结点
2020-07-11 11:27:26
170
原创 剑指offer——表示数值的字符串以及常用正则表达式的应用
题目描述：请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。例如，字串"+100",“5e2”,"-123",“3.1416"和”-1E-16"都表示数值。 但是"12e",“1a3.14”,“1.2.3”,"±5"和"12e+4.3"都不是。解题思路：利用java内置API进行判断，利用将字符串解析为制定类型的变量。利用正则表达式进行判断方法一：使用double浮点型的包装类Double中的方法，如：parseDouble、valueOf方法。使用方法校验，失败抛异常，在catch中
2020-07-05 01:27:23
120
原创 剑指offer——从上到下按层打印二叉树，同一层结点从左至右输出。每一层输出一行。
题目：从上到下按层打印二叉树，同一层结点从左至右输出。每一层输出一行。输入准备：解题思路：将以上二叉树按照行打印，输出的正确结果应该是[[1], [2, 3], [4, 5, 6, 7], [8, 9]].可以借助两个集合list与tempList去保存某一行的所有行结点（如第二行的【2,3】），保存list集合中的每一个结点的val，然后将list集合赋值为其子节点（list变为【4,5,6,7】），直到list集合为null，停止。代码如下：private static ArrayList<
2020-07-03 01:32:39
883
原创 剑指offer——在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。
题目：在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。方法一已知数组为n,每一个数组都不超过n，根据这个条件，想要找出重复的数，我们可以新建一个boolean型数组，制作一张hash表，hash函数y=x，也就是将数组中的数作为Boolean型数组的下标值，相同的两个数在Boolean型数
2020-07-02 23:38:10
1410
原创 剑指offer——给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。
题目：给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。读完题目画出如下图所示示意图。分情况讨论题目中树中的结点会是哪些点。不同的点按照中序遍历的下一个结点也不一样。根据图中所示，大致将结点分为以下几种情况：1、当前结点有右子节点，且其右子节点 （1）有最左子节点，则下一个结点为最左子节点，如图中的结点1的下一个结点为结点6 （2）无最左子节点，则下一个结点为当前结点的右结点...
2020-07-01 00:56:35
509
原创 剑指offer——异或的应用详解
什么是异或？ 异或是一种基于二进制的运算，常用符号XOR或者^表示。 异或的运算法则就是二进制位相等则取0，不相等则取1。 异或运算的性质 异或运算常用的性质如下： 交换律。即a^b = b^a; 结合律。即a^b^c = a^(b^c); 对于任何数x，都有a^a=0，a^0=a,进一步推出a^b^b=a;(此性质可用来加密) 异或的应用 求二进制数中1的个数 此题很简单，让二进制数中的每一位取异或“1”，如果异或结果为0，则count++，最后..
2020-06-30 00:01:14
243
原创 剑指offer——和为S的连续正数数列
今天在牛客网上刷剑指offer，遇到一个跟上篇博客有相似之处的算法题。先附上上一篇博客的链接。剑指offer——输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。题目描述小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,
2020-06-26 01:42:42
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人