- 博客(8)
- 收藏
- 关注
RSS订阅原创 脏读、不可重复读、幻读
多个事务同时操作同一个数据库的相同数据时，可能会导致事务的问题。脏读：一个事务读取了其他事务还没有提交的数据，读到的是其他事务“更新”的数据。不可重复读：一个事务多次读取，结果不一样。例如下订单，查询库存是1，另一个事务更新库存为100并提交事务，然后再去进行第二次的查询，查询结果却变成了100。幻读：一个事务读取了其他事务还没有提交的数据，只是读到的是其他事务“插入”的数据。可以通过设置来解决并发问题，MySQL默认的事务隔离级别为repeatable-read。平时我们flink写kafka ，通
2022-06-06 16:09:31
167
原创 JUC核心--AQS
一.AQS原理1.等待队列—CLH锁AQS核心思想是，如果被请求的共享资源空闲，那么就将当前请求资源的线程设置为有效的工作线程，将共享资源设置为锁定状态；如果共享资源被占用，就需要一定的阻塞等待唤醒机制来保证锁分配。这个机制主要用的是CLH队列的变体实现的，将暂时获取不到锁的线程加入到队列中。CLH：Craig、Landin and Hagersten队列，是单向链表，AQS中的队列是CLH变体的虚拟双向队列（FIFO），AQS是通过将每条请求共享资源的线程封装成一个节点来实现锁的分配。主要原理图如
2022-05-03 20:28:15
1176
原创 java锁介绍
前言Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码（本文中的源码来自JDK 8）、使用场景进行举例，为读者介绍主流锁的知识点，以及不同的锁的适用场景。Java中往往是按照是否含有某一特性来定义锁，我们通过特性将锁进行分组归类，再使用对比的方式进行介绍，帮助大家更快捷的理解相关知识。下面给出本文内容的总体分类目录：1. 乐观锁 VS 悲观锁乐观锁与悲观锁是一种广义上的概念，体现了看待线程同步的不同角度。在Java和数据库中都有此概念对应的
2022-05-03 15:04:15
153
原创 es-kibana使用小记
1.通过查询删除数据POST indexname/_delete_by_query{ "query": { "match": { "type": 31 } }}2.查询数据GET indexname/_search{ "query": { "match": { "couponCode": 921051910056841995 } }}3.kibana查询 long类型的数字是，如果数据过大，会丢失精度，但数据本身是
2021-05-20 14:22:50
112
原创 hive求活跃天数
需求1：截止到当天的用户连续活跃的天数需求2：某段时间内用户的连续活跃区间需求3：某段时间用户的最大连续活跃天数需求1：截止到当天的用户连续活跃的天数思路：按照日期倒序排序,另一个字段为与当天相差的天数，如果连续的话，则前两者之差为1selectuid,"当天",sum(case when rn-day_num=1 then 1 else 0 end ) as active_daysfrom ( select uid, dt, row_number() ov
2021-03-28 10:24:47
505
原创 spark bulkload 到 hbase
在使用Spark时经常需要把数据落入HBase中，如果使用普通的Java API，写入会速度很慢。Spark提供了Bulk写入方式的接口。那么Bulk写入与普通写入相比有什么优势呢？BulkLoad不会写WAL，也不会产生flush以及split。如果我们大量调用PUT接口插入数据，可能会导致大量的GC操作。除了影响性能之外，严重时甚至可能会对HBase节点的稳定性造成影响。但是采用Bulk就不会有这个顾虑。过程中没有大量的接口调用消耗性能...
2021-03-04 17:06:39
224
1
原创 hive升级
升级主要说明：1.为避免升级前后数据偏差，关闭一切写入表的操作 ，【实际采用了并行执行，并未中断写入，只是copy 一份份元数据，升级后，再回补新数据库缺失的数据】2.hive升级：2.1–>2.3.7 我们元数据库是mysql 2.1 emr集群上执行以下命令：cd /usr/lib/hive/scripts\metastore\upgrade\mysql/mysql -h host -P 3306 -u litbaws -p 密码 hive < upgrade-2.1.0-to-.
2021-03-01 15:14:04
546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人