- 博客(31)
- 资源 (5)
- 收藏
- 关注
转载 初始Flink 水印的设计原理
Flink流处理时间方式EventTime时间发生的时间,例如:点击网站上的某个链接的时间IngestionTime某个Flink节点的source operator接收到数据的时间,例如:某个source消费到kafka中的数据ProcessingTime某个Flink节点执行某个operation的时间,例如:timeWindow接收到数据的时间设置Flink 流处理类型env.setStreamTimeCharacteristic(TimeCharacteristic.Eve
2022-04-29 15:52:12 143
原创 Mysql事务的隔离级别实践
Mysql事务的隔离级别实践一、事务的基本要素(ACID)原子性(Atomicity):事务开始后所有操作,要么全部做完,要么全部不做,不可能停滞在中间环节。事务执行过程中出错,会回滚到事务开始前的状态,所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体,就像化学中学过的原子,是物质构成的基本单位。一致性(Consistency):事务开始前和结束后,数据库的完整性约束没有被破坏 。比如A向B转账,不可能A扣了钱,B却没收到。隔离性(Isolation):同一时间,只允许一个事
2022-03-31 21:46:50 119
原创 【高并发线上问题】线程不安全引起线上问题的分析思路
高并发引起的线上问题的分析思路1、现象2、初步判断3、具体分析步骤1、现象2、初步判断3、具体分析步骤
2022-03-20 22:28:27 502
原创 Flink Sql 第一个UDF 的实现
背景团队正在使用flink sql ,需要熟悉各数据类型的使用,借此机会,将flink 支持的所有data type 在sql-client 上操作一遍,增加对原生数据类型的认识。Flink-Sql 介绍
2022-01-08 22:06:42 3843 3
翻译 Phoenix 二级索引 的使用
二级索引二级索引是从主访问路径访问数据的一种正交方式。在HBase中,你有一个索引,它按照主行键按字典顺序排序。除了通过主行之外,以任何方式访问记录都可能需要扫描表中的所有行,以便根据筛选器对它们进行测试。使用二级索引,索引的列或表达式将形成一个备用行键,从而允许沿着这个新轴进行点查找和范围扫描。覆盖索引Phoenix的功能特别强大,因为我们提...
2020-12-11 18:33:39 510
转载 谈谈Mysql事务隔离级别
当我们的数据是引擎是InnoDB的时候。事务的隔离级别分为:未提交读(read uncommitted)、已提交读(read committed)、可重复读(repeatable read)、串行化(serializable)。未提交读未提交读的意思就是比如原先name的值是小刚,然后有一个事务B`update table set name = '小明' where id = 1`,它还没提交事务。同时事务A也起了,有一个select语句`select name from table where
2020-12-10 14:33:47 82
原创 解决maven 打包不能下载私服上的jar包
背景使用mvn clean package -DskipTests -Pro 打包,提示如下信息,找不到依赖的三方包,正常应该是从公司的私服下载,如果找不见,再从其他中央仓库下载。问题截图如下:于是查看maven 的setting.xml ,如下图二其中,profile 里配置了公司私服的地址,而且公司私服的镜像地址也配置,如下图三:图二:图三:解决办法查看官网及其他环境的maven setting.xml 配置文件,发现没有配置默认的profile ,因此需要给公司私服的.
2020-12-02 16:48:13 1696
原创 解决 Unable to start embedded Tomcat 问题
背景 项目中要查询hive,引入了hive-jdbc 后,spring-boot 启动不了(没引入这个包之前能正常启动),报错如下org.springframework.context.ApplicationContextException: Unable to start web server; nested exception is org.springframework.boot.web.server.WebServerException: Unable to start embedd...
2020-06-18 17:53:11 119648 6
原创 Sharding-jdbc 数据分片动态注册数据源的另类实现
Sharding-jdbc 是一款主流、灵活、扩展性强的开源数据分片中间件,它是Sharding-Sphere 的组成部分,用来完成数据源、数据表的分片。Sharding-jdbc 将注册配置中心通过SPI 的方式开放给用户,用户可自定义注册中心,本文是在官方提供的方式不能满足需求的情况下,另辟蹊径,实现了数据源动态注册的功能。
2020-06-12 21:52:40 1782 3
翻译 Redis 高可用之Sentinel 实现原理
1、 Sentinel 是什么? Redis 的 Sentinel 系统用于管理多个 Redis 服务器(instance), 该系统执行以下三个任务:监控(Monitoring): Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。 提醒(Notification): 当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过 API 向管理员或...
2020-04-12 14:57:05 127
原创 基于 Redis-5.0.5 创建 Simple Redis-Cluster
一、手动配置创建 redis-cluster 最少实例个数为6个,3主3从。 1、redis.conf 配置。其中nodes.conf 每个实例一个配置文件,如果在相同目录下,文件名称不能一样。port 7000cluster-enabled yescluster-config-file nodes.confcluster-node-timeout 5000ap...
2020-04-12 12:05:51 262
原创 java 类与非静态内部类、静态内部类、父类与子类 各代码块的加载顺序
最近面试被问到外部类与静态内部类 各代码块的加载顺序,思考许久,最终回答的不理想,事后思考再三,还是对这块的加载顺序理解的不透彻,借此机会,重新认识并做了一些demo,俗话说“实践出真知”,以下是具体的总结和demo,奉上。各代码块,1、普通类与非静态内部类 各代码块的加载顺序的区别...
2020-04-10 21:43:44 486
原创 使用sysbench 工具做mysql 性能测试
一、工具介绍Scriptable database and system performance benchmark安装详见:https://www.cnblogs.com/phpfeng/p/9246213.html具体使用:https://blog.csdn.net/ma15732625261/article/details/81355269源码地址:https://gith...
2019-12-19 15:01:24 270
原创 第一个java原生的socket 通信程序
socket 提供了基于TCP/IP 通信的一篮子API,通过socket ,可以实现基于业务定制的网络编程框架。 之前也看过Netty 框架源码,但是看过很容易忘记细节,时间长了,只知道框架是什么样子,自己动手写socket框架,又无从下手。归根到底,还是对socket 的原理没有弄彻底。所以,今天从最基础开始,写一个基于java.net 原生的socket 程序,立下flag,继续加油!!!...
2019-04-04 16:58:26 215
原创 Linux 性能分析学习笔记
如何学习linux 性能优化学习的步骤; 工具大全; 性能指标;性能分析角度;平均负载概念; 怎么判断过载; I/O 密集型 CPU 密集型stress sysstat mpstat pidstat如何学习Linux性能优化?CPU 寄存器和程序计数器(Program Counter) 进程 线程 硬件发送信号中断处理程序调用...
2019-02-05 10:34:18 183 2
原创 Linux bash sh source ./ export 的理解
bashbash是 Bourne Again SHell 是linux标准的默认shell ,它基于Bourne shell,吸收了C shell和Korn shell的一些特性。bash完全兼容Bourne shell,也就是说用Bourne shell的脚本不加修改可以在bash中执行。shsh或是执行脚本,或是切换到sh这个bash里,默认的shell是bash,你可以试试tc...
2018-12-19 19:55:04 404
原创 (一)什么是微服务架构 及 与单体系统的区别
什么是微服务架构 “微服务”一词源于 Martin Fowler的名为 Microservice的博文,可以在他的官方博客上找到http://martinfowler.com/articles/microservices.html 简单地说,微服务是系统架构上的一种设计风格,它的主旨是将一个原本独立的系统拆分成多个小型服务,这些小型服务都在各自独立的进程中运行,服务之间通过基于HTT...
2018-09-01 09:42:44 2079
原创 Windows 环境下 Git clone pull fetch 慢 解决之道
问题描述:git clone、pull 特别慢 ,项目大概是370MB, 每次pull ,Receving objects:******* 20kb/s ,传输速度才20kb/s 左右,进度70%左右就卡顿,很捉急。纠结了大半天,网上查阅了好多帖子,最终找到的解决方法,传输速度平均在200~300kb/s ,这个速度已经很满意了。 PS:用https 和 ssh 协议pull,速...
2018-07-19 16:46:16 8740 3
原创 关于锁的一些概念理解
1、synchronized 、 volatile 的区别: synchronized : 缺点:是独占锁(即一种悲观锁),会引起线程上下文切换,开销比较大 优点:保证了线程操作的原子性、可见性、有序性 volatile:优点:轻量级同步机制、不会引起线程上线文切换、开销小; 缺点:只...
2018-06-25 08:13:40 549
原创 windows 提交job 到hadoop 集群,报错:org.apache.hadoop.security.AccessControlException: Permission denied: us
分析步骤: 1、Configuration 里 set dfs.permissions 为 false;2、登陆集群,自行hadoop fs -chmod 777 /user即可。
2018-05-22 17:54:51 200
原创 window 上跑hadoop问题之java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.
分析步骤:1、系统环境变量配置HADOOP_HOME ,并且添加进path 变量里;2、HADOOP_HOME\bin 里是否有hadoop.dll 和 winutils.exe 这两个文件3、C: windows\System32 里是否有hadoop.dll 文件 ,记得重启电脑噢!!!over! ...
2018-05-22 17:51:27 17902 10
原创 无法读取方案文档 'http://code.alibabatech.com/schema/dubbo因为 1) 无法找到文档; 2) 无法读取文档; 3)
现象: application.xml 文档不报错,但是运行程序,会报错,dubbo.xsd 引用的是dubbo.2.4.9.jar ;分析: 网上有人说是dubbo jar版本的问题,后来我换了版本之后还是不行,后来分析发现,程序运行的时候找不到dubbo.jar 解决办法: 我的开发环境是IDEA, 在IDEA 的setting 里设置了仓库,但是没有引用,在pom.xml 里添加引用即可。...
2018-04-27 19:58:48 1675
原创 zookeeper 、 dubbo-admin 部署到windows 环境 的tomcat的问题及解决方法
纠结了大半天,终于搞定了,废话少说,直接贴问题.ps:前提zookeeper 已经安装,JAVA_HOME 环境变量已经配置启动tomcat后,控制台日志显示 INFO zkclient.ZkEventThread - Starting ZkClient event thread. 这里后,就不往下走了。分析过程:第一步、首先检查zookeeper 是否已经启动。 方法:dos 里输入jps命令...
2018-04-26 16:15:06 528
原创 Plsql Developer 关于oracle 的配置
1、所需安装包:oracle 客户端(免安装) 、plsql Developer 安装包 PS: instantclient_11_2 附件中有,可直接下载 2、系统环境变量配置如下值:path目录后面加: D:\workFiles\PLSQL\instantclient_11_2 ORACLE_HOME = D:\workFiles\PLSQL\instantclient_11_...
2018-03-29 09:26:47 327
原创 Redis性能延迟分析
事件经过:我们在执行通过mapreduce任务往redis中加载空间索引数据的时候,当加载到一定数据量的时候,redis 执行set命令时出现延迟,由于redis是单线程执行命令,导致后面的命令会发生阻塞,数据加载了很长时间。该现象也是随机出现了两次,因此我认为是redis的问题,而不是程序问题;本文示例中redis_version:3.0.7。1.redis性能指标 通过redis-c...
2018-03-09 10:11:49 2028
原创 安装cx_Oracle 的步骤及注意事项
cx_Oracle安装步骤:1、分别下载 cx_Oraclehttp://cx-oracle.sourceforge.net/cx_Oracle-5.3-12c.win-amd64-py3.6-2.exe5.3:指cx_Oracle版本; 12c:指oracle 版本; amd64:指操作系统是64位 ; py3.6:指python是3.6版本pythonhttps:/
2018-02-07 17:55:19 13182
转载 Hbase 学习总结
Hbase学习总结内容包括:1、hbase 下载及安装2、一些简单的增、删、改查数据的hbase shell 命令3、hbase 读写路径的分析4、hbase 与hdfs 的关系等
2016-12-03 16:00:09 461
原创 java 编译 失败,提示找不到符号或程序包com.sun.image.codec.jpeg不存在的原因分析
1、先直接上解决方法:在项目的pom.xml 中增加以下maven依赖配置,再编译就成功啦。 jdk.tools jdk.tools 1.7 system ${JAVA_HOME}/lib/tools.jar 2、再谈谈解决该问题的经过: 网上查了很多资料,有说引用的这些包是sun 的私有类,或者这些类都是过时的类,建议换
2016-11-30 09:16:52 5023
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人