- 博客(164)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 一文看懂volatile
volatile是java提供的弱同步机制，只能用来声明变量。回顾一下，Java 内存模型中的可见性、原子性和有序性。可见性： 可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。 可见性，是指线程之间的可见性，一个线程修改的状态对另一个线程是可见的。也就是一个线程修改的结果。另一个线程马上就能看到。比如：用volatile修饰.
2021-12-14 15:55:39
235
原创 一文解决JAVA并发安全问题
项目场景：并发的应用场景，在开发过程会经常遇到。 例如：服务应用启动后，需要简单统计接口的总访问量；实时更新订单状态，成交总额。问题描述：比如统计接口访问次数，如下的实现，在并发访问下，统计是不准确的 。 private int viewCount = 0; private void addViewCount(){ viewCount++; }复制代码比如A、B两个线程同时访问，各自从JVM主存中加载变量viewCount到线程内存里viewCo
2021-12-13 13:57:20
728
原创 ValueError: numpy.ufunc size changed, may indicate binary incompatibility. Expected 216 from C heade
/usr/local/lib/python3.7/site-packages/empyrical/utils.py:32: UserWarning: Unable to import pandas_datareader. Suppressing import error and continuing. All data reading functionality will raise errors; but has been deprecated and will be removed in a later
2021-09-15 15:48:19
1792
原创 几句话告诉你，spring 如何解决循环依赖问题
1、两种情况，循环依赖无解在Spring IoC的使用场景中有两类循环依赖是无解的：1.1 构造器的循环依赖构造器要调用构造函数new 一个对象出来，而参数又依赖于另一个对象。创建类A依赖于类B，new 的时候去创建类B发现类B不存在就会出错拋出 BeanCurrentlyInCreationException 异常。1.2 prototype 原型bean循环依赖原型bean的初始化过程中不论是通过构造器参数循环依赖还是通过set方法产生的循环依赖也会抛出异常。2、一种情况，循环依赖可解si
2021-08-17 11:10:23
315
原创 @Value是如何将外部化配置注入到spring bean中
有三种注入方式，分别是基于配置文件注入、基于非配置文件注入、默认值注入。1、配置文件基于配置文件注入，顾名思义起源头来自于配置文件。这些配置文件诸如application.properties或自定义的*.properties文件。例如，application.properties配置文件中定义属性值的形式如下：user.name=admin假设存在自定义配置文件my.properties，配置文件中定义的属性如下：user.password=123456如果需要做在类中使用这两个配置值如何做
2021-08-11 18:06:22
298
原创 Spring @Resource与@AutoWired的区别
@Resource与@AutoWired的区别定义方不同@AutoWired 是spring定义的注解，@Resource是JSR-250定义的注解。自动装配默认方式不一样@AutoWired是byType，而@Resource默认byName自动装配。包含的参数数量不一样@Autowired只包含一个参数：required，表示是否开启自动准入，默认是true。而@Resource包含七个参数，其中最重要的两个参数是：name 和 type。通过byName制定名字自动装配不一样@Auto
2021-08-10 18:08:17
111
原创 【MySQL】深入浅出InnoDB存储引擎（一）
undo 文件和redo log文件 、bin log 文件首先，我们看一下一条update sql在mysql中是如何执行的。update user set name='a' where id=1
2021-07-15 16:54:33
112
原创 powermockito的使用技巧
当IT中有些依赖组件无法正常集成，需要mock支持测试，可以使用power mockito。特别注意： 当对一个对象进行powermockito，应该在prepare方法，统一mock这个对象。然后在其他方法，分别进行调用when，否则，多个方法内进行mock，会出错。比如有个 Service处于IT case的底层，普通的mock根本mock不进去，但我们又不能为了集...
2019-03-06 21:00:09
2362
原创 junit使用
常用几个方法，assertTrue（）、assertFalse（）、assertEqual（）、还有抛出的异常@Test(expected= 异常类.class)。还有几个常用注解，@Before、@BeforeClass、@After、@AfterClass、@PrepareForTest、@Test等。下面具体介绍，fail()用法。摘自//www.cnblogs.co...
2019-03-06 20:56:20
294
原创 linux命令
1、管道命令 ： |这个 |竖杆就是管道。它的作用就是将前一个命令的输出，变成下一个命令的输入，仅此而已，veryeasy。比如，cat 1.txt | grep hello,这个的意思就是将 cat 1.txt 输出的内容，给grep hello命令。总的就是，显示输出1.txt的内容，并搜索查找是否hello。2、grep 命令 grep用来搜索文本内容。...
2019-03-06 20:55:15
233
原创 mysql忘记密码简洁的办法和远程连接mysql数据库命令
1、首先在root用户下，停止mysql服务。 sudoservice mysql stop2、跳过密码进入mysql sodomysqld --skip-grant-tables3、重新设置密码 新开一个client，普通用户即可。 直接用命令mysql 就可以进入mysql， 然后用这个命令修改mysql密码 update use...
2019-03-06 20:54:18
400
原创 echo命令和awk命令
echo用来输出内容，比如，echo -e ‘hello linux system\nmy name is bigboy.’。-e，表示若输出内容有特殊符号，则按特殊符号输出。上个命令的输出是：hello linux systemmy name is big boy.若没有-e，比如echo -e ‘hello linuxsystem\nmy name is big boy.’则把\n...
2019-03-06 20:53:19
7005
原创 kafka监控获取指定topic的消息总量
import kafka.api.PartitionOffsetRequestInfo;import kafka.common.TopicAndPartition;import kafka.javaapi.OffsetResponse;import kafka.javaapi.PartitionMetadata;import kafka.javaapi.TopicMetadata;im...
2019-03-06 20:51:47
13610
1
原创 ELK Stack - 插件X-Pack
安装安装 X-Pack 前必须安装 ES 和 Kibana ，我们使用的是 5.2.1 版本 集中式日志分析平台 - ELK Stack - 部署篇。X-Pack 我们也使用 5.2.1，我们来讲讲如何离线安装吧。Step1. 下载 X-Pack Zip 文件：https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.2.1....
2019-02-22 14:13:56
455
原创 Linux中各种 command not found问题解决
原因是环境变量没有配置好，这里一般有两种解决方法，第一，可以切换到root用户执行命令，第二种，就是配置用户的环境变量，其指令如下：export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin...
2019-02-14 18:31:03
44476
3
原创 ES线程池设置以及EsRejectedExcutionException排查
每个Elasticsearch节点内部都维护着多个线程池，如index、search、get、bulk等，用户可以修改线程池的类型和大小，线程池默认大小跟CPU逻辑一致。一、查看当前线程组状态 curl -XGET 'http://localhost:9200/_nodes/stats?pretty'"thread_pool" : { "bulk" : { ...
2019-01-18 16:21:14
4985
转载 Java中的时间与时区__java
转：https://yq.aliyun.com/ziliao/245667 摘要： 本文讲的是Java中的时间与时区__java， 0. 前言： 时间格式： //世界标准时间，其中T表示时分秒的开始（或者日期与时间的间隔），Z表示这是一个世界标准时间 2017-12-13T01:47:07.081Z //本地时间，也叫不含时区信息的时间。时间格式：//世界标准时间，...
2019-01-11 14:21:53
4160
转载 Kafka Broker配置（0.10版）
转自：http://orchome.com/472基本配置如下:broker.id log.dirs zookeeper.connect下文将详细论述了主题级别配置和默认值。名称 描述 类型 默认 有效值 重要程度 zookeeper.connect zookeeper host string string ...
2018-12-29 10:33:48
500
3
转载 JVM垃圾回收器 CMS和G1的区别
转自：https://www.cnblogs.com/rgever/p/9534857.htmlCMS：以获取最短回收停顿时间为目标的收集器，基于并发“标记清理”实现过程：1、初始标记：独占PUC，仅标记GCroots能直接关联的对象2、并发标记：可以和用户线程并行执行，标记所有可达对象3、重新标记：独占CPU(STW)，对并发标记阶段用户线程运行产生的垃圾对象进行标记修正...
2018-12-25 17:18:50
1998
原创 bash: useradd: command not found如何解决
由于，‘su root’或者'sudo su'只改变root权限不改变环境变量，而‘su -root ’指令就可以。‘su -root’可以取得ROOT用户的权限和环境。所以需要再执行一项：su -即可解决。...
2018-12-25 11:42:51
3079
转载 Performance optimization for Apache Kafka - Brokers
转自：https://www.cloudkarafka.com/blog/2018-09-12-performance-optimization-apache-kafka-brokers-cloudkarafka.htmlThe Kafka Broker is the central part of Kafka. It receives and stores log messages unti...
2018-12-24 14:56:42
298
转载 httpclient http连接池示例
package connect.http.sink;import java.io.IOException;import java.io.InterruptedIOException;import java.io.UnsupportedEncodingException;import java.net.UnknownHostException;import java.util.Array...
2018-12-21 15:31:45
391
原创 elasticsearch 出现yellow 分片有unassigned现象原因
可以通过命令或url查询看到具体的原因： curl XGET 'http://ip:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason' | grep UNASSIGNED查询结果,最后一列就是原因：fxcl-2018-12-18 1 r UNASSIGNED NOD...
2018-12-19 18:35:19
2765
转载 XShell上传、下载文件
在我们的项目开发中借助XShell，使用Linux命令sz可以很方便的将服务器上的文件下载到本地，使用rz命令则是把本地文件上传到服务器。 其中，对于sz和rz的理解与记忆我用了如下的方法（很多时候容易搞混）： sz中的s意为send（发送），告诉客户端，我（服务器）要发送文件 send to cilent，就等同于客户端在下载。 ...
2018-12-18 09:53:28
1160
原创 Java RMI:rmi Connection refused to host: 127.0.0.1异常解决
最近在尝试使用jmx exporter + prometheus + grafana 去监控kafka。其中在部署的时候，遇到了一些坑。我们采用的是比较复杂、不被推荐看好的httpserver方式部署。官方不推荐这样部署，但是我们认为，这种非侵入的采集方式非常灵活，好更新维护，对kafka影响降到最低。解耦的部署我们非常喜欢。效果很好。当中也踩到坑，就是httpserver形式，会有...
2018-12-17 19:09:38
2837
转载 Elasticsearch 5.X集群多节点角色分析
转自：https://blog.csdn.net/laoyang360/article/details/782904841、问题引出 ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群，如何配置节点角色才能使得系统性能最优呢？ 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几...
2018-12-17 14:09:43
334
转载 国内大神开源 Kafka 监控系统Eagle 使用教程
转自：https://www.cnblogs.com/smartloli/p/9371904.html1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题，这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑，同时也给出一些定位分析Kafka Eagle异常的时的解决办法。2.内容...
2018-12-07 18:00:53
5655
原创 __consumer_offest的副本因子
__consumer_offest不受server.properties中num.partitions和default.replication.factor参数的制约。相反地，它的分区数和备份因子分别由offsets.topic.num.partitions和offsets.topic.replication.factor参数决定。这两个参数的默认值分别是50和1，表示该to...
2018-12-07 14:01:50
275
原创 kafka-manager安装采坑日志
可以参考这个https://www.cnblogs.com/tonglin0325/p/8963114.html 但是也不一定可以成功。成功的，具体步骤： 1、先安装配置jdk，和sbt。jdk就不说了。说一下sbt这里有坑。 在官网http://www.scala-sbt.org/download.html，下载压缩包解压比较快和方便。 2、...
2018-12-04 19:34:42
736
原创 kafka各种监控指标
kafka1.0.X 官网采集的监控指标：http://kafka.apache.org/0110/documentation.html#monitoring### Kafka性能指标#### kafka.serverBrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量BrokerTopicMetrics,name=BytesInPerSec:...
2018-11-30 14:01:48
11563
7
原创 JMX exporter采集kafka监控指标
配置kafka JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，指定9999端口暴露出来供采集。像配置kafka-manager采集，也是要做这个事情的。下载jmx_exporter 链接 https://github.com/prometheus/jmx_exporter, 将文件...
2018-11-30 10:13:58
7952
5
转载 kafka扩容 下线topic数据迁移限制带宽
转自kafka大神之作-推荐：http://orchome.com/510Kafka提供一个broker之间复制传输的流量限制，限制了副本从机器到另一台机器的带宽上限。当重新平衡集群，引导新broker，添加或移除broker时候，这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响。有2个接口可以实现限制。最简单和最安全的是调用kafka-reassign-partiti...
2018-11-28 17:42:38
1671
转载 监控你的java程序服务
当我们JAVA开发工程师开发一个服务或系统后，我们想监控JVM里面的各种资源情况，实现可视化和告警。可以使用prometheus+ grafana去做。环境系统：CentOS 7.5软件：jmx_prometheus_javaagent-0.3.1.jar客户端 下载jmx_exporter # mkdir -p /usr/local/prometheu...
2018-11-28 11:11:23
1106
原创 xshell 上传本地文件到所连接的服务器上
目标服务器是ubuntu，需要先安装 sudo apt install lrzsz然后，输入命令 rz -be 即可。
2018-11-27 15:23:48
1344
翻译 kafka工具包指南-翻译
Consumer Offset Checker This tool has been removed in Kafka 1.0.0. Use kafka-consumer-groups.sh to get consumer group details. Displays the: Consumer Group, Topic, Partitions, Of...
2018-11-25 16:25:53
378
原创 技术渣3个月挺进排名5w+，只要108天+90篇原创+36篇转载
写在文章前 从排名300w+到排名5w+，花了3个月多，108天，写了90篇原创，转载36篇。有点惊讶有点喜出望外。希望分享的真实经验可以有价值，对他人有帮助。开源、分享的路上，让国内的IT技术越来越靠近国际同行。 小广告--[本技术宅base在广州，有大数据技术相关沙龙可约] 正文 工作5年多，最开始工作的时候，...
2018-11-24 11:42:27
1828
2
转载 Elasticsearch 冷热分离
为了不浪费服务器资源（每台机器上均配置有SSD和大存储,且内存配置较高），提高ES读写性能，我们尝试进行了ES集群冷热分离的配置。测试环境 两台机器，均配置有SSD和SATA盘。每台机器上运行两个ES实例，其中一个实例配置data目录为SSD解压安装(两台机器) mkdir -p /data/mdware cd /data/mdware tar -zxf...
2018-11-23 18:13:35
1169
转载 ElasticSearch 5.X 最佳实践
转自大佬：https://www.jishux.com/p/2ccc199e939f5830Author: 袁野Date: 2018.01.05Version: 1.0注意事项：本文档所述为通用情况，不可作为特定业务参照； 本文档所述适用于 ELK 栈中的 ElasticSearch 优化； 本文档所述基于 elastic 公司的 5.2.1 版本； 本文档只描述最佳实践，...
2018-11-23 16:46:03
1638
转载 elasticsearch JVM优化配置-官网
Elasticsearch 默认安装后设置的堆内存是 1 GB。 对于任何一个业务部署来说， 这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题。 这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定 ES_HEAP_SIZE 环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。 比如，你可以用下...
2018-11-23 15:55:26
6278
1
docker全部学习资料个人总结
2017-09-07
hive学习资料大全 实战优化资源
2017-09-07
Kafka论文学习
2017-09-07
maven权威指南，最全资料
2017-09-07
power mockito学习资料
2017-09-07
activeMq资料学习
2017-09-07
netty学习资料
2017-09-07
python学习笔记
2017-09-07
shell命令常用shell命令
2017-09-07
storm学习资料
2017-09-07
在线通讯，多人聊天，在线客服弹窗源码
2012-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人