- 博客(75)
- 收藏
- 关注
RSS订阅原创 Mysql查询优化过程
增加 taskstatus controlstate target 联合复合索引。数据查询发现耗时还是慢查询13s，因为order by 增加了endtime列。由此可见，在表数量级及部分情况时，复合索引效率会比单列索引查询效率高很多。explian 执行函数 发现走单列索引 target索引 耗时13s。增加4列联合复合索引后，查询耗时0.8s。count SQL耗时 0.1s。增加endtime列至复合索引中。
2023-05-29 11:40:50
123
原创 客户端请求耗时严重原因排查优化 (Nginx导致)
观察网关1和网关2 request_time 和upstream_response_time 差异⽐较⼤。upstream_response_time ⽐较⼤，证明 【⽹关1】和【机器】之间⽹络传输时间延迟很⾼。2.检查客户端请求耗时和project api 接口耗时差异，判断是nginx问题还是接口问题。nginx日志全天耗时汇总监控IP耗时排行，发现存在共性IP，判断为跨机房网络传输导致。1.检查网络连接，是否实现丢包，网络波动，网络拥堵等问题。决定对差异较⼤的IP进⾏分析，观察是否有共性。
2023-04-23 16:58:39
2053
原创 记录一次docker项目连接不上docker mysql的问题
异常如下：CommunicationsException: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server做了个demo项目运行dockerfile打包镜像容器并运行抛出了如上异常本地可以连接项目并启动打包镜像和容器运行后 docker
2021-06-23 11:27:49
752
原创 记录docker-Skywalking集成es7异常处理
遇到的问题：es7容器启动成功skywalking的oap容器启动一直在restart 启动失败处理过程：1.docker logs oap容器ID2.对应处理解决PUThttp://192.168.1.10:9200/_cluster/settings{“transient”: {“cluster”: {“max_shards_per_node”:10000}}}正常启动：...
2021-06-22 16:52:43
624
原创 记录一次@Transactional问题处理
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-06-15 11:27:18
135
原创 多个字段条件相同进行分组并过滤拼装SQL
select posts,term,user_name,GROUP_CONCAT(put_department) put_dept from hrbp_info group by posts,term,user_name having count(*)>1
2021-03-08 11:34:48
455
原创 Flink1.12.0使用过程中遇到的异常
1.Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'?解决办法： 时间窗口事件选择此方法，Time导包也需要注意，不是common.api的那个...
2021-01-20 16:14:48
2041
原创 mysql order by按照汉字拼音进行排序
Mysql的处理办法是：SELECT * FROM user_info ORDER BY CONVERT(user_name USING GBK) ASC;
2020-11-23 16:27:13
506
原创 Linux项目第一次访问非常慢，后来很快的异常
最近项目本地访问和测试服务器访问都没出现访问很慢的问题。近期要上生产部署，所以对生产环境的组件及各服务进行了部署，部署完成后进行测试发现请求耗时异常比如一个订单查询请求，第一次请求耗时5m 或者15s 而且很有规律，不多不少，然后后端耗时就会变快遇到这个异常问题：1.第一反应感觉像sql缓存的样子，但是生产环境数据库数据量很少，以及druid监控sql耗时很少，所以排除2.第二反应是生产组件nacos或者sentinel的新部署导致的rpc远程调用耗时，但是观察sentinel远程服务请
2020-11-16 10:21:53
754
原创 Druid的外网访问异常
本地启动访问无异常，部署至Linux服务器后无法访问 #合并多个DruidDataSource的监控数据 use-global-data-source-stat: true stat-view-servlet: login-username: admin login-password: admin reset-enable: false url-pattern: /druid/* # 添加IP白..
2020-11-16 09:37:19
524
原创 Nacos版本升级1.1.3 ＞＞ 1.3.1 —＞再升级至1.3.2
前段时间进行了版本升级，springboot ，springcloud ，spring cloud alibaba都进行了版本调整当时nacos并未进行调整，再测试项目运行过程中，nacos版本不匹配，导致抛出很多nacos的请求异常并且nacos的1.1.3版本中的服务无法进行删除，导致很多不小心注入的服务无法进行删除，虽然不影响使用，但是看着不是很舒服看nacos和springcloud alibaba版本对应关系推荐的是1.2.2但是我们对nacos版本还是决定稳定版本且使用较多的
2020-11-09 10:14:06
2148
原创 sentinel控制台无数据解决
本地开发sentinel控制台有数据显示，部署至linux服务器后，无数据显示可能出现的原因有如下可能：1.linux系统时间 和 控制台所在的系统时间不一致导致date看一下，解决系统时间问题2.是端口防火墙问题生产环境对防火墙端口有诸多限制，所以需要需要集成sentinel的微服务所在的linux服务器的防火墙端口需要放行如下:8719 8720可在sentilnel控制台日志目录下的sentinel.log的文件中查看异常信息，进行放行端口3.clo...
2020-11-02 13:44:49
4214
1
原创 记录一下alibaba cloud boot 版本对应关系
https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E
2020-11-02 11:33:04
722
原创 springboot版本升级导致webservice调用失败org.apache.cxf.common.jaxb.JAXBUtils.createMininumEscapeHandle
很感谢这位作者的文章https://blog.csdn.net/q340505050518/article/details/105394315近期对项目版本进行升级原项目版本从 Springcloud alibaba 2.1.0 Spring cloud Greenwich SpringBoot 2.1.3版本升级，一开始升级的版本是：Springcloud alibaba 2.2.0.RELEASE Spring cloud Hoxton.SR1 Sprin...
2020-11-02 11:00:44
1145
原创 多数据源处理-苞米豆-dynamic
微服务项目虽然每个服务可以单独使用一个库，但是某些特定服务，如调度中心服务，定时任务等，如果还是使用rpc或者fegin频繁进行远程调用，总感觉不是很合适所以对单服务进行了多数据源处理使用的是苞米豆的 dynamic-datasource-spring-boot-starter<!-- dynamic 多数据源--> <dependency> <groupId>com.baomidou</groupId>
2020-10-29 11:40:05
1997
原创 远程调用，限制请求超时时间处理
HttpClient处理HttpClient httpClientpost = new DefaultHttpClient();String Posturl="xxx";HttpPost httpPost = new HttpPost(Posturl); RequestConfig ReqConfig = RequestConfig.custom().setConnectTimeout(1000) //连接超时时间 .setConnectionRequestT.
2020-10-26 09:35:47
1458
原创 记录一次StackOverflowError问题
StackOverflowErrorIdea启动一直抛出StackOverflowError栈溢出，大概率是跟刚写的代码相关public class WebServiceConfig { private static WebServiceConfig cfg = new WebServiceConfig(); // Web服务的URL private String address; // Web服务接口 private Class serviceCla
2020-10-21 15:00:44
140
原创 特殊表情存数据库处理
开发途中遇到评价的功能，需要存入表情符号比如：以及这种存入数据库的时候会抛出异常，\x86\啥的百度解决办法是 数据库改utf8mb4 但是测试改表的字符集并没有用，然后我也没敢改库的字符集仍然使用utf8我的解决办法是代码层面的处理，进行URLEncoder转码 和URLEncoder 解码：/** * @Description emoji表情转换 * @param str 待转换字符串 * @return 转换后字符串 * @throws Unsupp.
2020-10-09 18:22:07
242
原创 使用Nacos项目jar包启动抛出的yml异常
记录一下项目jar包启动时一直抛出nacos yml编译错误的问题一开始抛出yml的问题，是编码问题，但是又不知道Nacos里怎么配置编码格式。所以我只能把nacos中配置文件里的注释含泪删除调试试看打包 jar包启动，咦真的少了很多但是有一个异常提示mysql驱动 classnotfound心态崩了啊，然后转进牛角尖了，一直在想办法处理这个驱动异常方向错了啊。一开始定位的编码异常问题就是根本所在因为我一直是java -jar xxx.jar 打包后本地启动测试看看有啥问题没再上
2020-09-28 09:36:39
1468
1
原创 项目搭建Nacos及遇到问题解决
新项目决定用SpringCloud Alibaba组件作为基础架构搭建微服务架构Nacos作为服务注册与发现中心，和eurake有些区别，首先是CAP原则，eurake属于高可用AP，nacos属于一致性CP。其次eurake的使用是在代码中创建项目并整合入其中，Nacos则不同，属于独立解耦的服务器，所以需要提前搭建Nacos并启动，项目中配置对应nacos信息就可以遇到问题:基本组件搭建完成并启动访问了nacos,但是启动时异常日志：exception.NacosExcep.
2020-09-16 14:11:26
720
原创 Nacos配置文件覆盖问题
近期新项目上cloud alibaba架构 用的注册和配置中心就是用的nacosNacos作为配置中心给我的感觉也是不是很好用，大概配置中心都不是很好用吧，可能用多了会好点首先说一下遇到的问题，nacos有几个范围性的概念 我就不说了1.首先是命名空间隔离，也就是区分环境2.group组的概念 你的配置文件可以配置到组进行分项目使用3.配置文件扩展 扩展配置文件优先级4.组配置文件优先级具体遇到的问题是这样的2个配置文件,spring-boot文件是模板文件， 想着cl.
2020-08-25 17:54:52
7275
原创 SpringBoot编写sh脚本进行启停
SpringBoot项目可以使用内嵌tomcat的jar包启动方式也可以选择war包配置等等进行外置tomcat部署启动我这里记录一下内嵌tomcat的jar包启动方式及shell脚本maven clean package 打jar包本地Java -jar xxx.jar启动测试，如果提示没有主方法入口等问题，建议百度进行解决将jar包上传到linux服务器确保Liunx环境又jdk运行环境，java -version，没有百度进行安装配置shell脚本中也可以进行export ..
2020-08-20 14:28:09
1242
原创 EasyExcel项目使用
2.0.5版本做了很大改变，记录2.1.6的所使用的工具类及方法1.easyExcel的pom坐标 <!-- easyexcel --> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.6&..
2020-08-05 17:01:28
928
原创 开发中遇到的bug记录
1.启动类启动提示Mapper无法注入启动来上注解@MapperScan(basePackages = "com.xxx.xxx") 注意包路径2.启动类启动提示datasource 的url等无法识别注入datasource配置文件配置的druid数据源，注意Pom文件配置druid的pom坐标3.datasource的bean注入爆红线无法注入@Qualifier("dataSource")@Autowiredpublic DataSource dataSource;
2020-07-31 00:23:39
131
原创 NAT模式下虚拟机与主机网络关系配置
哎，又是烦人的网络关系耽误了好长时间。当前情况是使用NAT模式使得主机与虚拟机与外网连通具体配置如下：这是VM上配置如下是虚拟机ip配置vi /etc/sysconfig/network-scripts/ifcfg-ens33vi /etc/resolv.confservice network restart...
2020-07-30 00:02:33
264
原创 算法练习一：求最小公倍数
求最小公倍数， 两个数的乘积=2个数的最大公约数*最小公倍数最大公约数的求法：辗转相除法。2个数a和b，最大公约数等于a/b的余数r和b的最大公约数， 如果r余数为0则b为最大公约数private static int gcd(int a ,int b){ if(b == 0) { return a; } return gcd(b,a%b);}/** * 求最小公倍数， 两个数的乘积=2个数的最大公约数*最小公倍数 * @param m .
2020-07-01 15:45:59
298
原创 Ribbon中的负载均衡算法实现
Ribbon响应时间权重负载均衡算法，假设有3台服务器A,B，C响应时间为10，40，80ms。算法公式：weighsofar + 总响应时长- 本服务器平均响应时长A：0+130-10=120B:120+130-40=210C:210+130-80=260将3个轮询数值放入数轴模型，0 ---260 分为A（0-120）数值段，B（120-210），C(210-260)当请求来时，随机出1个0-260的数，然后数值在哪个时间段就将请求落到哪个服务器/...
2020-06-15 14:53:39
511
原创 对Kafka的总结
定位：kafka是一款分布式，高吞吐量，基于发布/订阅的消息中间件。核心组件：broker：kafka服务器，负责消息的存储和转发。topic：主题，消息的类别，kafka按照topic分类消息。partition:分区，一个topic可以有多个partition分区，topic中的消息保存在各个partition上。offset：偏移量。消息在kafka消息文件中的位置，可以理解为消息在partition上的偏移量，也是代表该消息的唯一序号。producer:消息的生产者。co
2020-06-15 13:57:57
225
原创 关于feign开启hystrix导致用户鉴权失败
关于feign开启hystrix熔断导致用户鉴权失败的原因是：feign的hystrix熔断默认机制是线程池隔离。而代码在获取用户权限信息时又是线程池处理，所以导致每次获取用户信息为null.处理办法是：变更hystrix的隔离策略为信号量策略。SEMAPHORE...
2020-05-27 15:45:10
328
原创 关于ElasticSearch处理过滤条件
在用es做搜索时通常会遇到很多条件过滤查询，以及一些复杂的请求参数过滤。简单以一组数据类型举例。请求参数为: {关键字:关键字，品牌：品牌，分类：分类，规格：{规格1：规格1，规格2：规格2...}}在query处理时当然用组合查询boolQueryBuild进行组合处理关键字时，关键字可分词boolQueryBuild.must(QueryBuilders.queryStringQuery("关键字").filed("列名"))处理品牌和分类时，品牌和分类不分词boolQuer..
2020-05-27 10:11:45
988
原创 数据同步的解决方案Canal
Canal实现数据同步的原理：1.是根据模拟mysql slave的主从交互协议，伪装自己是mysql slave，向mysql master发送dump请求。2.mysql master收到dump请求后,开始推送 binary log给canal3.canal解析binary log对象（原始byte流）处理。mysql开启binlog模式(1)查看当前mysql是否...
2020-01-17 15:05:46
874
原创 OpenResty（nginx）限流配置实现
一般情况下，首页的并发量是比较大的，即使有了多级缓存，如果有大量恶意的请求，也会对系统造成影响。而限流就是保护措施之一。nginx提供两种限流的方式： 一是控制速率 二是控制并发连接数 控制速率控制速率的方式之一就是采用漏桶算法。漏桶算法实现控制速率限流漏桶(Leaky Bucket)算法思路很简单,水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率...
2020-01-16 17:27:10
657
原创 OpenResty+Lua+redis+mysql实现高性能高可用限流缓存
OpenResty(又称：ngx_openresty) 是一个基于 NGINX 的可伸缩的 Web 平台.并发性能可在10k-1000kOpenResty安装1.添加仓库执行命令yum install yum-utilsyum-config-manager --add-repo https://openresty.org/package/centos/openresty.re...
2020-01-16 17:08:52
878
原创 Lua安装
安装lua运行环境yum install -y gccyum install libtermcap-devel ncurses-devel libevent-devel readline-develcurl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gztar -zxf lua-5.3.5.tar.gzcd lua-5.3.5make l...
2020-01-16 16:57:53
131
原创 fastDFS页面浏览器缓存解决
在使用fastDFS做文件系统时，图片浏览器缓存影响删除结果显示。解决办法如下:在fastDFS的容器中的nginx配置禁止浏览器缓存:
2020-01-10 16:30:23
663
原创 @Transactional事务不生效问题解决(springboot)
springboot事务不生效的几种解决方案最近在业务中遇到了很奇怪的场景,在加上 @Transactional注解后,插入2条数据,如果第二条出异常了,第一条不会回滚,排查了很久,上网也找资料看了很久,问题得以解决,总结了事务不生效的几点可能的原因:mysql的MyISAM引擎不支持回滚,如果需要自动回滚事务,需要将mysql的引擎设置成InnoDB;在业务中抛出异常时,本应该被事务...
2019-12-17 10:23:10
500
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人