- 博客(177)
- 收藏
- 关注
RSS订阅原创 mongodb：聚合与管道
说明：下述是针对my_test_collection集合进行聚合，依次经过$match–>$sort–>$skip–>$group管道处理，MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。过滤name=“小明” && (age=12 or age =17)的文档；按照age字段分组，同时配合使用。跳过一个文档，返回剩下的文档；根据age字段降序排列；计算每个年龄的文档数量。
2023-05-23 11:14:23
786
原创 shardingsphere: SpringBoot整合shardingjdbc实现读写分离
shardingsphere-shardingjdbc读写分离
2022-10-28 19:27:43
1121
1
原创 Elasticsearch: Query string与Simple query string
Elasticsearch Query String
2022-08-31 19:21:42
890
原创 上传文件时，服务器报错：IOFileUploadException: Processing of multipart/form-data request failed. 设备上没有空间
SpringBoot上传文件时，服务器报错
2022-06-27 11:25:44
3195
1
原创 MySQL与PostgreSQL抓取慢sql的方法
MySQL中抓取慢SQL查看慢查询相关配置show variables like '%quer%';slow_query_log: 表示是否开启慢查询日志slow_query_log_file: 指定慢查询日志存储在哪个日志文件中long_query_time: 表示多长时间的查询被认定为"慢查询"。默认值：10slog_queries_not_using_indexes: 表示如果运行的sql没有使用到索引，是否也被当做慢查询语句记录到慢查询日志中。log_throttle_qu
2022-05-24 17:59:41
785
原创 elasticsearch: script查询的一些简单用法
script字段值过滤查询indexName索引中，name==‘测试’ && fieldName字段值的长度>2的文档GET /indexName/_search{ "query": { "bool": { "must": [ { "match_phrase": { "name": "测试" } }, { "script":
2022-05-23 11:19:54
2178
原创 分享idea中一些好用的插件
1. ExcelReader可以不用打开外部应用，就可阅读.xls/.xlsx文件2. CSVcsv阅读器3. EasyYapi无代码侵入，获取完整的api文档4. Free MyBatis plugin方便跳转mybatis mapper5. GenerateAllSetter一键调用生成一个对象的所有的set方法6. Lombok@Data、@Getter等注解7. Maven Helper更方便的分析或排除冲突的maven依赖8. any-rule正则表达式8. Tra
2022-05-17 14:11:20
388
原创 Kafka(三)：kafka消费者
文章目录1. 消费方式2. 消费者总体工作流程2.1 消费者组2.2 消费者组初始化流程2.3 消费者组详细消费流程3 消费者重要参数1. 消费方式pull(拉)模式consumer采用从broker中主动拉去数据kafka采用这种方式不足之处：如果kafka没有数据，消费者可能会陷入循环之中，一直返回空数据push(推)模式kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率2. 消费者总体工作流程2.1 消费者组由多个consumer组
2022-05-09 23:55:13
3095
原创 kafka(三)：kafka broker
文章目录1. broker总体工作流程2. Broker重要参数3. broker节点的服役和退役3.1 服役新节点3.2 退役旧节点4. kafka副本与leader选举4.1 副本基本信息4.2 leader选举流程4.3 kafka分区副本分配4.4 leader分区负载平衡问题4.5 增加副本5. 文件数据存储5.1 topic数据的存储机制5.2 .log和.index文件说明5.3 文件清理策略5. 高效读写数据1. broker总体工作流程2. Broker重要参数参数名称描
2022-05-08 23:03:46
761
原创 Kafka(二)：生产者
1. 生产者消息发送流程1.1 发送原理在消息发送的过程中，涉及到两个线程——main线程和sender线程。在main线程中创建了一个双端队列RecordAccumulator，main线程将消息发送给RecordAccumulator，sender线程不断从RecordAccumulator 中拉取消息发送到kafka broker中1.2 生产者重要参数列表参数名称描述bootstrap.servers生产者连接集群所需的broker地址清单。可以设置 1 个或者多个，
2022-05-07 18:01:02
674
原创 Kafka(一)：概述
1. Kafka定义传统定义：kafka是一个分布式的基于发布/订阅模式的消息队列发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息最新定义：kafka是一个开源的分布式事件流平台，被多家公司用于高性能、流分析、数据集成和关键任务应用2. 传统消息队列应用场景缓存/消峰有助于控制和优化数据流经系统的速度，解决生产者和消费者处理速度不一致的情况解耦允许独立的扩展和修改两边的处理过程，只要确保它们遵守同样的接口约束
2022-05-07 16:58:52
511
转载 长时间没有请求es,请求后报错:java.net.SocketTimeoutException: 30,000 milliseconds timeout on connection http-outg
1. jar版本elasticsearch-rest-high-level-client 7.12.12. 问题SpringBoot项目启动后，长时间没有进行接口调用(没有执行es请求)，突然进行接口调用时(es请求)报错2022-05-06 13:10:57.342 ERROR 30118 --- [io-10000-exec-9] c.c.e.controller.ImportDataController : 出现未知异常:java.net.SocketTimeoutException:
2022-05-06 16:04:53
8244
原创 将中文转换成拼音
1. 背景由于项目需要根据拼音字符进行搜索中文，本博客特为此提出解决方案2. 方案1使用pinyin4j将中文处理成拼音的形式存入数据库中引入依赖 <dependency> <groupId>com.belerweb</groupId> <artifactId>pinyin4j</artifactId> <version>2.5.1<
2022-04-01 16:30:23
1191
原创 Kafka服务器命令总结
1. 生产者相关发送消息（这里注意不能使用localhost，要使用指定ip）[root@iZ2zedqr9yeos47fg4uor5Z kafka_2.12-2.8.0]# bin/kafka-console-producer.sh --broker-list 172.24.10.198:9092 --topic test>a>b2. 消费者相关消费消息[root@iZ2zedqr9yeos47fg4uor5Z kafka_2.12-2.8.0]# bin/kafka-
2022-03-31 11:55:36
2835
转载 Kafka单机搭建、内网可以访问但外网无法访问的问题处理
1. kafka单机搭建https://www.cnblogs.com/XMYG/p/15242105.html2. 在centos7中搭建完成kafka后，windows环境下连接kafka失败，无法发送消息2022-03-22 21:07:52.195 WARN 41828 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Connection to no
2022-03-22 21:43:19
360
原创 Java解析XML的一些个人总结及感悟。(webService、xml、xsd)
1. 个人总结使用SpringBoot搭建的Soap webService与webClient项目可以参看我写的另外两篇文章：（1）webService（2）webClient但是对于上面两篇文章的Spring-Web-Service搭建和使用过程中，我发现有的时候在接收soap请求时总是那么不尽人意，按照教程可以轻松的通过@RequestPayload实现soap请求到java实体类的映射，但是在个人开发中有的时候会碰到各种意想不到的问题。对于上面遇到的问题，突然想到如果采用传统的接口方式去
2022-03-21 17:58:47
966
1
原创 SpringSecurity：密码登录与token登录过程理解
1. 用户名密码登录登录成功输入用户名、密码点击登录后，我看到的流程（1）先经过UsernamePasswordAuthenticationFilter中的attemptAuthentication(HttpServletRequest request, HttpServletResponse response)（2）然后UserDetailsService中的loadUserByUsername(String username)（3）最后UsernamePasswordAuthenticat
2022-03-09 17:40:57
905
原创 k8s(八)：核心技术helm
文章目录1. 背景2. 介绍3. 使用helm可以解决哪些问题4. 核心概念1. 背景k8s上的应用对象，都是由特定的资源描述组成，包括deployment、service等，都保存在各自的文件中或集中写在一个配置文件中，然后kubectl apply -f 进行部署。如果应用只由一 个或几个这样的服务组成，上面部署方式足够了。而对于一个复杂的应用，会有很多类似 上面的资源描述文件，例如微服务架构应用，组成应用的服务可能多达十个，几十个。如 果有更新或回滚应用的需求，可能要修改和维护所涉及的大量资源文件
2022-02-21 14:21:23
407
原创 k8s(六)：配置管理与集群安全机制
1. 配置管理1.1 SecretSecret的主要作用就是加密数据，然后存在etcd里面，让Pod容器以变量或挂载Volume方式进行访问场景：如用户名 和 密码进行加密，凭证一般场景的是对某个字符串进行base64编码 进行加密[root@iZ2zedqr9yeos47fg4uor5Z ~]# echo -n 'admin' | base64YWRtaW4=1.1.1 变量形式挂载到Pod创建secret加密数据创建secret加密数据的yaml文件 secret.yaml执
2022-02-13 21:51:37
3064
原创 k8s(五)：核心技术-Service
文章目录1. 概述2. service存在意义3. Pod与Service关系4. 常用的Service类型1. 概述Service是k8s的核心概念，通过创建Service，可以为一组具有相同功能的容器应用提供一个统一的入口地址，并且将请求负载分发到后端的各个容器应用上2. service存在意义防止pod失联（即：服务发现的功能）定义一组Pod访问策略（即：负载均衡）3. Pod与Service关系根据label和selector标签建立关联的4. 常用的Service类型
2022-02-12 20:54:10
606
原创 k8s(四)：核心技术-Controller
文章目录1. 什么是controller2. Pod和Controller的关系3. deployment控制器应用场景4. 使用deployment部署一个应用5. 应用升级回滚和弹性伸缩1. 什么是controller在集群上管理和运行容器的对象，它是实际存在的，不像pod是抽象的可以进行有状态应用部署和无状态应用部署2. Pod和Controller的关系Pod是通过Controller实现应用的运维，比如伸缩，滚动升级等等Pod和Controller通过label建立关系3.
2022-02-12 00:37:19
2015
原创 k8s(三)：命令行工具kubectl与核心技术Pod
1. kubectl1.1 概述是k8s集群的命令行工具，通过kubectl能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署；1.2 kubectl命令语法kubectl [command] [TYPE] [NAME] [flags]command: 指定要对资源执行的操作。例如：create、get、describe 和 deleteTYPE：指定资源类型，资源类型是大小写敏感的，开发者能够以单数、复数和缩略的形式。例如：kubectl get pod pod1kub
2022-02-09 23:00:23
1160
原创 Pg报错: HikariPool-1 - Connection is not available, request timed out after 30040ms.问题处理
1. 问题背景数据批量入库时，报错：HikariPool-1 - Connection is not available, request timed out after 30040ms.2. 问题处理yml配置文件中加入hikari配置： datasource: driver-class-name: org.postgresql.Driver url: jdbc:postgresql://ip:port/dbName username: aaa password:
2022-01-29 14:21:53
3118
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人