zhuchunyan_aijia的博客

原创 abc-123

http://codingdict.com/article/8880https://www.w3school.com.cn/python/python_examples.aspProcessor 并行度（Task） In Out Read Write ConsumeKafka 5 0(0 bytes) 97755(33....

转载 从 Cortana 到 Copilot，微软终于等到了属于它的时代

Kevin Scott 认为像 GPT-4 这样的基础模型很强大，非常强大，但它并不能做所有的事，这需要更多开发者将这样的技术应用到相对应的程序之中，把大语言模型作为构建程序的一部分，AI 才能创造出全新的用户体验。但不同的是，你不再需要花时间去学习和理解编程这门专属于计算机的语言，你只要用人类的自然语言把你的需求抛给它，它就能帮你解决。大语言模型的崛起，突破了传统的程序设计框架，AI 开始能理解我们的语言，预测我们的需求，甚至理解我们的情感，用数据和算法的力量解决了以前我们难以想象的问题。

转载 DORA指标

DORA 的全称是 DevOps Research and Assessment，是一个致力于 DevOps 调研与研究的组织高效能团队如何定义？可能每个人、每个组织都有不同见解。DORA 的做法是将研发团队表现分为三个方面：软件交付表现、运行稳定性表现和组织业绩表现。在软件交付表现方面，提炼出四个关键的结果性指标进行概括，这就是著名的 DORA 指标。DORA 指标包括部署频率（Deployment Frequency）：一段时间内应用程序部署到生产中的次数，代表研发团队交付价值的频率变更交付周期。

转载 RabbitMQ 脑裂丢数据

所谓的脑裂问题，就是在多机集群中节点与节点之间失联，都认为对方出现故障，而自身裂变为独立的个体，各自为政，那么就出现了抢夺对方的资源，争抢启动，至此就发生了事故。rabbitmq 脑裂问题，实质上是个网络分区问题，rabbitmq集群的网络分区容错性不好，在网络比较差的情况下容易出错，最明显的就是脑裂问题了。

原创 mysql 字符串分隔符通过循环获取数据

IF Instr(v_mailarray, v_mail) = 0 THEN // 如果此值已经存在,则不存储.相当去重。IF Length(Trim(v_mail)) > 0 THEN // 有值才赋值。//做一些处理 有个v_mail。

转载 mysql 多个字段拼接去重(GROUP_CONCAT)

在上述示例中，我们可以看到，使用GROUP_CONCAT或者CONCAT_WS函数可以将多个字段进行拼接，但是它们并不能去除重复的拼接结果。如果我们需要去除重复的拼接结果，可以使用子查询和DISTINCT关键字来实现。除了GROUP_CONCAT函数，MySQL还提供了CONCAT_WS函数，它可以将多个字段的值进行拼接，并使用指定的分隔符进行分隔。多个字段拼接去重是指将多个字段的值按照一定的规则进行拼接，并去除重复的拼接结果。MySQL提供了GROUP_CONCAT函数，可以用来将一列的值进行拼接。

原创 es: java-＞count统计、distinct去重

在过滤条件后,统计总数(count), dinsticn , count(distinct())

原创 es : java 查询

可以在字段上添加一个或多个排序，支持在 keyword、date、float 等类型上添加，text 类型的字段上不允许添加排序。

转载 JS cookie的设置、获取和删除

注意，若要修改的 Cookie 定义了 path 属性，在修改该属性时也要定义相同的 path 属性，否则会创建一个新的 Cookie。默认情况下，Cookie 可用于同一域名下的所有网页，但如果您为 Cookie 设置了 path 属性，那么 Cookie 就只能在该域名指定路径下的网页中使用，例如网站的域名为 c.biancheng.net，若 path 属性设置为。Cookie 并不会一直存在，默认情况下，Cookie 的生命周期就是浏览器的会话周期，即用户关闭浏览器后，Cookie 就会失效。

转载 7种Height的比较：screen.height, screen.availHeight, window.innerHeight, window.outerHeight, document.b...

转载 DOM 的属性

nodeType 属性返回节点的类型。nodeType 是只读的。nodeName 属性规定节点的名称。nodeValue 属性规定节点的值。

转载 childNodes 和 children 有什么区别？

childNodes会返回所有节点，包括HTML、Text、注释等等内容。

原创 前端开发工具: VSCode

下载最新版本的 VSCode 即可。所有插件安装后,需要重启一下才生效。

原创 使用yapi生成漂亮接口文档

从浏览器页面访问http://localhost:端口/服务/swagger-ui.html，然后打开浏览器的控制台，查看network，刷新下页面，找到XHR中的api-docs，然后查看response，此时这里面的内容就是想要的json。3. 导出的json 保存文档,导入yapi , 然后在导出即可。2. 从微服务中导出swagger的json。1. 进入yapi 的菜单。

转载 es系列:忽略大小写查询

对于elasticsearch查询忽略大小写的问题，官方给出了一个解决方案，使用normalizer来解决，normalizer是的一个属性，可以对keyword生成的单一term,query_string做进一步的处理，比如lowercase,小写转换，使用方式和自定义分词器有相似之处，需要自定义，具体步骤如下。所以注意:对已有索引中字段,增加normalizer属性, 新增数据或者更新的数据,查询是生效的.但是历史数据, 如果不更新,则不生效的. 所以你需要reindex处理。

转载 ES: 查询

filter context关注的是，文档是否匹配查询条件，结果只有两个，是和否。没有其它额外的计算。query context关注的是，文档到底有多匹配查询的条件，这个匹配的程度是由相关性分数决定的，分数越高自然就越匹配。match_phrase为按短语搜索，比如根据一个文本搜索：“我的宝马多少马力”，这个文本可能会被分词成宝马、多少、马力三个短语，只有同时满足这三个才能被搜索出来。精确查询，不会对输入做分词，如果输入的是"某某人"，则直接查询"某某人"，如果输入的是"某某事"，则直接查询"某某事"。

原创 ES: 设置默认值

在插入数据时候,给字段设置给默认值. 但问题是,后续也无法修改此字段. 这个应该很少有这个需求。选项允许您忽略没有mapping的字段，也不按它们排序。参数的值为该字段对应值的类型。这种场景一般不存在.因为index至少有一条数据存在此字段有值,mapper里面就有。告警个数字段不存在或者值为0的情况是等价的,排序上应该是平等的.对没有告警个数字段的默认设置0 , 那么排序的时候才正确。XX对象的告警个数字段是数字, 优先级字段是数字。一般用于排序时，该字段没有值，使用。不应该存在0的大于字段不存在的。

原创 ES:字符串排序,字符串按照数字排序

对一个字符串类型的字段进行排序通常不准确，因为已经被分词成多个词条了字段虽然是字符串,但是其实值是整数, 排序按照字符串转成整数排序解决方式：对字段索引两次，一次索引分词（用于搜索），一次索引不分词（用于排序）

原创 ES: 数据增,删,改,批量操作

文档的部分更新 | Elasticsearch: 权威指南 | ElasticES的新增和修改可以看做是一样，存在则修改，不存在则新增.修改数据的方式主要有两种。

转载 ES: Node角色以及使用方法

1> 对于大型集群来说，专用的。

转载 ES: 单主机部署多节点

4> 复制的elasticsearch文件夹下包含了data文件中示例一的节点数据，需要把示例二data文件下的文件清空。一定要将各个节点的值设置不同，否则会出现占用的情况。正常如果不修改，默认会分配值。一台服务器只能有一个主节点，所以在实例二的配置文件中可以添加。1>将node.name: node-1 修改为 node-2。2> 修改了配置文件的。3> 是因为默认情况下。

转载 excel: 用Excel制作旋风图

用Excel制作旋风图

转载 mongo BasicDBObject.parse 解析json报错

报错:原因:json是字符串的情况,存在\ 或者 双引号, 导致解析报错\"33\"}";或者\22233\"}";{"videos":[{"vid":26975741,"pid":0,"mid":61733563,"name":"《乐高大电影：蝙蝠侠》新曝预告 蝙蝠侠成"熊孩子"爹"}]}解决方案:保存数据的时候，用正则表达式把英文双引号替换为中文双引号value=value.replaceAll("\"","");

转载 通过docker overlay2 目录名查找对应容器名

如图所示，占用空间最大的目录为bff25099a59b0fc8addd06f9223872f2904256f0432b3c3c47b58faef167115f。1.首先进入到 /var/lib/docker/overlay2 目录下,查看谁占用的较多。输出依次为，进程pid、容器ID、容器名、存储work路径，即可确定是哪个容器。2.再通过目录名查找容器名。

转载 rabbitmq: [AMQP Connection 192.168.31.41:5672] ForgivingExceptionHandler - An unexpected connection

rabbitmq: [AMQP Connection 192.168.31.41:5672] ForgivingExceptionHandler - An unexpected connection

转载 keepalived无法执行vrrp_script配置中的脚本

keepalived无法执行vrrp_script配置中的脚本

原创 keepalived+nginx,haproxy

keepalived+nginx

转载 MongoDB开启分片后数据分布不均匀

MongoDB开启分片后数据分布不均匀

转载 MongoDB 极速本地复制collection (表复制)

MongoDB 极速本地复制collection (表复制)

转载 docker 中启动java微服务报错:java.lang.OutOfMemoryError

docker 中启动java微服务报错:java.lang.OutOfMemoryError

原创 git: Could not resolve hostname : Name or service not known

git: Could not resolve hostname : Name or service not known

转载 spriongboot-kafka 防止消费速度过慢触发rebalance而导致的重复消费

org.apache.kafka.clients.consumer.CommitFailedException:Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member.This means that the time between subsequent calls to poll() was longer than the conf..

转载 ssh:登录服务器，就自动退出

ssh

原创 记一次mongo磁盘太大,查看collect大小进行处理

记一次mongo磁盘太大,查看collect大小进行处理

原创 记一次失败的mongo迁移

记一次失败的mongo迁移

转载 Kafka消息保留机制

运行机制生产者保存到broker中的消息，会保存在本地的logs/__consumer_offsets-xx/00000000000000000000.log文件中。默认情况，这些文件不会永久保留，当超过了保留时间或体积后，kafka会对这些文件进行删除。首先，根据log.retention条件判断，以segment为单位，判断该segment是否为可删除。如果满足条件，将其标记为可删除。并且在日志文件cleaner-offset-checkpoint中记录当前清理到的位置。由组件Lo

转载 es系列:分页查询

1.from + size这种分页方式，在分布式的环境下的深度分页是有性能问题的，一般不建议用这种方式做深度分页GET kibana_sample_data_flights/_search{ "from": 10, "size": 2, "query": { "match": { "DestWeather": "Sunny" } }, "sort": [ { "timestamp": { "order": ..

转载 ES: exists查询 (must_not)

原因：查询文档，可以看到，默认设置最大查询数量是10000.解决方案：我们可以直接利用kibana工具，直接执行以下请求即可：PUT idx_user_info/_settings{ "index":{ "max_result_window":1000000 }}...

转载 es系列：获取按条查询出来真实的总数

elasticsearch版本7.x如果查询的结果大于1w条，则在total上的总数只是返回1w，如果想要获取真实的总数方法1： "track_total_hits": truePOST myindex/_search{ "track_total_hits": true, "query": { "match_all": { } }, "size": 2}如果是要在java中进行跟踪真实的查询结果总数:searchSourceBuilder.tr

转载 es系列：返回值数量超过10000条解决方式

修改集群配置config/elasticsearch.yml 文件增加如下配置max_result_window: 100000注意: :号和数值之间要有个空格修改完配置，重启集群即可