6 九师兄

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 186

【Kafka】Kafka 修改某个消费组的偏移量

1.概述有这么一种情况,假设你的flink任务在运行中,但是,因为某一个时刻,日志突然暴增,但是你的数据又不是特别重要的,比如日志数据,但是你的分析结果又需要实时性,此时可以丢弃一些数据,让数据保持实时,但是最好是flink任务不重启,该怎么做呢?2.查看消费组查看有那些消费者group# 0.8版本及以下的的kafka 使用如下命令查看有那些消费者group./kafka-consumer-groups.sh --zookeeper localhost:2181 --list# 0.9版本.

2020-10-22 22:52:19

【Elasticsearch】elasticsearch 常用 API 介绍

1.概述这里是积累各种API1.1 通用参数详细信息:每个命令接受查询字符串参数v,以开启详细的输出。帮助信息:每个命令接受查询字符串参数help,输出可用的列。头部:每个命令接受查询字符串参数h,只列出指定的列。数字格式:不管是字节值还是时间值,很多命令提供了多种类型的数字输出,以便人性化的查看。可以通过bytes参数来改变这种方式,以利于后续的操作,如排序,将数据统一在同一个级别上。集群健康 /_cat/health查看集群状态。有一个ts选项禁用时间戳。获取每个节点一致性的状态.

2020-10-22 22:15:18

【Elasticsearch】日志 慢日志

1.概述官网,走起

2020-10-21 23:30:35

【Java】Java之Collections.emptyList()、emptySet()、emptyMap()的作用和好处以及要注意的地方

1.概述2.好处如果你想 new 一个空的 List ,而这个 List 以后也不会再添加元素,那么就用 Collections.emptyList() 好了。new ArrayList() 或者 new LinkedList() 在创建的时候有会有初始大小,多少会占用一内存。每次使用都new 一个空的list集合,浪费就积少成多,浪费就严重啦,就不好啦为了编码的方便。比如说一个方法返回类型是List,当没有任何结果的时候,返回null,有结果的时候,返回list集合列表。那样的话,调用这个.

2020-10-21 23:20:11

【Elasticsearch】es查看有问题的索引或者分片

1.概述转载:https://blog.csdn.net/UbuntuTouch/article/details/108973356当es集群我们可以使用如下的命令来对集群进行查看:GET _cluster/health?level=indices上面的命令可以让我们定位到到底是哪一个或者哪一些索引有问题。上面的命令显示的结果为:从上面我们可以看出来 restored_logs_4 这个索引是有问题的。它显示的状态为 red,也即是红色。我们也可以对 shard 进行查询:GET _c.

2020-10-21 23:10:04

【Elasticsearch】解除索引只读限制

1.概述磁盘满了服务器 空间满了,导致 ES 自动设置了只读限制在此之前,先清空多余的日志在elasticsearch 目录下 进入 logs 文件夹,清空后缀为 .gz和 gc.log.xx (xx为任意字符) 的文件如下命令可以解除只读限制curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete":.

2020-10-21 22:40:53

【kafka】kafka 零拷贝 技术

https://blog.csdn.net/qq_34827674/article/details/108756999?utm_medium=distribute.pc_feed.none-task-blog-personrec_tag-7.nonecase&depth_1-utm_source=distribute.pc_feed.none-task-blog-personrec_tag-7.nonecase&request_id=5f6bb50098fa0775e7dbf512

2020-10-21 22:10:49

Elasticsearch 节点磁盘使用率过高,导致ES集群索引无副本

1.概述转载:https://www.cnblogs.com/operationhome/p/12150530.html2.问题最近在查看线上的 es,发现最近2天的索引没有副本,集群的状态也是为 yellow 的。3.问题的原因es 所在的服务器磁盘是还有剩余空间的。只不过磁盘使用了大概 89%,按道理来说应该是会继续使用的,并创建索引的副本的,我们经过查阅官方文档。cluster.routing.allocation.disk.watermark.lowControls the low.

2020-10-20 23:06:28

【Json】JSONPath之fastJson与Snack3的使用介绍与区别

文章目录1.概述2. JSONPath介绍2.1. API2.3. 支持语法2.4. 语法示例2.5. API 示例2.5.1 例12.5.2 例22.5.3 例32.5.4 例42.5.5 例52.5.6 例62.5.7 例73.Snack3 之 Jsonpath使用3.1 Snack3 和 JSONPath 介绍3.2 接口3.3 支持语法3.4 语法示例说明3.5 接口使用示例3.5.1 示例1:3.5.2 示例23.5.3 示例33.5.4 示例43.5.5.示例53.5.6 示例63.5.7 示例

2020-10-18 23:27:32

【Elasticsearch】es如何停用节点

1.概述从活动集群中停用节点。 这种情况下的主要挑战之一是在不导致群集停机或重启的情况下停用节点。 幸运的是,Elasticsearch 提供了一个选项,可以在不丢失数据或不会造成停机的情况下,优雅地删除/停用节点。 让我们看看如何实现它:PUT _cluster/settings{ "transient": { "cluster.routing.allocation.exclude._ip": "IP of the node" }}上面的 API 使集群停止分配任何东西到指定节点并排.

2020-10-18 20:44:34

【Elasticsearch】cannot allocate because allocation is not permitted to any of the nodes

1.概述转载:https://www.cnblogs.com/gqdw/p/12632585.html0.现象es 集群报red ,有unassigned shared ,用命令 curl localhost:9200/_cat/shards |grep UNASSIGNED 可以查看。即使你马上加节点,还是没有改善。新节点并不会正常工作,可能跟集群red有关系。1.根本原因节点磁盘不足,导致某些分片无法分配,一般情况下都有集群会有水位设置,比如说可以设置50G或者到85%的时候就不往里写数据

2020-10-18 10:08:29

【kafka】Kafka常用JMX监控指标整理

1.概述转载:https://cloud.tencent.com/developer/article/1554002一、系统相关指标1.系统信息收集java.lang:type=OperatingSystem{"freePhysicalMemorySize":"806023168","maxFileDescriptorCount":"4096","openFileDescriptorCount":"283","processCpuLoad":"0.0017562901839817224","s.

2020-10-16 18:31:54

【Kafka】Kafka集群扩展以及重新分布分区

1.概述转载:https://www.iteblog.com/archives/1611.html我们往已经部署好的Kafka集群里面添加机器是最正常不过的需求,而且添加起来非常地方便,我们需要做的事是从已经部署好的Kafka节点中复制相应的配置文件,然后把里面的broker id修改成全局唯一的,最后启动这个节点即可将它加入到现有Kafka集群中。但是问题来了,新添加的Kafka节点并不会自动地分配数据,所以无法分担集群的负载,除非我们新建一个topic。但是现在我们想手动将部分分区移到新添加的K.

2020-10-16 18:31:23

【JSON】FastJson 打印输格式化输出

1.概述官网测试:添加链接描述https://blog.csdn.net/lwg_1540652358/article/details/84111339

2020-10-13 22:52:53

【Linux】tail: inotify cannot be used, reverting to polling: Too many open files

1.概述tail -f catalina.out 出现警告: tail: inotify cannot be used, reverting to polling: Too many open fileslsof | awk '{ print $2; }' | sort -rn | uniq -c | sort -rn | head查到是tomcat进程打开了很多文件,处理方法:在 /etc/sysctl.conf文件中加入下面的配置:fs.inotify.max_user_watches.

2020-10-13 22:49:52

【Elasticsearch】all shards failed no shard available for get .xxx[doc] routing null

1.背景es不知道什么原因突然挂了,然后后台日志信息如下相关内容参考:【ES】ES 7.6报错 SearchPhaseExecutionException: all shards failed OutOfMemoryError【Kibana】es 报错 all shards failed: [search_phase_execution_exception] all shards failed...

2020-10-13 22:47:58

【elasticsearch】xpack exporter failed to flush export bulks

解决这个错误有几个可选办法:将集群的结点配置里的ingest角色打开node.ingest: true1或者在集群设置elasticsearch.yml里,将local exporter的use ingest关闭:xpack.monitoring.exporters.my_local:type: localuse_ingest: false123我是用了第一个方法解决...

2020-10-13 22:46:52

【Elasticsearch】使用 Elasticsearch Freeze index API 创建冻结索引

1.概述首先官网已经写得很清楚了使用 Elasticsearch Freeze index API 创建冻结索引下面说说怎么获取冻结的索引GET _cat/indices执行get后,获取所有的索引,然后获取某个索引的信息GET /myindex/_settings然后会在seetings中看到有个字段为 "frozen" : "true",的字段信息。没有这个的话,就不是冻结索引...

2020-10-13 22:44:52

【Elasticsearch】bulk default_local reports failures when export documents

1.背景es启动不起来了,看着日志有如下错误Caused by: org.elasticsearch.xpack.monitoring.exporter.ExportException: failed to flush export bulks at org.elasticsearch.xpack.monitoring.exporter.ExportBulk$Compound.lambda$doFlush$0(ExportBulk.java:156) [x-pack-monitoring-6.5..

2020-10-13 22:43:46

【Elasticsearch】索引 强制合并 缓存 refresh flush 等操作

1.概述1.1 索引强制合并强制合并的功能为强制合并一个或多个索引,目的是通过索引合并达到减少段的数量,通过POST方法执行_forcemerge API。强制合并请求在没有执行完成之前,请求会一直被阻塞,直到执行完成才会返回,如果期间该HTTP请求由于网络或者其它原因被断开,合并请求将继续在后台执行,直到完成或发生异常结束。如果已经有强制合并正在执行,后续发起的强制合并请求将被会阻塞,直到当前正在执行的合并请求执行完后才执行。强制合并应该只针对只读索引执行,因为针对可写的索引执行强制合并,可能会.

2020-10-13 21:10:33

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享达人
    分享达人
    成功上传6个资源即可获取