• 等级
  • 2843404 访问
  • 344 原创
  • 29 转发
  • 420 排名
  • 1673 评论
  • 2471 获赞

干货 | Elasticsearch Top10 监控指标

0、监控Elasticsearch集群的重要性Elasticsearch具有通用性,可扩展性和实用性的特点,集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反,不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。适当地监视群集可以帮助您实时监控集群规模,并且可以有效地处理所有数据请求。本文我们将从五个不同的维度来看待集群,并从这些维度...

2019-05-12 00:02:29

重磅 | Elasticsearch7.X学习路线图

1、为什么要梳理学习路线图?在关注Elastic中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案。那么问题是:为什么好多初学的朋友,找不到答案呢。观察和思考了很久。我认为最主要的问题在于,没有建立基础知识全貌的认知...

2019-04-30 23:34:20

logstash_output_kafka:Mysql同步Kafka深入详解

0、题记实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有:方案一:logstash_output_kafka插件。方案二:kafka_connector。方案三:debezium插件。方案四:flume。方案五:其他类似方案。其中:debezium和flume是基于m...

2019-04-20 21:54:58

Elasticsearch 7.0 正式发布,盘他!

Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。比快更快,有传说中的那么牛逼吗?盘他!通过本文,你能了解到:Elasticsearch&Kibana7.部署体验Elasticsearch7革命性更新Elasticsearch7升级注意事项Elasticsearch版本更新太快了,学不动了,...

2019-04-14 00:16:46

Elasticsearch自定义分词,从一个问题说开去

1、问题抛出来自星友的一个真实业务场景问题:我现在的业务需求是这样的。有一个作者字段,比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLeiLi...。现在要精确匹配。我的想法是:用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLeiLi就不能搜索到,我希望的结果是LeiLeiLi也被搜索到而且这种分词,Li,LeiLei不加逗号,也不能...

2019-04-05 22:25:34

严选 | Elasticsearch中文社区201903错题本

题记马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题,原来别人在社区或者别的地方早已经给出了更优化的方案。开发最最懊悔的事莫过于:别人已经给出了方案,但是我们仍然...

2019-03-31 19:49:27

干货 | Elasticsearch多表关联设计指南

0、题记Elasticsearch多表关联问题是讨论最多的问题之一,如:博客和评论的关系,用户和爱好的关系。多表关联通常指:1对多,或者多对多。本文以星球问题会出发点,引申出ES多表关联认知,分析了4种关联关系的适用场景、优点、缺点,希望对你有所启发,为你的多表关联方案选型、实战提供帮助。1、抛出问题1.1星球典型问题1.2社区典型问题1.3QQ群典型问题关系型数据库...

2019-03-24 23:45:37

实战 | canal 实现Mysql到Elasticsearch实时增量同步

题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题,也是社区、QQ群等讨论最多的问题之一。问题包含但不限于:1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同,如何取舍?3、能实现同步增删改查吗?…本文给出答案。1、Canal同步1.1canal官方已支持...

2019-03-16 16:42:23

干货 | Elasticsearch方案选型必须了解的10件事!

题记Elasticsearch目前被广泛使用,也越来越受到欢迎。一些传统的行业甚至婚庆公司都已经在使用Elasticsearch。人们喜欢Elasticsearch,不单单因为它的典型特征:1)易于部署;2)无需额外的软件即可扩展到数百个节点;3)内置RESTfulAPI,上手快;4)开源+更新快+社区相当活跃。更重要的是Elastic已经形成了包含Elasticsearch...

2019-03-09 22:57:51

严选 | Elasticsearch中文社区201902错题本

题记马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题,原来别人在社区或者别的地方早已经给出了更优化的方案。开发最最懊悔的事莫过于:别人已经给出了方案,但是我们仍然在黑...

2019-03-01 22:29:43

干货 | Debezium实现Mysql到Elasticsearch高效实时同步

题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中?logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身:如果库表里没有相关字段,该如何处理呢?本文给出相关探讨和解决方案。1、binlog认知1.1啥...

2019-02-23 22:04:58

干货 | Elasticsearch 6个不明显但很重要的注意事项

题记Elasticsearch是被Netflix,微软,eBay,Facebook等TopN顶级公司使用的搜索引擎。它很容易使用,但从长远来看相对难掌握。在本文中,我们分享了在系统中使用Elasticsearch六个不太明显但非常值得了解的特性。1.ElasticStackElasticsearch最初是作为独立产品开发的。它的核心作用是提供可扩展的搜索引擎服务,它提供多种语言库AP...

2019-02-16 23:05:00

严选 | Elasticsearch中文社区201901错题本

题记马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题,原来别人在社区或者别的地方早已经给出了更优化的方案。开发最最懊悔的事莫过于:别人已经给出了方案,但是我们仍然在黑...

2019-02-11 22:26:27

认知升级——不做开始爱好者!

0、题记你会不会买一本书,其实你从来都不看,但是你觉得好像拥有了其中的知识?你会不会制订一个计划,其实你从来坚持不下来,只是享受制订计划那几天的快乐?把开始当成结果,这是大部分人都有的心理习惯,我们他们称为“开始爱好者”。——古典《拆掉思维的墙——原来我还可以这样活》的确,从某种意义上讲,我们多多少少都是“开始爱好者”。元旦前后、春节前后表现的尤为密集和突出。散布在朋友圈里的“跑步”、“背单词...

2019-02-09 23:12:05

干货 | BAT等一线大厂 Elasticsearch面试题解读

题记git上发现了网友总结的ElasticsearchBAT大厂面试题。只有题目,部分有答案,但不全。正好抽出一些时间一起梳理一下。既然是面试题,每个人都会有自己的结合业务场景的答案,没有非常标准的答案。欢迎大家留言拍砖指正。1、elasticsearch了解多少,说说你们公司es的集群架构,索引数据大小,分片有多少,以及一些调优手段。面试官:想了解应聘者之前公司接触的ES使用...

2019-01-19 23:17:35

你的Elasticsearch在“裸奔”吗?

题记安全事件频发,2018上半年的群友的讨论:http://www.safedog.cn/news.html?id=3212https://www.easyaq.com/news/1184405110.shtml安全隐患划重点:1、印度:没有设置Elasticsearch集群安全权限;2、婚庆网站:Elasticsearch服务器暴露到公网。3、群友:9200端口映射到外网。...

2019-01-12 09:41:15

干货 | Elasticsearch索引管理利器——Curator深入详解

1、痛点Elasticsearch集群管理中索引的管理非常重要。数据量少的时候,一个或者几个索引就能满足问题。但是一旦数据量每天几TB甚至几十TB的增长时,索引的生命周期管理显得尤为重要。痛点1:你是否遇到过磁盘不够,要删除几个月前甚至更早时间数据的情况?如果没有基于时间创建索引,单一索引借助delete_by_query结合时间戳,会越删磁盘空间越紧张,以至于对自己都产生了怀疑?痛...

2019-01-05 22:49:34

2018年博客之星评选,No 138号“铭毅天下”需要您宝贵的一票,万分感谢!

2018年博客之星评选,需要您宝贵的一票!非常感谢!我是No138铭毅天下

2019-01-04 22:11:02

我的2018:用一年的时间写一份年终总结!

1、题记不觉中,已经连续写了五年年终总结了(2013,2014,2015,2016,2017)。最初写总结是因为报名参加了CSDN“我的2013年”博客征文大赛,侥幸得到评委的抬爱,拿了特等奖。奖项只代表过去,更多是鞭策未来能否言行如一。得到罗胖提出跨年演讲要做20年,那我索性年终总结写一辈子吧。差不多从读初中开始,每年都会写一些当下的思考和总结性的文章,从开始的流水账式的记录,到大学阶段的...

2018-12-30 23:01:37

探究 | 明明存在,怎么搜索不出来呢?

1、题记题出有因:有位医生朋友在QQ留言,说对于专业词汇,检索不到怎么办?举例:搜索:痉湿暍病结合了国内的多款分词插件,竟然搜索不到?2、共性认知2.1为什么需要分词?wildcard模糊匹配不也可以全字段模糊查询,进而得到结果呢?但是,当文档结果集非常大,模糊匹配必然会有性能问题。搜索引擎的为什么能快速检索到自己查询的关键字呢?倒排索引是以O(1)时间复杂度,一招解决问题...

2018-12-22 23:23:05

博客专家

铭毅天下(公众号同名)

公众号:铭毅天下。和你一起,死磕Elastic!
关注
  • 计算机软件/高级工程师
  • 中国
奖章
  • 专栏达人
  • 持之以恒
  • 勤写标兵Lv1