11 铭毅天下

尚未进行身份认证

和你一起,死磕Elastic!

等级
博文 386
排名 393

干货 | Logstash自定义正则表达式ETL实战

0、题记本文建立在干货|LogstashGrok数据结构化ETL实战上,并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是,我们有正则表达式库:Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址:https://github.com/kkos/oniguruma1、基...

2019-07-19 22:20:24

干货 | Logstash Grok数据结构化ETL实战

0、题记日志分析是ELK起家的最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合您。Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈,夯实基础认知。ELKStac...

2019-07-13 13:15:06

Elastic认证考试,请先看这一篇!

题记Elastic认证考试已经推出一年多,国内已经陆续有不少小伙伴考过。经常有朋友留言,Elastic认证考试,考什么?难度大不大等。其实:官网都已经有更详细、更准确的描述,建议直接读官网。(尤其后续官网可能会有更新)本文仅对官网考点部分进行翻译、提炼、考点难度评定星级。注意:考试时,唯一可参阅官网文档:https://www.elastic.co/guide/index.html1、...

2019-07-07 22:25:15

如何做一次Elasticsearch技术分享?

0、问题引出经群讨论,建议从以下几个方面展开,大家有好的想法,也欢迎留言交流。1、可视化展示ELK效果如果条件允许:demo的内容是:通过logstash同步日志或数据库(oracle、mysql)表的数据到Elasticsearch,然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现,可以实现非常酷炫的大屏展示效果2展示实时数据的数据量。3展...

2019-06-30 23:47:18

终于等到你,Elasticsearch7.X视频教程发布!

1、做搜索容易,做好搜索相当难。这是Elastic大佬Wood大叔在《熟练使用ES离做好搜索还差多远?》的回复。当时看到回复后,感觉振聋发聩。的确,经常在涉及检...

2019-06-24 22:43:33

Elasticsearch的ETL利器——Ingest节点

1、问题引出来自星球同学的提问:“Ingestnode什么场景会遇到它?一直没搜到它是在什么场景工作的?”的确我们比较关心集群的节点角色的划分。包括:集群应该几个节点?几个节点用于数据存储?要不要独立Master节点、协调节点?但是Ingestnode的场景用的比较少。2、集群节点角色划分梳理之前的文章:刨根问底|Elasticsearch5.X集群多节点角色...

2019-06-22 23:03:21

升级这十点认知,你就是大佬!

这是星球-静夜思模块里面一篇文章,有感于星球微信群的一次交流,连夜边思考边记录了下来。静夜思模块完全是深夜里由感而发,大多包含但不限于: 认知的梳理 、方法论的探讨、各种问题的暗时间思考…微信群机缘巧合,认识了很多领域的先行者、持续技术跟进者,统称或者俗称大佬。比如:硅谷、腾讯云、阿里云、蚂蚁金服、小米、华为、Oracle一线大厂ES大佬。比如:HBASE大佬比如:SPring大佬比...

2019-06-15 14:52:55

实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析

题记Elastic社区主席M大、Elastic源码解析书作者超哥都曾多次强调Elastic日报是非常好的学习资料,然后呢?Elastic日报自2017年7月30日发布第一篇文章,截止2019年6月6日,近10位责任编辑累计贡献了1653篇文章。日报分散在社区文章专区,全部看完至少需要翻页40次+(每页18条数据,还需要过滤掉非日报文章),检索相对不方便。能不能把Elastic日报爬取并导入...

2019-06-09 09:57:38

Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数...

2019-06-02 21:49:54

干货 | Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数据索引实战中的坑,提升工作效率。本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把五个方面进行详细解读。1、别名分类别名在Elasticsearch中有两种分类。1.1索引别名。...

2019-06-02 20:59:42

干货 | Elasticsearch 7.1免费安全功能全景认知

0、背景2019年5月21日,Elastic官方发布消息:ElasticStack新版本6.8.0和7.1.0的核心安全功能现免费提供。这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色,并且使用Spaces为Kibana提供全面保护。免费提供的核心安全功能如下:1)TLS功能。可对通信进行加密;2)文件和原生Real...

2019-05-26 00:42:34

干货 | Elasticsearch Top10 监控指标

0、监控Elasticsearch集群的重要性Elasticsearch具有通用性,可扩展性和实用性的特点,集群的基础架构必须满足如上特性。合理的集群架构能支撑其数据存储及并发响应需求。相反,不合理的集群基础架构和错误配置可能导致集群性能下降、集群无法响应甚至集群崩溃。适当地监视群集可以帮助您实时监控集群规模,并且可以有效地处理所有数据请求。本文我们将从五个不同的维度来看待集群,并从这些维度...

2019-05-12 00:02:29

重磅 | Elasticsearch7.X学习路线图

1、为什么要梳理学习路线图?在关注Elastic中文社区、QQ群、星球群的过程中,多多少少都会有一些基础问题冒出。而这些问题不复杂,多半都在官方文档中都有提及,稍稍复杂的在官方英文社区、中文社区都有过类似问题的讨论。基本上通过Google、bing都能直接或间接搜索到答案。那么问题是:为什么好多初学的朋友,找不到答案呢。观察和思考了很久。我认为最主要的问题在于,没有建立基础知识全貌的认知...

2019-04-30 23:34:20

logstash_output_kafka:Mysql同步Kafka深入详解

0、题记实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有:方案一:logstash_output_kafka插件。方案二:kafka_connector。方案三:debezium插件。方案四:flume。方案五:其他类似方案。其中:debezium和flume是基于m...

2019-04-20 21:54:58

Elasticsearch 7.0 正式发布,盘他!

Elastic{ON}北京分享了Elasticsearch7.0在Speed,Scale,Relevance等方面的很多新特性。比快更快,有传说中的那么牛逼吗?盘他!通过本文,你能了解到:Elasticsearch&Kibana7.部署体验Elasticsearch7革命性更新Elasticsearch7升级注意事项Elasticsearch版本更新太快了,学不动了,...

2019-04-14 00:16:46

Elasticsearch自定义分词,从一个问题说开去

1、问题抛出来自星友的一个真实业务场景问题:我现在的业务需求是这样的。有一个作者字段,比如是这样的Li,LeiLei;Han,MeiMei;还有一些是LeiLeiLi...。现在要精确匹配。我的想法是:用自定义分词通过分号分词。但是这样我检索Li,LeiLei那么LeiLeiLi就不能搜索到,我希望的结果是LeiLeiLi也被搜索到而且这种分词,Li,LeiLei不加逗号,也不能...

2019-04-05 22:25:34

严选 | Elasticsearch中文社区201903错题本

题记马云演讲中曾经提到:很多时候少听成功专家的话。所有的创业者多花点时间学习别人是怎么失败的,因为成功的原因有千千万万,失败的原因就一两个点。创业需要关注别人的失败,而开发实战,别人的错误经验、别人的问题也非常有价值。开发最懊悔的事莫过于:自己费尽脑汁、花费了很长时间解决了问题,原来别人在社区或者别的地方早已经给出了更优化的方案。开发最最懊悔的事莫过于:别人已经给出了方案,但是我们仍然...

2019-03-31 19:49:27

干货 | Elasticsearch多表关联设计指南

0、题记Elasticsearch多表关联问题是讨论最多的问题之一,如:博客和评论的关系,用户和爱好的关系。多表关联通常指:1对多,或者多对多。本文以星球问题会出发点,引申出ES多表关联认知,分析了4种关联关系的适用场景、优点、缺点,希望对你有所启发,为你的多表关联方案选型、实战提供帮助。1、抛出问题1.1星球典型问题1.2社区典型问题1.3QQ群典型问题关系型数据库...

2019-03-24 23:45:37

实战 | canal 实现Mysql到Elasticsearch实时增量同步

题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题,也是社区、QQ群等讨论最多的问题之一。问题包含但不限于:1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同,如何取舍?3、能实现同步增删改查吗?…本文给出答案。1、Canal同步1.1canal官方已支持...

2019-03-16 16:42:23

干货 | Elasticsearch方案选型必须了解的10件事!

题记Elasticsearch目前被广泛使用,也越来越受到欢迎。一些传统的行业甚至婚庆公司都已经在使用Elasticsearch。人们喜欢Elasticsearch,不单单因为它的典型特征:1)易于部署;2)无需额外的软件即可扩展到数百个节点;3)内置RESTfulAPI,上手快;4)开源+更新快+社区相当活跃。更重要的是Elastic已经形成了包含Elasticsearch...

2019-03-09 22:57:51
CSDN身份
  • 博客专家
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。