11 铭毅天下

尚未进行身份认证

和你一起,死磕Elastic!

等级
TA的排名 295

潜心一技、做到极致!——Elastic认证工程师之路

20年2月3日我参加Elastic认证工程师考试,2020年2月5日中午得到认证结果:通过考试。趁热打铁,将Elastic认证工程师考试相关内容、经验教训等和盘而出,希望对后续参加考试的同学有所帮助。1、Elastic工程师有什么用?An Elastic Certified Engineer possesses the skills and is able to pe...

2020-02-07 00:34:01

干货 | Elasticsearch 索引设计实战指南

题记随着 Elastic 的上市,ELK Stack 不仅在 BAT 的大公司得到长足的发展,而且在各个中小公司都得到非常广泛的应用,甚至连“婚庆网站”都开始使用 Elasticsear...

2020-02-03 22:46:02

2019,被催更了!2020,干就是了!

2019 年已经过去了 13 个小时,回望 2019,有没有哪个瞬间让自己真正感动呢?这种瞬间的确很多、很多.......2019 年参见了 Elastic 开发者大会,面基了很多社区中活跃的真大佬,得到了社区创始人 Medcl 的口头鼓励,很感动。2019 年开发者大会后连夜写的总结,得到了包括:Elastic 王总、Medcl、大神吴斌、社区主席征哥、Elastic 周姐、捷哥、...

2020-01-02 00:07:42

Elasticsearch是一把梭,用起来再说?!

0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结:问题1:开发不规范。我们这边es 都是我们在推,很多开发不会...

2019-12-22 23:24:05

探究 | Elasticsearch集群规模和容量规划的底层逻辑

0、引言实战中经常遇到的问题:问题 1:请问下大家是如何评估集群的规模?比如数据量达到百万,千万,亿万,分别需要什么级别的集群,这要怎么评估?ps:自己搭建的测试环境很难达到这一级别。问...

2019-12-14 23:36:06

Elastic中国开发者大会2019干货分享

0、题记由于2019年Elastic开发者大会下午分3个会场,使劲浑身解数也只能串了两个分场,所以下面的分享肯定信息不全面。全面信息后续建议参考Elastic中文社区的PPT。文中可能的细节错误,欢迎大家留言指正。您的参会干货和认知习得,也欢迎留言讨论交流。1、感触从没有见过哪个大会,能干货连连、高潮此起彼伏、全程无尿点;从没有见过哪个大会,与会者能持续葆有相当高的热...

2019-12-07 23:21:57

探究 | Elasticsearch 与传统数据库界限

0、引言现在几乎网上所有资料都说数据存储在传统数据库,再在 es 中同步一份数据作为检索使用,但是也都没有很详细的说明为什么要这么做,而且在 es 本身可以存储数据的情况下,存储两份数...

2019-12-03 23:38:52

干货 | Elasticsearch基础但非常有用的功能之二:模板

1、 引言业务场景1:数据量非常大,需要进行索引生命周期管理,按日期划分索引,要求多个索引的Mapping一致,每次手动创建或者脚本创建都很麻烦! 怎么破?业务场景2:实际业务多个索引,想让多个索引中的相同名字的字段类型完全一致,以便实现跨索引检索。怎么破?思考上面两个问题,当单Mapping不能解决多索引问题时,模板的作用就体现出来了。下文中:模板=template,映射=Mapping。2、E...

2019-11-23 16:48:40

Elastic中国开发者大会的精彩日程现已上线

Elastic 中国开发者大会 2019(Elastic Dev Day China 2019)是由 Elastic 官方再一次在中国举办的开发者大会,主要围绕 Elas...

2019-11-21 21:39:29

干货 | Elasitcsearch7.X集群、索引备份与恢复实战

1、问题引出ES中文社区中,有如下问题:问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用?问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用?问题3:将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上),这种做...

2019-11-14 00:17:52

干货 | Elasticsearch7.X X-Pack基础安全实操详解

1、调查:你的Elasticsearch怎么做的安全防护?背景:大家知道elasticsearch早期版本安全部分收费(7.1 & 6.8 版本之前),实际中各个公司6.x,5.x,2.x,1.x都有在用,且非少数。群随机投票结果如下:通过留言发现,大家使用2的比较多,历史包袱重,真正升级7.X的企业还不太多。Medcl在《给你 10 个升级到 Elastic Stack 7 的...

2019-11-02 23:05:34

干货 | Elasticsearch 冷热集群架构实战

0、题记Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋。之前分享过基于时间创建索引及Curator实现索引生命周期管理。当集群硬件资源有限,尤其SSD磁盘更紧俏的业务场景下,最大化集群的性能,如何让用户最关心的“热”数据分布到SSD磁盘对应的节点上,让用户关注程度弱的“冷”数据分散到普通磁盘对应节点上?也就是说“...

2019-10-13 23:16:12

干货 | Elasticsearch7.X Scripting脚本使用详解

0、题记除了官方文档,其他能找到的介绍Elasticsearch脚本(Scripting)的资料少之又少。一方面:性能问题。官方文档性能优化中明确指出使用脚本会导致性能低...

2019-09-15 23:33:11

信息过载的时代,程序员如何破局?

这是死磕Elasticsearch知识星球-静夜思模块的思考。1、没有时间,怎么精进技术?工作了以后,除了工作之外会感觉其他时间少之又少。尤其好多带娃的朋友感触更深吧。那...

2019-09-04 23:59:52

Elasticsearch高级调优方法论之——根治慢查询!

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎,它提供了许多不同查询数据的方法。在实战业务场景中,经常会出现远远低于预期查询速度的慢查询。作为分布式系统...

2019-08-25 22:15:56

Elasticsearch解决问题之道——请亮出你的DSL!

0、引言在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。经常有同学问到:1, 业务代码实现结果和kibana验证不一致。比如:我的python或者ja...

2019-08-11 23:58:20

干货 | Elasticsearch、Kibana数据导出实战

1、问题引出以下两个导出问题来自Elastic中文社区。问题1、kibana怎么导出查询数据?问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以么?或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式?实际业务实战中,大家或多或少的都会遇到导入、导出问题。根据数据源的不同,基本可以借助:1、程序...

2019-08-04 00:14:10

Elasticsearch性能优化实战指南

0、背景在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索...

2019-07-29 23:18:11

干货 | Logstash自定义正则表达式ETL实战

0、题记本文建立在干货 | Logstash Grok数据结构化ETL实战上,并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。 幸运的是,我们有正则表达式库:Oniguruma。Oniguruma是一个灵活的正则表达式库。 它包含多种语言的不同正则表达式实现的特性。Github地址:https://github.com/kkos/oniguruma1、基...

2019-07-19 22:20:24

干货 | Logstash Grok数据结构化ETL实战

0、题记日志分析是ELK起家的最核心业务场景之一。如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合您。Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈,夯实基础认知。ELK Stac...

2019-07-13 13:15:06

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证
    技术圈认证
    博客专家完成年度认证,即可获得
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。