11 铭毅天下

尚未进行身份认证

和你一起,死磕Elastic!

等级
TA的排名 294

干货 | Elasitcsearch7.X集群/索引备份与恢复实战

1、问题引出ES中文社区中,有如下问题:问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用?问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用?问题3:将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上),这种做法是否可取?脑补一下...

2019-11-14 06:45:00

干货 | Elasitcsearch7.X集群、索引备份与恢复实战

1、问题引出ES中文社区中,有如下问题:问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用?问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用?问题3:将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上),这种做...

2019-11-14 00:17:52

干货 | Elasticsearch7.X X-Pack基础安全实操详解

1、调查:你的Elasticsearch怎么做的安全防护?背景:大家知道elasticsearch早期版本安全部分收费(7.1&6.8版本之前),实际中各个公司6.x,5.x,2.x,1.x都有在用,且非少数。群随机投票结果如下:通过留言发现,大家使用2的比较多,历史包袱重,真正升级7.X的企业还不太多。Medcl在《给你10个升级到ElasticStack7的...

2019-11-02 23:05:34

干货 | Elasticsearch 冷热集群架构实战

0、题记Elasticsearch实战数据量级少的时候,单节点就能玩的很6,但是随着数据量的增长,多节点分布式横向扩展集群是大势所趋。之前分享过基于时间创建索引及Curator实现索引生命周期管理。当集群硬件资源有限,尤其SSD磁盘更紧俏的业务场景下,最大化集群的性能,如何让用户最关心的“热”数据分布到SSD磁盘对应的节点上,让用户关注程度弱的“冷”数据分散到普通磁盘对应节点上?也就是说“...

2019-10-13 23:16:12

干货 | Elasticsearch7.X Scripting脚本使用详解

0、题记除了官方文档,其他能找到的介绍Elasticsearch脚本(Scripting)的资料少之又少。一方面:性能问题。官方文档性能优化中明确指出使用脚本会导致性能低...

2019-09-15 23:33:11

信息过载的时代,程序员如何破局?

这是死磕Elasticsearch知识星球-静夜思模块的思考。1、没有时间,怎么精进技术?工作了以后,除了工作之外会感觉其他时间少之又少。尤其好多带娃的朋友感触更深吧。那...

2019-09-04 23:59:52

Elasticsearch高级调优方法论之——根治慢查询!

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎,它提供了许多不同查询数据的方法。在实战业务场景中,经常会出现远远低于预期查询速度的慢查询。作为分布式系统...

2019-08-25 22:15:56

Elasticsearch解决问题之道——请亮出你的DSL!

0、引言在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。经常有同学问到:1,业务代码实现结果和kibana验证不一致。比如:我的python或者ja...

2019-08-11 23:58:20

干货 | Elasticsearch、Kibana数据导出实战

1、问题引出以下两个导出问题来自Elastic中文社区。问题1、kibana怎么导出查询数据?问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以么?或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式?实际业务实战中,大家或多或少的都会遇到导入、导出问题。根据数据源的不同,基本可以借助:1、程序...

2019-08-04 00:14:10

Elasticsearch性能优化实战指南

0、背景在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索...

2019-07-29 23:18:11

干货 | Logstash自定义正则表达式ETL实战

0、题记本文建立在干货|LogstashGrok数据结构化ETL实战上,并专注于在Grok中使用自定义正则表达式。有时Logstash没有我们需要的模式。幸运的是,我们有正则表达式库:Oniguruma。Oniguruma是一个灵活的正则表达式库。它包含多种语言的不同正则表达式实现的特性。Github地址:https://github.com/kkos/oniguruma1、基...

2019-07-19 22:20:24

干货 | Logstash Grok数据结构化ETL实战

0、题记日志分析是ELK起家的最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合您。Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈,夯实基础认知。ELKStac...

2019-07-13 13:15:06

Elastic认证考试,请先看这一篇!

题记Elastic认证考试已经推出一年多,国内已经陆续有不少小伙伴考过。经常有朋友留言,Elastic认证考试,考什么?难度大不大等。其实:官网都已经有更详细、更准确的描述,建议直接读官网。(尤其后续官网可能会有更新)本文仅对官网考点部分进行翻译、提炼、考点难度评定星级。注意:考试时,唯一可参阅官网文档:https://www.elastic.co/guide/index.html1、...

2019-07-07 22:25:15

如何做一次Elasticsearch技术分享?

0、问题引出经群讨论,建议从以下几个方面展开,大家有好的想法,也欢迎留言交流。1、可视化展示ELK效果如果条件允许:demo的内容是:通过logstash同步日志或数据库(oracle、mysql)表的数据到Elasticsearch,然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现,可以实现非常酷炫的大屏展示效果2展示实时数据的数据量。3展...

2019-06-30 23:47:18

终于等到你,Elasticsearch7.X视频教程发布!

1、做搜索容易,做好搜索相当难。这是Elastic大佬Wood大叔在《熟练使用ES离做好搜索还差多远?》的回复。当时看到回复后,感觉振聋发聩。的确,经常在涉及检...

2019-06-24 22:43:33

Elasticsearch的ETL利器——Ingest节点

1、问题引出来自星球同学的提问:“Ingestnode什么场景会遇到它?一直没搜到它是在什么场景工作的?”的确我们比较关心集群的节点角色的划分。包括:集群应该几个节点?几个节点用于数据存储?要不要独立Master节点、协调节点?但是Ingestnode的场景用的比较少。2、集群节点角色划分梳理之前的文章:刨根问底|Elasticsearch5.X集群多节点角色...

2019-06-22 23:03:21

升级这十点认知,你就是大佬!

这是星球-静夜思模块里面一篇文章,有感于星球微信群的一次交流,连夜边思考边记录了下来。静夜思模块完全是深夜里由感而发,大多包含但不限于: 认知的梳理 、方法论的探讨、各种问题的暗时间思考…微信群机缘巧合,认识了很多领域的先行者、持续技术跟进者,统称或者俗称大佬。比如:硅谷、腾讯云、阿里云、蚂蚁金服、小米、华为、Oracle一线大厂ES大佬。比如:HBASE大佬比如:SPring大佬比...

2019-06-15 14:52:55

实战 | ELK实现全量Elastic日报(2017-2019)多维度可视化分析

题记Elastic社区主席M大、Elastic源码解析书作者超哥都曾多次强调Elastic日报是非常好的学习资料,然后呢?Elastic日报自2017年7月30日发布第一篇文章,截止2019年6月6日,近10位责任编辑累计贡献了1653篇文章。日报分散在社区文章专区,全部看完至少需要翻页40次+(每页18条数据,还需要过滤掉非日报文章),检索相对不方便。能不能把Elastic日报爬取并导入...

2019-06-09 09:57:38

Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数...

2019-06-02 21:49:54

干货 | Elasticsearch基础但非常有用的功能之一:别名

0、题记本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数据索引实战中的坑,提升工作效率。本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把五个方面进行详细解读。1、别名分类别名在Elasticsearch中有两种分类。1.1索引别名。...

2019-06-02 20:59:42

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。