6 Elastic 中国社区官方博客

企业博客 Elastic - 其他

我要认证

现为 Elastic 社区布道师, Elastic 认证工程师

等级
TA的排名 1k+

Kibana:在 Kibana 中使用 Maps 和 Timelion 分析地震数据

在之前的文章 “使用 Kibana Timelion 进行时间序列分析”,我已经介绍了 Kibana 中的 Timelion 可视化工具。在今天的文章中,我将使用 Timelion 工具来分析地震数据。这里的地图数据来源于 1994 Northrige earthquake。我们可以在地址 www.ncedc.org/anss/catalog-search.html 里下载到数据。准备数据数据来源于 ElasticON tour16 demo。我们可以使用如下的命令来进行下载:git c.

2020-10-27 10:54:26

Kibana:如何在 Kibana 可视化中以百分比形式显示数据

进行数据分析时,要想在数字间进行有效对比,使用百分数是一项不可或缺的重要方法,当所涉及数据在样本量或总值方面表现出巨大差异时,尤为如此。通过百分比,我们可以快速准确地了解在某个维度类型上(例如时间范围、地理区域、产品线等)数据总和发生了多大变化。在本篇博文中,我们将会通过几个例子详细讲解如何在 Kibana 中使用 TSVB(时序数据可视化工具)借助常用的可视化(包括饼图、单值指标、表格或时序)计算百分比。在本篇博文中,我们将会使用 Kibana 中提供的flights和ecommer...

2020-10-25 19:58:08

Kibana:使用 Kibana Timelion 进行时间序列分析

在 Kibana 的可视化工具里,有一个可视化的工具叫做 Timelion。Timelion 是Kibana 中时间序列的可视化工具。 时间序列可视化是按时间顺序分析数据的可视化。 Timelion 可用于绘制二维图,时间绘制在 x 轴上使用 Timelion,你可以在同一可视化文件中组合独立的数据源。 使用相对简单的语法,你可以执行高级数学计算,例如除以和减去指标,计算导数和移动平均值,当然还可以可视化这些计算的结果。总共大约有五十种不同的功能(有些还在试验中),可以用来对要分析的数据集进行切片和切块

2020-10-24 15:19:45

Elasticsearch:运用 Go 语言实现 Elasticsearch 搜索

在今天的文章中,我将介绍如何使用 Go 语言来对 Elasticsearch 进行搜索。首先,我假设你已经对 Elastic Stack 有一定的了解。Elasticsearch 获得了极大的欢迎。 在关系数据库中搜索始终会遇到有关可伸缩性和性能的问题。Elasticsearch 是 NoSQL 数据库,在解决这些问题方面非常成功。 它提供了出色的可拓展性和性能,而最突出的功能之一就是相关性分析,它使搜索结果具有很大的灵活性。Elastic Stack安装 Elasticsearch 及 K..

2020-10-21 17:11:34

Beats:解密 Filebeat 中的 setup 命令

在我之前的教程:Beats:Beats 入门教程 (一) Beats:Beats 入门教程 (二)我已经详述了如果启动 Filebeat 并监控系统日志。在启动 Filebeat 的过程中,有一个很重要的步骤就是:./filebeat setup这个步骤非常重要,但是描述的内容并不是很多。为什么需要这个步骤呢?它到底能够做什么呢?首先,我们在命令的输出中,我们可以看到如下的内容:$ ./filebeat setupOverwriting ILM policy is disabl

2020-10-20 14:47:19

Beats:使用 Elastic Stack 来记录 Java Apps 日志

在我先前的系列文章中,我们介绍了如何使用 Elastic Stack 来分析 Spring boot 的微服务日志。这些文章是:Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (一) Elastic:运用 Elastic Stack 分析 Spring boot 微服务日志 (二)细心的开发者可能已经看出来了,我们使用 Logstash 来分析我们的日志,把非结构化的日志转换为结构化化的日志。这在很多的场合中是非常有用的。但是这个方法有一个非常不好的地方,

2020-10-19 13:04:40

Elastic:使用 Python 方便地实现 Elasticsearch-To-CSV 导出

在我之前的文章 “Elasticsearch:如何把 Elasticsearch 中的数据导出为 CSV 格式的文件” ,我介绍了两种方法来把一个 Elasticsearch 索引导出到一个 CSV 格式的文档中。但是据 一些人的实践,在面临海量文档的情况下,会出现 timeout 错误 (使用 CSV report),或者导出速度比较慢的情况(在使用 Logstash 的方案)。在本篇文章中,我将介绍一个使用 Python 的方法,很方便地把所需要的数据导出到一个 CSV 文件中。准备数据在.

2020-10-19 10:11:03

Beats:使用 Elastic Stack 记录 Golang 应用日志

当今可用的丰富编程语言为程序员提供了用于构建应用程序的大量工具。无论是像 Java 这样的老牌巨头,还是像 Go 这样的新兴公语言,应用程序都需要在部署后进行监视。在本文中,你将学习如何将Golang日志发送到ELK Stack和Logz.io。通常可以通过查看其日志来了解应用程序的运行状况。但是,日志数据具有随时间呈指数增长的趋势。当更多应用程序部署并分布在多台服务器上时,尤其如此。 Elastic Stack 具有存储大量数据并快速,轻松地进行搜索的功能,在这里很方便。在本文中,你将学习如何导入

2020-10-17 17:40:48

Elasticsearch:通过 inference pipeline 聚合为你的数据科学增加灵活性

Elastic 7.6 引入了 inference processor,用于对通过 ingest pipeline 提取的文档进行推理。ingest pipeline 功能强大且灵活,但设计用于在 ingest 时工作。那么,如果你的数据已经被摄取会怎样?引入了新的 Elasticsearch inferencepipeline 聚合,可让你将新的推理模型应用于已建立索引的数据。使用这种新的聚合类型,你可以在聚合中搜索时使用机器学习推断,并即时获取结果-实时获取最新数据。现在,你始终可以期待新的模型,.

2020-10-15 14:55:13

Elasticsearch:聚合所有内容:Elasticsearch 7 中的新聚合

自 1.0 版以来,聚合框架一直是 Elasticsearch 重要的一部分,多年来,它进行了优化,修复,甚至进行了一些大修。自Elasticsearch 7.0 版本以来,Elasticsearch 中已添加了许多新的聚合,例如 rare_terms,top_metrics 或 auto_date_histogram 聚合。在此博客文章中,我们将探索其中的一些,并仔细研究它们可以为你做什么。为了测试这些新的aggs,我们将在 Elasticsearch 7.9 部署中设置样本数据集。以下文档可能代表电

2020-10-14 09:48:52

Elasticsearch:Serial Differencing aggregation 介绍

在之前的教程 “Elasticsearch:pipeline aggregation 介绍” 中,我介绍了一种 pipeline aggregation。里面有介绍一种叫做 derivative aggregation 的。先前的 derivative 可视化将存储桶与相邻存储桶进行了比较,这是日常有用的观察。 但是这些存储桶仅将一天与第二个存储桶进行比较,理想情况下,我们可能希望比较一周中某一天的存储桶,例如比较一个星期一与下一个星期一。 为此,我们将需要使用 Serial Diff 管道聚合。在实际的应

2020-10-13 11:53:20

Kibana:treemap 可视化介绍

treemap 提供了数据的层次结构视图,非常适合可视化部分与整体关系。在 treemap 之前,我们可以通过 Pie 可视化来表达这种关系,但是不是非常直接,明了。treemap 是 Elastic 7.8 发行版的一个新的功能,只在 Lens 里提供。在今天的文章中,我们来展示如果创建一个 treemap 的可视化。准备数据在今天的教程中,我们将使用 Kibana 自带的索引来进行展示。打开 Kibana 界面:点击 Add data:这样我们的样本数据就导入进..

2020-10-11 21:35:19

Elasticsearch:通过 shrink API 减少 shard 数量来缩小 Elasticsearch 索引

通过使用 Shrink API 使用更少的主碎片来调整 Elasticsearch 索引的大小。在 Elasticsearch 中,每个索引都包含多个分片,而 Elasticsearch 集群中的每个分片都有助于使用cpu,内存,文件描述符等。这无疑有助于并行处理的性能。 以时间序列数据为例,你将对带有当前日期的索引进行大量读写。如果该索引下降了请求,并且仅时不时地从该索引中读取数据,那么我们不再需要那么多分片,并且如果我们有多个索引,它们可能会建立并占用大量的计算能力。对于要减少索引大小的情况,可

2020-10-10 21:55:33

Elasticsearch:如何调试集群状态 - 定位错误信息

针对 Elasticsearch 集群时,我们可以通过如下的 _cluster/health 命令来查询集群的状态:GET _cluster/health在正常的情况下,它会显示健康的状态,也就是绿色。关于监控的颜色的描述,我们可以参考我之前的文章 “Elasticsearch中的一些重要概念:cluster, node, index, document, shards及replica”。但是当我们的集群有没有被分配的 shard,或者数据有缺失,那么它的状态就会显示为黄色或者红色。上面的命令返回

2020-10-09 10:31:37

Elasticsearch:Split index API - 把一个大的索引分拆成更多分片

在我们实际使用 Elasticsearch 时,随着时间的推移,我们会发现有扩容的必要。这个可能由于我们在刚开始创建项目认识不足。我们需要更多的 primary shards,这样可以提高 ingest 的速度。那么我们有什么办法来把之前的一个大的索引变成更多的小的索引呢?这个答案就是 split index API。它的基本用法如下:POST /my-index-000001/_split/split-my-index-000001{ "settings": { "index.numb

2020-10-08 11:41:21

Elasticsearch:使用 alias 数据类型来遵循 ECS (Elastic Common Schema)

在很多的设计中,我们所采集的数据来自不同的数据源,从而导致数据字段名称的不一致。如果,我们在一开始就遵循 Elastic Common Schema,那么我们就不会有任何的问题。但是在实际的生产环境中,有可能在一开始我们就没有这么做,那我们该如何解决这个问题呢?比如我们有如下的两个数据:POST logs_server1/_doc/{ "level": "info"}POST logs_server2/_doc/{ "log_level": "info"}在上面的两个数据是来自

2020-10-04 11:16:04

Elasticsearch:cat API 介绍及其使用

在 Elasticsearch 中,cat API 仅适用于使用 Kibana 控制台或命令行供人类使用。 它们不适合应用程序使用。 对于应用程序消耗,我们建议使用相应的 JSON API。所有的 cat 命令都接受查询字符串参数 help,以查看它们提供的所有 header 和信息,并且 /_cat命令仅列出所有可用的命令。在我们的实际使用中,我们,我们有时看到别人打入如下的命令:GET _cat/nodes?v&h=name,disk.avail,search.query_total.

2020-09-27 11:38:50

Elasticsearch:深刻理解文档中的 verision 及 乐观并发控制

Elasticsearch 版本支持Elasticsearch 背后的关键原则之一是让你充分利用数据。 从历史上看,搜索引擎加载了来自单一来源的数,一般来说,它的数据是只读的。 随着使用量的增加以及 Elasticsearch 在你的应用程序中越来越重要,碰巧需要由多个组件来更新数据。 多个组件导致并发,并发导致冲突。 Elasticsearch 的版本控制系统可以帮助解决这些冲突。我们没修改一次文档,文档中的 version 数值就会自动增加1。需要版本控制 —一个例子为了说明这种情况..

2020-09-26 17:10:51

Elasticsearch:Script aggregation (2)

在本教程中,我们将继续进行更高级的操作:重新定义 extended_stats 聚合的结果以及实现 scripted_metric 聚合。准备数据本文中的示例使用下面提供的文档,其中包含不同公司出售的单个产品类型的详细信息。 数据包括公司名称,产品名称,产品价格,产品销售市场,可销售的单位以及运输指示器。 我们首先在名为 sales 的索引:PUT sales{ "mappings": { "properties": { "companyName": { .

2020-09-23 17:00:31

Elasticsearch:Script aggregation (1)

使用默认聚合时,开发人员通常无法获得预期的结果。 基本聚合功能也有局限性。 例如,如果要更改直方图的偏移值,就是这种情况。 由于 Elasticsearch 不提供此本机功能,因此我们使用脚本来获取所需的结果。 我们还将介绍其他使用脚本的聚合任务。在我之前的文章 “开始使用Elasticsearch (3)”,它里面也有一些涉及。在今天的文章中,我们我们来做更进一步的探讨。数据建模为了支持下面的示例,我们提供了一个包含虚拟公司员工详细信息的文档集。 我们包括每个雇员的数据,包括姓名,年龄,职位.

2020-09-23 15:14:10

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)
  • 1024勋章
    1024勋章
    #1024程序员节#连续参与两年活动升级勋章,当日发布原创博客即可获得