6 刘晓国

企业博客 Elastic - 其他

我要认证

现为Elastic社区布道师。

等级
TA的排名 1k+

Kibana:在可视化中选择合适的 scale type 更好地洞察数据

在 Kibana 中我们做可视化时,特别是在用 terms 聚会时,有的 term 的数据数量比较多,有的 term 数据数量比较少。在这种情况下,如果我们在 Y 轴的显示上,如果选择 linear, 也就是线性显示,那么显示的图像比较难看,比如:在上面最左边的数据比较大,相反,最右边的数据比较小。在这种情况下,最右边的数据显示的不太明显。相反,如果我们把 Y 轴的显示设置为 log,那么显示的情况是这样的:如上图所示,经过这样的改造后,我们很容易看清楚最右边的一个显示的数据比较明显。在

2020-09-22 18:20:07

 Elasticsearch:理解搜索中的 precision 及 recall

当你负责搜索引擎时,不用多说,你应该充分了解有关搜索相关性的尽可能多的详细信息。 虽然大多数人不需要学习每条信息,但需要了解搜索。 你至少应该对 recall (查全率)和 precision (精度)有基本的了解。 本文将重点介绍与搜索相关性的 precision 和 recall。什么是相关性?您是否能够找到所需的所有文档? 返回了多少无关的文件? 文件排名如何?Precision vs. Recallprecsion 和 recall 是搜索相关性的两个基本指标。 给定特定查询和搜索

2020-09-21 17:49:09

Kibana:通过 Elastic Maps 中的全局行政区层为 IP 分析带来新见解

我们喜欢 Elastic 的地图。在 Elastic Stack 中,我们使用地图可视化的所有数据都有一个核心组成部分:位置。位置可以表示报告机队车辆的实时位置,使用地理围栏限制搜索结果,从某个地理区域衡量应用程序性能指标或通过将地理坐标附加到 IP 地址来识别安全威胁。最近,我们在 Elastic Maps 中添加了一个行政区域边界层,以对你的地理空间分析进行微调。这里所谓的行政区就像我们国家的行政区划分一样,比如北京,湖南,湖北,山西等等。它是对一个地区的边界划分。这个对于我们很多的区域数据统计非常

2020-09-21 12:28:01

Kibana:为可视化图添加一个 static 线

当我们做可视化图时,有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下,我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如,使用下图的红线,它清楚地表明了在什么时候统计数据是大于20的。准备数据在今天的教程中,我们将使用 Kibana 自带的索引来进行展示。打开 Kibana 界面:点击 Add data:这样我们的样本数据就导入进 Elasticsearch.

2020-09-21 10:51:53

Elasticsearch:Snapshot 生命周期管理

在今天的文章中,我们来讲述一下 Data safety 及 security。safety 及 security 是两个不同的概念,尽管在中文很多时翻译都为安全的意思。前者的意思是指我的数据在硬件或者人为操作发生错误时,我可以通过数据的备份(比如 snapshot)以及冗余数据存储(比如多个 replica)来找回丢失的数据。Security 更注重数据的能否被非法访问。在今天的讲述中,我们将重点介绍 Elastic 所提供的 Snapshot 功能以及如何使用 Elastic 提供的 snapshot 生

2020-09-17 16:22:30

Elasticsearch:foreach 摄入处理器介绍

foreach processor用于处理未知长度数组中的元素。这个有点和我们在编程中使用的循环是一样的。所有处理器都可以对数组内的元素进行操作,但是如果需要以相同的方式处理数组中的所有元素,则为每个元素定义处理器将变得既麻烦又棘手,因为数组中元素的数量可能未知。因此,存在 foreach 处理器。通过指定包含数组元素的字段和定义每个元素应该发生什么的处理器,可以轻松地预处理数组字段。foreach 处理器内部的处理器在数组元素上下文中工作,并将其放在 _ingest._value 键下的摄取元数.

2020-09-16 15:03:52

Elasticsearch:使用 GeoIP 丰富来自内部专用 IP 地址

对于公共 IP,可以创建表来指定 IP 属于哪个城市的特定范围。但是,互联网的很大一部分是不同的。在世界上每个国家都有公司专用网络,其 IP 地址的格式为 10.0.0.0/8、172.16.0.0/12 或 192.168.0.0/16。这些 IP 地址往往没有有关地理位置的真实信息。因此,Elasticsearch 和 Logstash 中内置的 geoip 过滤器/处理器不适用于这些私有 IP。Elasticsearch 和 Logstash 可以选择指定要使用的特定数据库文件(database

2020-09-16 09:25:40

Enterprise: 如何在 Chrome 中设置 Elastic Workplace Search 为搜索引擎

Elastic Workplace Search通过将所有内容平台(Google云端硬盘,github, gira, confluence, Salesforce等)统一到个性化的搜索体验中,提高团队的生产力。 凭借其轻松和灵活的部署(在Elastic Cloud上或作为免费的自助管理下载),预先调整的相关性和直观的界面,Elastic Workplace Search可帮助您和您的队友恢复工作。 如果你对 Elastic Workplace Search 还不是很了解的话,请阅读我之前的文章:So..

2020-09-15 11:10:16

Elasticsearch:通过 sampler 聚合来改善繁重的 Elasticsearch 聚合

结合两个 Elasticsearch 功能:sampler 聚合可以帮助创建有效的估计 facet 和见解,同时显着降低繁重和缓慢聚合的成本。Sampler aggregation 是一种筛选聚合,用于将任何子聚合的处理限制为得分最高的文档样本。典型用例:将分析重点放在高相关性匹配上,而不是可能很长的低质量匹配上 减少仅使用样本即可产生有用结果的聚合(比如 significant terms)运行成本对于不想分析整个数据集的方案,sampler 聚合是一个很好的解决方案:它提高了速度和内存使

2020-09-14 18:50:55

Elasticsearch:IP 数据类型及其搜索

在使用 Elasticsearch 搜索 IP 地址时,我们可以把数据类型定义为 IP 数据类型。这样我们可以针对 IP 地址进行搜索。这种 IP 地址可以是 IPv4 或者是 IPv6 的形式。现在假设我们导入一个如下的数据到 Elasticsearch 中:PUT my-index/_doc/1{ "ip_addr": "192.168.1.1"}在没有定义数据类型的情况下, Elasticsearch 会把上面的字段 ip_add 映射到一个 text 及 keyword 的..

2020-09-10 16:56:36

Elasticsearch:使用 _validate API 在不执行查询的情况下验证查询

我们知道有的 Elasticsearch 的查询是非常耗时的。我们可以使用 _validate API 来对我们的 DSL 搜索进行一些验证。在很多的情况下,我们甚至可以使用这个 API 来验证不同的查询方法之间的区别或相同的地方。Elasticsearch 的 DSL 最终会转换为 Apache Lucene 的查询。今天,我将使用一个例子来展示这个 API 的用法。首先,我们创建一个如下的索引及文档:PUT my_index/_doc/1{ "content": "I like Elas

2020-09-10 12:25:53

Beats:使用 Filebeat 导入 JSON 格式的日志文件

在我们之前的文章 “Beats: 使用 Filebeat 进行日志结构化”,我使用了一种方法来解析一个 JSON 格式的文件,并导入到 Elasticsearch 中。在今天的文章中,我来用另外的一种方式来展示如何导入一个 JSON 格式的文件。准备数据我们还是以之前的那篇文章中的数据为例,我们使用如下的文件:sample.json{"user_name": "arthur", "id": 42, "verified": false, "event": "logged_in"}{".

2020-09-09 22:49:41

Elastic:在 Elasticsearch ingest 处理器中调试损坏的 grok 表达式

在之前的文章: Elastic:在摄入时使用 grok 构建 Elasticsearch 数据以加快分析速度 Logstash:如何逐步构建自定义 grok 模式 但是如果我们的模式不能正常工作,那该如何处理呢?在本文中,我们将使用 Kibana 的 Grok Debugger 来帮助我们调试损坏的 grok 模式。 如下所述的分治法应该可以帮助你快速找到给定的 grok 模式与你的数据不匹配的原因。 调试 grok 模式并使其正常工作将使你能够构建数据结构,这将确保你的可观察性和安

2020-09-08 22:45:16

Kibana:如何周期性地为 Dashboard 生成 PDF Report

Kibana 中的 Dashboard 给我们直观的数据展示。在实际的工作中,可以用于汇报。在 Kibana 中,我们可以来生成我们想要的 PDF report。我们可以手动来生产这样的 report,但是它可能变得非常麻烦,那么我们有什么办法可以使得这个过程变得自动化呢?在今天的教程中,我们来讲述如何使用 watcher 来实现这个过程的自动化。watcher 在这个场景中的使用是白金版功能的一部分,请参阅https://www.elastic.co/cn/subscriptions。准备数据..

2020-09-07 17:17:43

Elasticsearch:创建 Ingest pipeline

在 Elasticsearch 针对数据进行分析之前,我们必须针对数据进行摄入。在摄入的过程中,我们需要对数据进行加工,这其中包括非结构化数据转换为结构化数据,数据的转换,丰富,删除,添加新的字段等等一系列的工作。针对目前 Elastic 公司所提供的工具来看,我们有两种方法来针对数据进行加工:Logstash 已经 Ingest pipeline。 这两种方法各有优缺点:Logstash:是一种开源的 Elastic Stack ETL (Ext...

2020-09-03 10:53:35

Elasticsearch:反向代理及负载均衡在 Elasticsearch 中的应用

在我们配置 Elasticsearh 安全的时候,我们可以考虑三个方面的东西:firewalls 反向代理 (reverse proxies) Elastic Security我们可以利用 firewall 已经 IP filtering来限制或允许特定的 IP 地址来访问我们的 Elasticsearch。对于 OSS 的用户来说,他们可以使用 reverse proxy 的方法来实现最基本的安全配置。当然对于 Baisic license 以上的用户来说,我们建议使用 Elastic Se..

2020-09-02 18:45:55

Elasticsearch:Painless execute API

Painless execute API 允许执行任意脚本并返回结果。请注意的是:这个 API 是新的,请求方式及响应在未来可能会有所改变。ContextContext 也即是上下文的意思。Context 控制了脚本如何执行,在运行时可以使用哪些变量,返回类型是什么。Plainless test context这是默认的 context。painless_test 上下文按原样执行脚本,并且不添加任何特殊参数。 唯一可用的变量是 params,可用于访问用户定义的值。 脚本的结果总是转.

2020-09-02 10:57:16

Elasticsearch:如何在搜索中实现 should_not 过滤器

在 Elasticsearch 中,我们可以使用 bool query来说实现一种组合的查询。它可以具有如下的一种形式的搜索:POST _search{ "query": { "bool" : { "must" : { "term" : { "user.id" : "kimchy" } }, "filter": { "term" : { "tags" : "production" } }, "m.

2020-09-01 18:19:36

Logstash:使用 XML filter 来导入文件

JSON 是目前非常流行的一种存储文件的格式,但是在实际的应用中,也有很多的文件格式是 XML 格式的。那么我们该如何来处理 XML 格式的文件并把它们导入到 Elasticsearch 中呢?在今天的文章中,我们将以一个例子来说明。我们将使用 XML filter 来导入 XML 格式的数据。如何在 ElasticSearch 中导入我的自定义 XML 文件,幸运的是 Logstash 可以为你提供帮助。 让我们创建一个示例 XML 文件,该文件要导入到 Elasticsearch 中。 复制下面的.

2020-08-31 16:20:18

Elasticsearch:Painless 编程调试

Painless 也就是无痛的意思。这是一个专为 Elasticsearch 而设计的。当初的设计人员取名为 “Painless”,表达的意思的是在编程的时候没有疼痛感,很方便设计人员使用。由于这是一个脚本的语言,在实际的使用中,我们很难找到这些编程的方法及使用。在今天的教程中,我来讲述一下该如何来进行调试。Debug.ExplainPainless 没有 REPL,虽然很高兴有一天,但它不会告诉你调试 Elasticsearch 中嵌入的 Painless 脚本的全部过程,因为脚本可以访问或 “上

2020-08-31 10:54:12

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)