6 Elastic 中国社区官方博客

企业博客

我要认证

现为Elastic社区布道师。

等级
TA的排名 1k+

Elasticsearch: NLP (Natural Language Processing)在 Elasticsearch 中的应用

通过 NLP,我们可以把我们导入的文档进行丰富,从而有更多内容供我们进行搜索,为我们更为精准的搜索打下基础。在今天的文章里,我来介绍一下 NLP 在 Elasticsearch 中的实际应用。我们可以看一下如下的一个例子。比如有一下的两个文档:I personally like a sweet appleSweet, please come over here假如我们把上面的两行分别作为两个文档导入到 Elasticsearch 之中,而当我们对我们的索引进行搜索 sweet 时:GET.

2020-07-09 10:49:39

Elasticsearch:sniffing 的最佳实践:What, when, why, how

Elasticsearch 为当今使用的众多工具和应用程序提供强大的搜索体验,从运营分析仪表板到显示带有露台的最近餐馆的地图,你都可以出门在外。 在所有这些实现中,应用程序和集群之间的连接都是通过 Elasticsearch 客户端建立的。优化客户端和 Elasticsearch 集群之间的连接对于最终用户的体验极为重要。 Elasticsearch 客户端的典型配置是你必须连接到的节点的 URL。 但是你还可以做更多的事情,一种优化此连接的方法是 sniffing。以下是 sniffing 的工作

2020-07-08 11:19:06

Elasticsearch:创建 API key 接口访问 Elasticsearch

在之前我的文章 “Elastic:使用Postman来访问Elastic Stack” 中我介绍了如何在应用中访问 Elasticsearch。在那里,我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的验证都是一样的:使用的是同样的一个用户名及密码的 Base64 编码。在今天的文章中,我们将介绍如何创建 API key 来提供对 Elasticsearch 的访问。通过这个方法,一个用户可以动态生成无数个 AP

2020-07-07 15:22:47

Elasticsearch:使用 IP 过滤器限制连接

你还可以将 IP过滤应用于应用程序客户端,节点客户端或传输客户端来限制或允许一些 IP 对于 Elasticsearch 的访问。如果节点的IP地址在黑名单中,则 Elasticsearch 安全功能允许连接到 Elasticsearch,但该连接将立即被丢弃,并且不处理任何请求。Elasticsearch 安装并非旨在通过 Internet 公开访问。 IP过滤和 Elasticsearch 安全功能的其他功能不会改变这种情况。在使用这项功能的时候,必须注意的一点是:IP过滤 是金和白金许可的一部分。.

2020-07-06 16:10:54

Elasticsearch:运用 API 创建 roles 及 users

在我之前的文章: Elasticsearch:设置Elastic账户安全 Elasticsearch:用户安全设置 我介绍了如何使用 Kibana 来创建安全的 Elasticsearch 访问,已经如何创建 roles 及 users。在那里的介绍我们使用了 Kibana 的界面来完成的。在今天的文章中,我们来介绍如何使用 API 的方式来创建 roles 及 users。这样的好处是,我们可以直接在应用中动态地生成所需要的 roles 及 users。准备工作在做这个练.

2020-07-06 10:48:44

Beats:在 Beats 中实现动态 pipeline

在我之前的文章 “Beats: Filebeat和pipleline processors”中,我描述了如何使用 pipeline 和 Beats 一起共同来实现对数据的处理。在那篇文章中,我们可以看到的是我们只能使用一个固定的 pipleline 来处理数据。但是在实际的使用中,我们可能面临需要根据不同的情况使用不同的 pipeline。在今天的练习中我们将来展示如何实现。安装如果你还没有安装自己的 Elasticsearch, Kibana 及 Metricbeat 的话,那么请参阅我之前.

2020-07-04 18:27:27

Elastic:在Kibana 中定制 time picker 及 指标可视化显示格式

如何定制 Kibana 的 time picker对于经常使用 Kibana 的用户来说,经常会使用到 time picker。这是因为我们要展示的数据完全是依赖于 time picker 的选择。如果这个时间的范围设置不对,就没有可以供分析的数据。在上面,默认的情况下,是显示 Last 15 minutes。那我们有什么办法设置为 Last 1 year 吗?我们打开 Stack Management:点击 Advanced Settings:点击 Save change.

2020-07-01 17:19:33

Enterprise:如何将自定义数据导入 Elastic Workplace Search - 一个简单的CSV示例

Elastic Workplace Search 可以立即从各种内容源(例如 Google Drive,GitHub 和 Salesforce)中提取数据。 但是您可能需要额外的灵活性来满足您自己独特的组织数据需求。Workplace Search 自定义源 API 提供了一种轻量级的,由 API 驱动的方式,用于将内容提取到 Workplace Search 中。 此灵活的工具可帮助你防止自定义内容被孤立,并使其完全显示在 Workplace Search 搜索结果中,就好像它源自现成的内容源集成一样

2020-06-30 14:50:22

Elastic:使用机器学习 API 创建一个任务

针对机器学习的API,我们可以在地址:https://www.elastic.co/guide/en/elasticsearch/reference/7.8/ml-apis.html找到。这次,我们就其中的一些 API 来做一个简单的介绍。我们可以通过如下如下的 API 来查询 datafeed 的状态:GET _cat/ml/datafeedsdatafeed-response-request-by-app stopped 1006 712datafeed-total-reque..

2020-06-29 16:51:19

Elastic:机器学习 Demo

在之前的几篇文章中,我已经介绍了关于机器学习的一些文章。在今天的文章中,我准备了一个新的数据集来进一步地做一个练习。希望大家能对这个有一个更深入的了解。如果你还想了解更多关于机器学习的练习,可以参阅之前的文章: -Elastic:机器学习的实践 - single metric job -Elastic:机器学习的实践 - multi metric job -Elastic:机器学习的实践 - population job ...

2020-06-29 13:08:33

Elastic:在 ARM 上运行 Elasticsearch

Elastic 的指导原则之一就是要要和我们的用户在一起。我们以多种格式为多个平台发布了我们的产品,以便你可以尽快上线运行。随着基于 ARM 的体系结构的日益普及,我们希望确保我们的用户可以在 ARM 以及 x86-64 上运行Elasticsearch。从版本 7.8.0 开始,你可以下载用于64位 ARM 架构(AArch64)的Linux工件。 Docker 映像现在是多体系结构,这意味着你可以像在x86-64系统上那样,从 Docker Hub 或 Elastic 的 Docker 注册表中完全

2020-06-28 13:07:32

Elastic:机器学习的实践 - categorization

如果你有基于消息的日志条目,但是这些日志条目是机器生成的,则在将它们用于异常检测之前,首先需要将它们组织成类似的消息类型。 该过程称为分类 (cateogrization),Elastic ML 可以帮助完成该过程。Categorization 将结构引入半结构化数据,以便对其进行分析。这样做的好处就是在事先在并不知道 message 含有什么,就能找到日志里的异常。可以供 categorization 的信息种类在定义此处要考虑的基于消息的日志行的类型时,我们需要稍微严格一些。 我们不考虑的是完

2020-06-27 17:51:22

Elastic:机器学习异常的可视化呈现

在我之前的文章中: -Elastic:机器学习的实践 - single metric job -Elastic:机器学习的实践 - multi metric job -Elastic:机器学习的实践 - population job我展示了如何使用 Elastic 的机器学习对异常的数据进行异常检测,比做相应的呈现。大家有没有觉得还是美中不足,那就是我们想在可视化中,比如在 dashboard 中进行展示是不能做到的。在今天的练习中...

2020-06-26 19:21:07

Elastic:机器学习的实践 - population job

在以下情况下,数据中的实体或事件可以被认为是异常的:他们的行为会随着时间而变化,相对于他们以前的行为,还是 它们的行为不同于指定群体中的其他实体。在之前的文章: Elastic:机器学习的实践 - single metric job Elastic:机器学习的实践 - multi metric job 后一种检测异常值的方法称为总体分析。机器学习分析可建立“典型”用户,机器或其他实体在指定时间段内所做的工作的概况,然后识别与人群相比何时表现异常。当总体上总体上的行为大多.

2020-06-24 20:32:25

Elastic:机器学习的实践 - multi metric job

这篇文章是之前文章 “机器学习的实践 - single metric job” 的续篇。如果你对 Elastic 的机器学习还是不太了解的话,请参阅之前的文章,并配置好自己的 Elasticsearch 机器。机器学习需要白金版许可。在今天的文章中,我将详细介绍如何使用机器学习创建一个 multi metric job。准备数据在今天的练习中,我们将使用 Elastic 自带的索引 eCommerce 来做。打开 Kibana:点击上面的 Add data 按钮,这样,我们就完成了.

2020-06-24 15:00:13

Logstash:运用 memcache 过滤器进行大规模的数据丰富

在之前的文章 “Logstash translate 过滤器简介”,我详细地介绍了如何使用 translate 过滤器来丰富我们的数据。在文章 “运用 Elasticsearch 过滤器来丰富数据”,我也介绍了如何使用 Elasticsearch 过滤器来对数据进行丰富。尽管 Elasticsearch和 translate过滤器适合较小的工作量,但我们可以通过提供一个可扩展的扩充层来改善此状况,该扩充层不会在单个 Logstash 节点上保持状态。例如,使用最近 memcached filter插..

2020-06-23 14:54:21

使用 Visual Studio Code 运行 Elasticsearch queries

今天我发现我们实际上可以使用 VSCode 运行 Elasticsearch DSL queries。如下是我采用的步骤:创建一个 .es 文件sample.esGET _cat/indices使用 VScode 打开这个文件code sample.es我们选择 elasticsearch 语言我们选择 localhost:9200 作为 Elasticsearch 的地址。我们点击 enter 键确认。安装上面的工具。我们在刚才的 .es 文件的目.

2020-06-23 13:53:31

Logstash:Logstash translate 过滤器简介

Logstash具有一个有趣的功能,称为翻译过滤器 (translate filter)。 翻译过滤器用于根据字典或查找文件过滤传入数据中的特定字段。 然后,如果输入字段与字典查找文件中的条目匹配,则它将执行操作,例如,将字段添加到数据或发送电子邮件。这个和我们之前介绍的数据丰富是一样的。一个简单的用例也许你正在从Twitter索引数据,并想知道用户何时在其推文中提及某些特定单词。 创建一个被认为很有趣的单词列表。 每次在推文中提及该单词时,你都可以在数据中添加一个字段,以将数据标记为“int.

2020-06-21 18:38:16

Elasticsearch:理解 Elasticsearch 中的 Percolator 数据类型及 Percolate 查询

Elasticsearch 是功能强大的功能丰富的工具。在今天的文章中,我来介绍一下 Percolator 数据类型。同时也介绍一下 Percolate query。您需要基本了解 Elasticsearch,尤其是映射和搜索。概念lasticsearch 的正常工作流程是将文档(作为JSON数据)存储在索引中,并执行搜索(也是JSON数据)以向索引询问有关这些文档的信息。简而言之,Percolate 可以逆转这种情况。 你存储 search 吃并使用文档询问有关这些搜索的索引。 是的,但这..

2020-06-21 17:00:23

Elastic:在 Elasticsearch 中计算摄取延迟并存储摄取时间以提高可观察性

使用 Elasticsearch 查看和分析数据时,通常会看到可视化效果以及监视和警报解决方案,这些解决方案利用了在远程/受监视系统上生成的时间戳。但是,使用远程生成的时间戳可能会有风险。如果远程事件的发生与到达 Elasticsearch 的事件之间存在延迟,或者如果远程系统上的时间设置不正确,则重要事件可能会在雷达的扫描之外而不被发现。因此,在将文档摄取到 Elasticsearch 中时,存储每个文档的摄取时间以及监视每个事件到达 Elasticsearch 集群需要多长时间通常会很有帮助。大于正

2020-06-19 16:42:14

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)