6 点火三周

尚未进行身份认证

热爱编程,老码团队成员,《老码说编程之玩转Swift江湖》作者。elasitcsearch认证工程师,elasitcsearch中文社区成都负责人

等级
TA的排名 2k+

Elastic Stack 7.7 最新功能体验

文章目录集群搭建准备演示数据体验service map体验全新的alert框架Elastic在美国时间5月13号发布了最新的7.7版本。该版本在三个解决方案上均有大幅的更新,比如:在全观察性解决方案上,推出了大家期盼已久的APM上的service maps功能,借助该功能,我们可以通过服务之间的调用关系来绘制整个服务之间的调用关系拓扑图,并通过这个逻辑拓扑图厘清复杂系统的结构,比如复杂业务系统内部调用关系链,系统与系统之间的关系,系统与中间件、数据库之间的链接关系等。并且,可以在这个关系图上实时监控整个

2020-05-14 22:21:14

使用Elasticsearch做向量空间内的相似性搜索

文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中,Elasticsearch将默认算法由TF / IDF切换为Okapi BM25,该算法用于对与查询相关的结果进行评分。对Elasticsearch中的 TF / IDF 和 Okapi BM25感兴趣的可以直接...

2020-01-30 11:43:54

使用Elastic Stack做应用的360度全观察性监控

文章目录示例架构事件分析和探索APM 探索Infra探索Discovery探索Service探索总结Elastic坚信,如果我们要监控企业的IT基础设施或者说完成整个软件的端到端的全链路监控,那么就不应该漏过任何一个侧面的数据。这需要通过360度的全观察性来完成。Elastic Stack,作为一个大数据平台的技术栈,在运维监控这个垂直领域,已经提供了一套完整的技术解决方案,从日志分析,到指标监...

2019-12-03 17:16:27

Elasticsearch开发进阶指南——如何选择合适的ES版本

Elasticsearch不只是全文检索引擎的领头羊,现在也是各个大厂标配的大数据平台之一,被广泛用于搜索加速,用户标签、画像系统、向量搜索等领域,它不是传统的关系型数据库,但这个信息爆炸,数据堆积的时代,我们获取知识的方式已经极大的改变,搜索、提问成了获取知识的第一手段。对Elasticsearch工程师的要求已经不亚于甚至超过了对DBA的要求。那么,要如何才能成为一个被认可的Elastics...

2019-11-30 10:04:53

滴滴基于 ElasticSearch 的一站式搜索中台实践(转)

ElasticSearch 在滴滴的应用场景滴滴自 2016 年 4 月开始组建团队,解决 ElasticSearch 在使用过程中遇到的性能问题。搜索平台的建设是随着业务体量的发展逐步演进的,如今已经发展到有超过 3500+ ElasticSearch 实例, 5PB 的数据存储,峰值写入 TPS 超过了 2000W/S 的超大规模,每天近 10 亿次检索查询。ElasticSearch...

2019-09-27 18:04:08

滴滴 Elasticsearch 多集群架构实践(转)

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台,如今已经发展到超过 3500+ Elasticse...

2019-09-27 18:01:16

如何在Elastic cloud上选择合适的Elasticsearch service

文章目录Elastic cloud简介Elasticsearch service配置选择服务提供商数据中心集群配置选择服务的例子(Hot-Warm Architecture)总结Elastic cloud简介Elastic Cloud是Elastic不断增长的SaaS产品系列,它使我们能够轻松地在云中部署、操作和扩展elastic的产品和解决方案。从易于使用的托管和管理的Elasticsear...

2019-09-25 09:40:02

logstash的elasticsearch output plugin:不同action的区别(index/create/update)

文章目录elasticsearch plugin的actioncreateindexupdatedoc_as_upsertupsert异常总结elasticsearch plugin的actionlogstash提供了多达40多种的output plugin用于将处理后的数据输出到下游系统。其中最为常见的输出端自然是elasticsearch plugin。而elasticsearch plu...

2019-09-24 15:13:28

使用shodan/censys API搜索免费的elasticsearch/kibana资源

文章目录注册shodan并获取API安装shodan注册censys并获取API安装censys用censys查询可用elasticsearch资源记得以前我在elastic社区分享过一个主题《ITDS如何玩转elastic》(这里的ITDS是IT屌丝的意思),里面提到过如何用elasticsearch做数字货币的交易数据分析,回测数据分析等。其中一个问题就是,我们如何把分析结果进行共享。如果我...

2019-07-12 11:54:23

如何用logstash处理列式存储的文件

背景最近遇到一个问题,朋友需要使用es去处理一些基因数据,其特点和其他的数据不一样,对象的个数很少,但每个对象下面有很多field。并且field的值是动态添加的,用列式存储数据是最为方便的。方便起见,画了个示意图,file1是行式存储,即我们常见的csv,第一行是标题,后面每一行就是一条记录。而file2,则是列式存储,第一列式header,后面每一列都是一条记录要使用logstash...

2019-07-12 09:45:43

python中调用ansible 2.8

之前已经写过一篇文章了手把手教你在python中运行ansible-playbook今天整理一下,把调用ansible的方法一并发出来。这里特别要注意的是:ansible的代码一直在重构,每个版本的调用方式都不一样,以下代码仅限于ansible2.8,关于其他版本,请自行百度另外,本人正在做一个ansible的可视化项目,有兴趣的朋友可以给我留言,一起做!#!/usr/bin/env...

2019-07-04 11:24:23

使用ansible+vue搭建elastic的自动化部署和配置平台

文章目录背景原型需求核心的需求管理需求技术需求可扩展需求招募背景因为经常和elastic打交道,所以平常写了很多关于elastic的博文。因为elastic的更新速度,所以常常骂空气。基本上每个月都会有一个版本更新,为了跟上速度,集群,插件的版本和配置更新工作就成了家常便饭。虽然自己写了一套ansible的脚本,但使用起来并没有那么方便。单纯使用 ansible 脚本,在我看来有以下缺点:...

2019-07-03 16:37:04

(转)用webpack4从零开始构建react脚手架

使用脚手架git clone git@github.com:xiehaitao0229/react-wepack4-xht.gitcd react-webpack4-xht`npm run dev` // 启动本地`npm run build` // 打包线上环境`npm run clean` // 清除线上环境打包出来的文件`npm run test` // 单元测试...

2019-06-27 10:17:10

以python自定义模块的方式共享API(数据,短信通知、邮件通知,代理等)

文章目录自定义模块的好处哪些函数需要放到自定义模块当中生成自定模块通过ansible,将模块发布到云服务器上经常写脚本的同学应该会经常碰到一些函数得反复的重写,比如日志,告警等。我在云上写了不少机器人脚本,每个都会涉及到一些公共的操作,比如,连接数据库(mysql,elasticsearch),寻找动态代理,发送短信,邮件通知等;要在这些脚本之间共享这些操作,需要将这些公共函数放到一个模块当中,...

2019-06-25 11:51:25

用chrome插件实现cookie同步

文章目录场景描述面对的问题解决思路chrome cookie share插件开发项目结构manifest.json前端:content.js后端:background.js结语场景描述做过爬虫或者机器人的朋友一定会遇到登陆的问题:大多数的网站需要登陆之后才能读取内容或者执行操作。要实现网站的自动化登陆和操作,大概的方法有两种:1,通过Chrome无头浏览器-selenium等工具模拟登陆,然后...

2019-06-21 16:00:42

手把手教你在python中运行ansible-playbook

关于什么ansible,我这里就不做科普了,总之一句话,要做分布式系统的运维,实现批量系统配置、批量程序部署、批量运行命令等功能,ansible就是一大杀器,能令你事半功倍。但作为一个cli工具,其使用场景还是受cli的限制,无法实现运行过程中更深入的交互和逻辑控制。ansible本身是用python做的,所以实际上是和python的脚本控制是无缝链接的,可以在python中直接使用。但怎奈关于这部分的内容,官网文档中本身就少得可怜,互联网上也少有关于这一块的介绍,所以这个博文试着抛砖引玉,为大家做个指

2019-06-19 16:51:56

使用elasticsearch文件搜索系统助力亚马逊解决方案架构师认证考试

当真没想到随手写的一个文章 使用elasticsearch搭建文件搜索系统(带界面),居然会有这么多的点赞。哈哈,应该是贫穷限制了我的想象力,感谢30多位同学的赞。总之趁热打铁,围绕这个话题,趁我还有兴趣,再写一篇,

2019-06-14 11:02:05

使用Elasticsearch搭建一个文件搜索系统(带界面)

接触ELK这么久,一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能,填补一下这方面的空白。主要也是好多天没更新博客了,来写一篇文章目录基本需求任务分解web 前端web 后端索引替换文件监控与索引文件下载结语何为文件搜索系统?其实简单一点,就可以想象为一个带用户界面的grep,可以根据你提供的关键字查询包含该内容的文件。与grep一样,该系统应该能返回包含该搜索条件的文件名,行...

2019-06-10 17:59:32

阿里云垃圾坑人指南

阿里云极其垃圾的用户体验,让我觉得心累,而且无处发泄,连反馈的地方都没有,没办法,写个博客,发泄下文章目录无法修改的手机号OSS永远无法修改的HTTP header无法求助无法修改的手机号本人的阿里云账号购买了一个2年期的ECS,但换了手机号,想修改手机号,结果一直告诉我要修改密码,结果我修改了密码之后,还是以下提示,让我修改密码,无论如何也修改不了手机号。请问我修改手机号和修改密码有什么关...

2019-04-26 21:11:03

最强PostMan使用教程(7)postman做数字签名认证

文章目录postman支持的认证方式对 `folder` 和 `collection` 进行统一的认证配置数字签名认证数字货币交易所的API安全认证通过pre-request script生成动态签名Postman Sandbox API内建库pm对象组装message生成signature完整的认证头对一组对象进行统一配置总结在上一篇文章中,我们用postman导入了数字货币交易所的API,进...

2019-04-25 15:51:41

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。