4 zkf541076398

尚未进行身份认证

认真对待数据,分析可用数据

等级
博文 86
排名 11w+

53.刨根问底 | Elasticsearch 5.X集群多节点角色配置(Elasticsearch项目实战)

1、问题引出ES5.X节点类型多了ingest节点类型。 针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单 由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途: 1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似最常用...

2018-06-09 14:58:01

52.Elasticsearch大文件检索性能提升20倍实践(Elasticsearch项目实战)

少废话,直接开始。1、大文件是多大?ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中,有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如:将《深入理解Elasticsearch》这边书导入ES,而这边书的全文内容被识别后的大小可能为3MB——5MB以上的字节。存入ES后是一个content字段,对这个co...

2018-06-09 14:57:47

51.Elasticsearch全文检索系统实现深入详解(Elasticsearch项目实战)

题记学习ES的童鞋,都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是,能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了,该如何实现?需要什么技术呢?1、Elasticsearch全文检索系统效果图注:这张图是从网上down的,我已经实现了上述功能。  (不能截图,原因:你懂的!)2、Elasticsearch全文检索...

2018-06-09 14:57:10

50.干货 |《深入理解Elasticsearch》读书笔记

题记由于之前已经梳理过Elasticsearch基础概念且在项目中实战过Elasticsearch的增删改查、聚类、排序等相关操作,对ES算是有了一定的认知。但是,仍然对于一些底层的原理认知模糊,特买来《深入理解Elasticsearch》过了一遍,将书中一些细节知识点结合官网文档梳理如下。1——4章偏应用,跟着敲一遍代码基本就能理解原理。 5——9章偏理论一些。 第5章分布式索引架构1、如何选...

2018-06-09 14:57:02

49.Elasticsearch实战——全文检索架构设计

1、题记近几年,Elasticsearch(以下简称ES)作为开源的搜索引擎已经在国内得到越来越多的应用推广,在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索,该如何实现呢?本文给出架构设计和实现原理。2、理清楚使用ES的初衷2.1大数据背景下数据量的积累与数据应用疲软矛盾一直存在。大数据的风已经刮了几年...

2018-06-09 14:56:53

48.lasticsearch全文检索实战小结——复盘我带的第二个项目(Elasticsearch实战篇)

一、项目概述这是一个被我称之为“没有枪、没有炮,硬着头皮自己造”的项目。项目是和其它公司合作的三个核心模块开发。 使用ES的目的是: 1)、采集数据、网站数据清洗后存入ES; 2)、对外提供精确检索、通配符检索、模糊检索、分词检索、全文检索接口等二次封装接口。二、项目架构 如上图所示,ES作为中间层,一方面存储数据清洗后存储的数据,另一方面对外提供插入、更新、删除、检索接口的。三、ES使用小结3....

2018-06-09 14:56:43

47.Elasticsearch的使用场景深入详解(Elasticsearch实战篇)

了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的​​存储或其他经常需要的功能,如统计。  Elasticsearch是提供持久存储、统计等多项功能的现代搜索引擎。 如果你开始一个新项目,我们建议您考虑使用Elasti...

2018-06-09 14:56:14

46.Elasticsearch6.2.2 X-Pack部署及使用详解

X-Pack已经开源,预计Elasticsearch6.3版本会全面集成,不再收费。 赶紧体验一下强大的X-pack吧!1、X-Pack概览X-Pack简介 1)利用X-Pack拓展可能性。 X-Pack是集成了多种便捷功能的单个插件—security、alerting、monitoring、reporting、graph探索和machinelearning—您可以在E...

2018-06-09 14:56:07

45.elasticsearch性能测试工具rally

题记elasticsearch性能测试研究了很久,自己想过通过批量导入数据,然后记录时间,统计CPU、内存等变化,计算得出某个性能指标。但显然,数据量起伏不定,非常不准确。 研究发现,github上提供了rally作为elasticsearch的性能测试工具,较好的解决了es性能测试问题。1、esrally功能:es的性能测试工具。esrally不支持windows版本,目前只支持Linux和Ma...

2018-06-09 14:55:42

45.esrally性能分析结果图形化展示

0、前提安装elasticsearch的最新版本,目前是2.3.4版本。 elsticsearch新增扮演的角色是:rally分析结果会存储到elasticsearch。1、运行esrally高级配置模式高级配置模式和普通模式的区别:普通模式只需要配置jdk的环境变量路径。 而高级模式,需要配置:当前本机已安装elasticsearch的监听端口以及ES配置的主机名称。高级配置模式详情:[ela...

2018-06-09 14:54:47

实时数据产品实践——美团大交通战场沙盘

背景大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新、用户体验个性化、实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大。如何通过数据快速分析出用户的行为,以便做出准确的决策,越来越体现一个公司的价值。现阶段对于实时数据的建设比较单一,主要存在以下问题:实时仓库建设不足,维度及指标不够丰富,无法快速满足不同业务需求。实时数据和离线数据对比...

2018-06-02 17:12:16

Spark Streaming + ES构建美团App异常监控平台

如果在使用App时遇到闪退,你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但App开发者也同样感到头疼,因为AppCrash(崩溃)可能意味着:用户流失、营收下滑。为了降低崩溃率,进而提升App质量,App开发团队需要实时地监控App异常。一旦发现严重问题,及时进行热修复,从而把损失降到最低。App异常监控平台,就是将这个方法服务化。本篇以核心需求为中心,逐一展开介绍,如何使用S...

2018-06-02 16:42:13

Spark性能优化:数据倾斜调优

前言  继《Spark性能优化:开发调优篇》和《Spark性能优化:资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。1.数据倾斜调优调优概述   有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差...

2018-06-02 16:23:13

基于ubuntu14.04的ambari安装及集群部署

第一节.Ambari简介Ambari跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。目前最新的发布版本是2.4.1。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,Zookeeper等,而并不仅是特指Hadoop...

2018-05-25 13:58:43

美团点评 spark性能优化指南-高级篇

前言:最近开始玩spark,公司分享了一些不错的spark性能优化学习,故在此分享:http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,...

2018-05-21 22:32:45

美团Spark性能优化指南——基础篇

前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、...

2018-05-21 22:31:39

Spark在美团的实践

前言美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景,选择合适、高效的数据处理引擎能够大大提高数据生产的效率,进而间接或直接提升相关团队的工作效率。美团最初的数据处理以HiveSQL为主,底层计算引擎为Ma...

2018-05-21 22:23:13

43.Elasticsearch索引迁移的四种方式

本文主要讲解Elasticsearch下实现索引迁移的几种方式。0、引言将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和Elasticsearch-Exporter。 除此之外,logstash在索引同步、迁移方面的作用也很大。 两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:1、elasticsearch-...

2018-05-07 09:29:24

42.Elasticsearch Java API深入详解

0、题记之前Elasticsearch的应用比较多,但大多集中在关系型、非关系型数据库与Elasticsearch之间的同步。以上内容完成了Elasticsearch所需要的基础数据量的供给。但想要在海量的数据中找到和自己相关的业务数据,实现对已有的数据实现全文检索、分类统计等功能并应用到业务系统中,必须借助JavaAPI来实现。1、ElasticsearchJavaAPI概览Elasti...

2018-05-07 09:28:22

41.Elasticsearch Jest实战深入详解

以Jest为例,假设我们之前没有用过Jest,对Jest的认知,需要经历的过程: 步骤1:Jest是什么?能解决什么问题? 步骤2:Jest的优势是什么?为什么会出现? 步骤3:Jest如何安装与使用? 步骤4:Jest的样例Demo&实战。本文,就带你从认知的角度,一步步学会使用Jest。1、Jest介绍Jest是Elasticsearch的JavaHttpRest客户端。Ela...

2018-05-07 09:28:10
奖章
    暂无奖章