- 博客(104)
- 收藏
- 关注
RSS订阅原创 ES数据建模最佳实践
文章目录什么是数据建模建模三过程建模考虑点功能需求性能需求如何对字段进行建模字段类型搜索聚合及排序存储最佳实践Dynamic 避免过多字段避免wildcard查询其他Demo参考什么是数据建模数据建模是对真实世界进行描述的一种工具和方法，实现对现实世界的映射建模三过程概念模型逻辑模型数据模型（第三范式）建模考虑点功能需求是否需要被搜索是否需要聚合性能需求主分片数字段是否需要存储在磁盘上如何对字段进行建模字段类型Text全文搜索默认不支持聚合分析及排序。需要
2020-05-10 15:38:36
674
原创 scripting-painless
支持 Java 及 Java 子集6.0开始，不支持 Python，JS、Groovy等高性能，安全访问字段上下文语法Ingestctx.field_nameUpdatectx._source.field_nameSearch && Aggregationdoc[“field_name”]...
2020-05-08 12:15:15
275
原创 更新索引&&重建索引&&索引别名
文章目录实际场景问题索引变更索引变更期间，数据访问问题_update_by_query_reindex_alias参考实际场景问题索引变更在实际应用场景中，我们会遇到以下情况:需要修改原字段定义的类型需要增加原字段的类型，或者新增类型随着数据量变大，需要修改主分片数量需要把数据从一个集群迁移到另外一个集群以上场景，可以通过 _update_by_query 或 _reindex...
2020-05-05 23:36:56
592
原创 关系型数据库的范式化设计和ES的反范式化设计
关系型数据的范式化设计1NF：消除非主属性对键的部分函数依赖，不重复的列（关系型数据库的基本要求）2NF：消除非主属性对键的传递函数依赖，非主属性完全依赖于主关键字3NF：消除主属性对键的传递函数依赖，BNNF：主属性不依赖主属性范式化的问题ES的反范式化设计...
2020-05-05 14:09:36
389
原创 aggregation的原理及精准度问题
分布式系统的近似统计算法及方案选择在数据量大，且对精确度要求比较高时，采用Hadoop离线计算在数据量不太大，且对精确度要求不高的情况下，可以使用ESES 统计Metrics 聚合，如：min、max、avg 等可以获得精确值Bucket聚合，如：terms 只能获得近似准确值，其原因在于 Coordinating Node不知道数据全貌ES中反馈统计准确性参数doc_c...
2020-05-05 01:25:53
674
原创 ES实现商品广告
商品广告，涉及主要问题：广告尽可能的都有展示机会广告的展示机会均等通过 function_score 可以非常简单的做到。具体如下：GET vs_bp_goods_test_v1/_search{ "query": { "function_score": { "query": { "term": { "type": { ...
2020-04-27 23:43:19
428
原创 [ES笔记] multi_match
搜索的三种场景最佳字段（Best Fields）评分来自最匹配的字段多数字段（Most Fields）处理英文时，一种常见的手段是，在主字段用English Analyzer分词（提取词干，加入同义词），以匹配更多文档；同时加入子字段，用 Standard Analyzer分词，以提供更加精准的匹配。其他字段作为匹配文档提高相关度的信号。匹配字段越多则越好。混合字段（Cro...
2020-04-21 23:47:44
1315
原创 mvn安装及配置
install mvnapt install mvnchange reporitory to aliyunin node mirrors of the file whose path is /usr/share/maven/conf/settings.xml, <mirror> <id>alimaven</id> ...
2020-02-07 00:12:47
327
原创 Elasticsearch核心技术与实践
中文分词hanlphanlp, hanlp_standard, hanlp_index, hanlp_nlp, hanlp_n_short, hanlp_dijkstra, hanlp_crf, hanlp_speedicuikpinyin
2019-12-30 09:57:08
293
原创 ES 能做什么以及如何做
相关地址jim’s ES日志 ES基础基本命令POST twitter/_doc{ "user_name":"jim", "content":"enjoy es"}POST twitter/_doc/1{ "user_name":"jack", "content":"enjoy kafka"}GET twitter/_search# 查看自动类...
2019-12-11 18:37:18
316
原创 Canal原理及源码剖析
文章目录canal原理核心源码canal应用mysqldeployer and serverclient-adapterESdebug canalcanal源码剖析相关错误及解决办法mysql相关binlog_checksum待整理canal原理mysql(binlog) -> canal server(Event) -> kafka/rocketmq/tcp(Message) -...
2019-10-24 18:47:42
769
原创 Scrum指南摘要
透明、检视和适应是经验过程控制的三大支柱,支撑起每一个经验过程的实施。4个正式事件：sprint 计划会议，每日scrum站会，Sprint评审会议，Sprint回顾会议承诺、勇气、专注、开放和尊重五大价值观Scrum 团队由一名产品负责人、开发团队和一名 Scrum Master 组成。Scrum 团队是跨职能的自组织团队。产品负责人是负责管理产品待办列表的唯一负责人。规划、价值、代办列...
2019-10-21 17:49:25
203
原创 关于power apps
是什么表面来看，类似微信小程序，这里的超级App是 PowerApps，用户在这个使用相关App。App提供方通过 PowerApps Studio 创建自己的App。PowerApps 目前只在 Apple App Store 和 Google Play 上架。如何开发 App在微软提供的 PowerApps Studio中"开发"App，通过拖拉拽的方式实现相关功能，无需编写代码。会做...
2019-10-11 14:12:23
1599
原创 mysql详解(updating)
https://blog.csdn.net/qq_34458791/article/details/866167885.7 配置文件：http://blog.programster.org/ubuntu-16-04-default-mysql-5-7-configuration升级mysql：https://www.jianshu.com/p/75c07c0c9779 （升级到5.6.2以上）...
2019-08-19 15:09:37
1393
原创 kafak详解
文章目录kafak主要命令kafka 安装：kafka相关命令及使用：http://www.cnblogs.com/qizhelongdeyang/p/7341954.html （简单、完整）https://kafka.apache.org/quickstart kafka_2.11-2.1.0.tgz 验证有效https://www.cnblogs.com/tonglin0325/p/...
2019-08-19 14:42:30
732
原创 [elasticsearch笔记] Back up a cluster
note不能通过简单的复制节点数据实现备份，因为在复制数据的时候，可能集群中相关节点在写数据。可靠的备份集群的方法是使用 snapshot 和 restore 功能snapshot 是在一个运行的ES集群中生成备份，并且其备份是增量备份。备份的数据可以存储到 共享文件系统，也有插件支持把备份文件保存在S3，HDFS，Azure，Google Cloud Storage 中。GET /_...
2019-08-15 17:55:22
122
原创 [elasticsearch笔记]Rolling up historical data
notethis functionality is experimental时间相关性的数据随着时间的推移，其实时可访问的诉求会逐步降低，直到基本没有访问诉求所以超过一定时间的数据 rolling up 到低成本的存储设备/存储方案，是很有必要的/_rollup_search 和 /_search 可接收的 Query DSL 一样，只是支持功能上有些限制支持 live data 和 ...
2019-08-15 16:37:16
292
原创 [elasticsearch笔记] SQL access
文章目录SQL JDBCAPI usageSQL LanguageSQL and multi-fieldsFunctions and OperatorsdemoSQL JDBCdependency<dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>...
2019-08-09 15:35:54
233
原创 Linux常用命令(updating)
Linux常用命令lsofnetstatlsoflist open fileslsof -ilsof -i:端口号netstatnetstat -tunlp 用于显示tcp，udp的端口和进程等相关情况
2019-08-08 17:35:56
162
原创 [elasticsearch笔记]Managing the index lifecycle
索引生命周期notedemonote索引的生命周期hotwarmcolddelete如果 index.lifecycyle.indexing_complete=true, 索引不会通过 ilm policy rollover应用 ilm policy 到已有index中有两个主要问题：不能有 rollover 相关设置，因为rollover是针对新建的index的避免...
2019-08-08 11:58:37
1741
原创 Ingest Node && Pipeline && Processor
文章目录notedemo_simulatesetdrop && iffaildissectgrokuppercasenoteprocessors 详情查看ingest node 的目的在于在实际文档被索引前，预处理文档ingest node会拦截 bulk、index 请求，会执行相关操作，然后把操作结果返回给 index、bulk请求关闭 ingest node 功能...
2019-08-07 15:03:53
1152
原创 [elasticsearch笔记] Index Modules
文章目录File system storage typespre-loading data into the file system cacheIndex SortingFile system storage typesfs (default)simplefsniofsmmapfshybridfspre-loading data into the file system cach...
2019-08-07 14:49:52
377
原创 maven详解
dependencyManagement 和 dependencies 的区别dependencyManagement 统一管理依赖版本，申明后，子模块中只需在 dependencies 中指明 groupId, artifactId 即可，版本依赖dependencyManagement中申明。若子项目不指定，则不引入模块子模块完全继承parent的dependencies并加载最佳实践...
2019-08-06 17:02:07
832
原创 [elasticsearch笔记] Modules 节点相关
Discovery构建集群从 seed host providers 开始，在已知集群中，有 master-eligible 的节点每个节点探测 seed addresses,识别是否可连接；分享远程已知的 master-eligible 节点列表；继续探测，找 master 节点；如果实在找不大，就在master-eligible 中进行选举核心参数discovery.find_pe...
2019-08-02 16:29:27
633
1
原创 [elasticsearch笔记] Analysis - Character Filters
noteCharacter filters are used to preprocess the stream of characters before it is passed to the tokenizer.A character filter receives the original text as a stream of characters and can transform ...
2019-08-02 11:53:48
212
原创 [elasticsearch笔记] Analysis - Token Filters
noteToken filters detailsToken filters accept a stream of tokens from a tokenizer and can modify tokens (eg lowercasing), delete tokens (eg remove stopwords) or add tokens (eg synonyms).demoasc...
2019-08-02 11:47:10
440
原创 [elasticsearch笔记] Analysis - Tokenizer
文章目录demostandardletterlowercasewhitespaceuax_url_emailclassicngramedge_ngramkeywordpatternchar_groupsimple_patternsimple_pattern_splitpath_hierarchydemostandardThe standard tokenizer provides gram...
2019-08-01 15:10:29
703
原创 [elasticsearch笔记] Analysis - Normalizer
noteNormalizers are similar to analyzers except that they may only emit a single token.demoPUT normalizer_index{ "settings": { "analysis": { "char_filter": { "quote": { ...
2019-08-01 15:04:09
553
原创 [elasticsearch笔记] Analysis - Analyzer
文章目录notedemocustomstandardsimplewhitespacestopkeywordpatternfingerprintnote索引 和 搜索过程的 analyzer 应该保持一致analyzer包含：character fitlers, tokenizers, and token filterscharacter fitlers: 单词转化，过滤。analyze...
2019-08-01 11:54:45
644
原创 [elasticsearch笔记] mapping-data type 2
文章目录demo_id/ids_index_source includes/excludesfields/analyzer/filter/search_analyzercoerce (force)copy_todoc_valuesenabledfielddatadate formatignore_abovefieldsnull_valueposition_increment_gapproperti...
2019-07-31 16:38:17
182
原创 [敏捷开发] 敏捷开发在团队落地的总结反思及改进建议
以前，当讲到我们团队采用敏捷开发进行APP迭代的时候，我会把“敏捷”二字打上引号。但是最近总结、反思、参加TAPD分享会、公司组织的敏捷培训以及系统的学习了敏捷的理论知识后，我觉得应该把这个引号给去掉。本文将从 什么是敏捷、待优化的地方及建议 及 总结 三个方向阐述。什么是敏捷，我们敏捷吗？个人认为，敏捷的核心就是：“小步快走、迭代优化”。“小”：指Stroy要小、落地开发的Task要小...
2019-07-31 09:57:50
1584
原创 [elasticsearch笔记] mapping-data type1
demo## 最开始，type被类比成数据库的table，但是lucene底层对于同一index下面相同的field（type不同）必须是要同种类型，即lucene底层会把index下所有相同的field一致对待。# 多个type不利于数据压缩# 全文检索中用于计分的词条统计会更精准#PUT my_index { "mappings": { "properties": {...
2019-07-30 18:30:39
194
原创 [elasticsearch笔记] 优化（updating）
网络资源搜集，待消化https://blog.csdn.net/laoyang360/article/details/97695931
2019-07-30 16:14:23
97
原创 [elasticsearch笔记] Scripting
文章目录notesdemopainlessexpressionmustacheDIY plugin in javanotes支持脚本：painless ，expression , mustache, java。点击详情查看demopainlessPUT script_text_v1{ "mappings": { "properties": { "title": ...
2019-07-29 15:19:06
119
原创 [elasticsearch笔记] Query DSL Term - exists/must_not/fuzzy/ids/prefix/range/regexp/term/terms/wildcard
文章目录notesdemoexists/must_notfuzzyidsprefixrangeregexpterm/termswildcardterms_setnotes正则demoexists/must_notGET /kibana_sample_data_logs/_search?size=1GET /kibana_sample_data_flights/_search?si...
2019-07-29 11:48:51
287
原创 docker-compose 安装 ES集群及ELK等相关软件
本文介绍通过 docker-compose 构建 ES 集群及ELK等相关软件。制作包含analysis-ik、analysis-pinyin等插件的ES镜像，Dockerfile如下# Docker image of elasticsearch with ik and pinyin# VERSION 7.2.0# Author: zhengcj01FROM elasticsear...
2019-07-27 21:09:47
245
原创 docker详解
docker命令demo# mongo docker run -p 27017:27017 --name mongo -v /mydata/mongo/db:/data/db -d mongo:3.2docker exec -it mongo mongodocker rm -f $(docker ps -a -q)docker inspect es7_01docker inspect...
2019-07-26 17:28:01
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人