2 水的精神

尚未进行身份认证

我要认证

做人少给别人添麻烦,做事多给别人带来方便。

等级
TA的排名 5k+

elasticsearch 段合并实操,带图

在学习es的优化方案,很多文章提到进行段合并,会提升查询的性能。还参考了官网,但是我觉得并不全对。我的数据是8亿,带一个副本,大概是4T。集群是三台机器500G的内存,SSD固态硬盘,三个master节点,六个数据节点,职责分离。堆内存分配的31G;分配的分片数是两百,通过在kibana上执行这个命令:来进行段合并。POST index/_forcemerge?max_num_segments=1 以下的截图:是我在进行段合并的时候,对我的集群状态进行一个截图,包含...

2020-07-22 01:43:37

三步修改 ubantu 系统时间

# # 第一步选择时区sudo tzselect这个命令会让输入root用户的密码接着按照下边的输入对应的数字就好了,先选择亚洲 4选择中国 9 ;接着在最后边确认一下时间,没问题的话输入 1出来这个# #第二步,再用下边的命令再执行一条命令 sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# #第三步,确认时间一条命令,查看时间是否修改成功...

2020-07-16 10:22:46

es 日进一寸—— 段合并(Merge)

段是lucene组织数据的单位从极客课程中学到,段会在RefreshInterval的时候产生,如果我们对实时性要求不高的情况下,我们可以适当调整刷新的时间间隔为分钟级别,甚至在大量的同步数据,和写数据的时候,可以设置为 -1 我们可以通过以下操作,对段进行合并。...

2020-07-15 00:36:59

真实数据来看elasticsearch不同的数据节点对系统资源的要求

截了一张测试环境的图,来看一下不同角色的节点,对不同集群资源的要求。搭建的集群,是三个master节点,以及六个数据节点。##以下是所有的的节点的负载情况从下边的图中可以看出来,我们并不需要对master节点分配太多的堆内存。这个根据自己的使用再合理的调配。## 其中一个master节点的情况:可以看到,其实我把主节点的堆内存分配的太大了,这就造成了资源的浪费。## 这是一个数据节点的情况:##master节点垃圾回收的情况...

2020-07-10 15:12:21

failed to decrypt safe contents entry: javax.crypto.BadPaddingException: Given final block not prope

我这个错误是在es其中失败的时候报出来的:Caused by: java.security.UnrecoverableKeyException: failed to decrypt safe contents entry: javax.crypto.BadPaddingException: Given final block not properly padded. Such issues can arise if a bad key is used during decryption.# #错..

2020-07-06 13:50:09

es org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access denied

启动es的时候报错如下:[2020-07-06T05:06:38,998][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [reading_10.10.10.2_master] uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access deni...

2020-07-06 13:20:54

如何选elasticsearch 的版本

# #建议看下这篇文章https://blog.csdn.net/u013613428/article/details/103317806

2020-07-05 00:10:34

Please check the elasticsearch SSL settings under xpack.security.http.ssl.

es集群安全认证添加用户密码的时候,执行./bin/elasticsearch-setup-passwords interactive报错如下# # 原因是需要注释掉:yml里边的配置添加完密码以后再打开

2020-07-04 14:59:02

es 7.5.1版本 集群配置安全证书和开启ssl加密通信

前提是:已经搭建起来集群了,并且集群可以正常运行。所有的节点都是健康的状态。另外我所有的操作都是直接使用启动es集群的用户做的,如果不是这个用户的话,对生成的证书还需要赋予可执行权限。##生成证书,给集群添加证书认证 生成证书不需关注集群是否启动。也就是不管集群有没有启动,都可以生成证书。 先进到 bin目录下:然后执行(执行这个的时候,全部回车就可以,不再对证书设置密码,如果这里再设置其他的密码的话,需要在yml里边加其他的配置,我用没有加的方式) :./elas...

2020-07-04 13:40:02

ShardLockObtainFailedException[[device_search3][2]: obtaining shard lock timed out after 5000ms

elasticsearch集群发生了故障,重新恢复,但是最后有一个分片一直没有恢复,导致集群一个主分片丢失,健康状态呈现红色。错误如下:failed shard on node [bPftT3as9siI4nSGLA]: failed to create shard, failure IOException[failed to obtain in-memory shard lock]; nested: ShardLockObtainFailedException[[device_search3][

2020-06-29 18:57:49

Trying to create too many scroll contexts. Must be less than or equal to: [500]

在做数据导出的时候,因为用到了滚动。因为每次调用都创建了scroll,而且我没有手动删除,而es默认的scroll是500个。到达500个没有清除的手,就会报这个错误。错误如下{"error":{"root_cause":[{"type":"exception","reason":"Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be se...

2020-06-22 15:45:21

共享文件系统 sshfs

因为做Elasticsearch的跨集群数据迁移,所以用到了fs文件系统,因为每个节点在不同的机器上,生成的快照要到同一个地放去,所以我用sshfs搭建了共享文件系统。# #安装sshfs一般linxu系统上是需要安装的如果是普通用户,可能需要加sudo才能执行sudo apt-get install fuse sshfs需要输入root的密码输入y接着等下载完就可以了# #需求共享文件系统,其实就是我们想要共享其...

2020-06-17 15:06:15

elasticsearch 集群配置证书安全认证,如何跨集群同步数据

问题列表不同集群之间是有安全认证的,证书问题需要解决。比方说A集群进行了安全认证,配置了安全证书,而B集群想要reindexA集群的数据。直接来做会报错。这个问题我看官网整了半天,才把两个集群打通了。可以看看官网:https://www.elastic.co/guide/en/elasticsearch/reference/7.7/docs-reindex.html其实原理就是https通信,A进行了证书认证,所以B集群想要能够访问到A集群,就必须拿着A集群的证书和钥匙,...

2020-06-17 00:49:07

Elasticsearch:使用Snapshot 进行数据备份迁移 - 实战

最近在做Elasticsearch集群的内容,除了集群的规划问题,优化问题。在elasticsearch升级的时候,做数据迁移也是一件头疼的事。自己做遇到了很多的坑,慢慢的填。比方说集群在配置安全认证以后,如何跨集群同步数据。这个问题在另外一篇文章中呈现。 而这篇文章主要是通过Snapshot的方式进行数据的迁移。 以下内容是我做的真实案例,以及我在做的时候遇到的一些问题,以及我自己的一些疑问。 首先说一下,我这个案例做是一台机器上两个节点形成了集群。# ...

2020-06-17 00:37:01

学习 elasticsearch 的几个非常好的博主

俗话说授人以鱼不如授人以渔。近期一直在学习elasticsearch的东西,网上的文章非常杂,很多人就是用翻译直接翻译官网,然后断章取义。 官网不错,但是可能没有耐心看完。 推荐我在学习过程中看到的非常好的几个博主。闻道有先后,术业有专攻,想前辈致敬。不过长江后浪推前浪。# #第一个推荐的博主是https://blog.csdn.net/wojiushiwo987/category_9266239.html# # 第二个是https://...

2020-06-16 01:10:15

大量数据场景下,elasticsearch 跨集群数据迁移

方案:采用 Snapshot1.1、适合场景1) 迁移速度快,适用数据量大的场景;2) 需占用源集群磁盘空间,或者借助于对象存储,实现友商ES到腾讯云ES,或自建ES到腾讯云ES的数据迁移。1.2、快照注意事项1)快照是从正在运行的Elasticsearch集群中获取的备份。 2)您可以创建单个索引或整个群集的快照,支持本地文件存储,以及远程第三方存储库存储(包括:S3,HDFS,Azure,Google Cloud Storage等)。 3)快照是增量 创建的。这意味着,当创建索.

2020-06-16 00:57:16

elasticsearch 跨集群数据迁移

1、问题引出ES中文社区中,有如下问题: 问题1:存储数据,data目录从一个机器直接移到一台新的机器是否可以直接使用? 问题2:es升级时,data目录如果在外部路径,从低版本升级到高版本时,data目录是否直接可以使用? 问题3:将一个旧的es数据(400多G)迁移到新的es中的时候直接将旧es的data目录下indices文件拷贝到新es的data下(大概花了一个晚上),这种做法是否可取? 脑补一下,如果你遇到上述问题,你一般怎么解决?2、问题分析上述问题涉及

2020-06-16 00:31:56

elasticsearch 生产级别深度优化

这是一篇转自别人的文章,真的讲的很详细。已经读了很多遍,分享给大家。 贴上原文地址(原文将了很多内容,这是优化方面摘取出来的):https://www.cnblogs.com/kevingrace/p/10682264.html 这个优化文章主要包括五部分:系统方面包括集群的部署,以及服务器环境,linux环境;以及内存方面的优化,以及存储方面的优化;搜索的优化(读优化);还有写优化。目录一、Elasticserach性能优化二、Elasticserach内存优...

2020-06-15 00:48:00

Elasticsearch 集群规划之内存、磁盘、节点数、分片数的问题

这篇文章主要包括以下几个点展开,一个是内存分配的问题,一个是节点数的问题,一个是分片数量的问题,还有就是磁盘的问题。这是我目前遇到的一些最需要考虑的问题,我看了很多文章,进行一些摘录。# # 集群规模和容量规划预估方法容量规划——预估集群中每个节点的分片数、内存及存储资源。吞吐量规划——以预期的延迟和吞吐量估算处理预期操作所需的内存,计算和网络资源。以上的任何一个问题,都会直接成为瓶颈。# #磁盘相关,容量评估第一,问自己几个问题:您每天将索引多少原始数据(G...

2020-06-12 01:09:14

下载和安装 kibana

看这篇文章的前提:已经安装好了ES,并且能够成功启动。熟悉linux的基本操作的命令,这篇文章里边没有vim这些命令,需要根据指示,自己操作。如果上边两个都满足,则可以开始安装。# #下载kibana官网地址:https://www.elastic.co/cn/downloads/kibana进去以后可以看到:接着点击红色框,就可以看到历史安装的版本。这里我安装 7.3.1,点击去下载,我在linxu下安装,所以下载linxu...

2020-06-08 14:04:51

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。