4 fct2001140269

尚未进行身份认证

暂无相关简介

等级
TA的排名 2w+

elasticsearch的知识点归纳

es的基本概念:索引、类型、文档;倒排索引的原理;elasticsearch集群节点、分片;对es的写过程(写入【重要】、删除、更新)、读过程(重要);es中搜索中涉及的算法;...

2020-02-11 22:04:03

Elasticsearch关键知识点总结

Elasticsearch,在笔记本上写下了如下记录:反向索引又叫倒排索引,是根据文章内容中的关键字建立索引。搜索引擎原理就是建立反向索引。Elasticsearch 在 Lucene 的基础上进行封装,实现了分布式搜索引擎。Elasticsearch 中的索引、类型和文档的概念比较重要,类似于 MySQL 中的数据库、表和行。Elasticsearch 也是 Master-slave...

2020-02-10 11:19:55

Spark streaming动态调整资源-调研报告

Spark streaming动态调整资源调研报告一、需求背景:我们希望spark streaming根据不同时间段的数据量不同(例如高峰期和低谷期),自动调整spark的计算资源(包含CPU和memory大小)。从而,可以在高峰期自动增加计算资源以提升处理能力,在数据量低谷时候自动缩减所需资源量,减少资源浪费。二、 调研情况:2.1 spark on mesos的资源伸缩原理spark...

2020-02-10 09:53:29

elk消费kafka数据延迟过大的问题

elk消费kafka数据延迟过大的问题1.问题现象表述:当前elk作为日志系统消费kafka日志数据有很大的延迟,即elk的消费kafka中日志的速度(200条/s)远远低于maplearning生产日志的速度(平均3000条/s)(吐出的日志topic:log_trialproducetion);导致从kibana中查询最新的es日志数据的时间远远低于当前时间,在实际生产环境或【预上线】...

2020-01-29 17:41:49

sonarqube中 项目名称 问题

关于使用sonarqube中的注意事项(1)如果项目中的名称不是你想要的名称​ 图1 两个tms项目,将tms改为CSS-TMS注意修改代码中的工程项目名称即可(2)如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候,idea中terminal中键入如下即可:F:\bigdata\gitlab-workspace\CM-TMS&g...

2020-01-14 14:47:16

SonarQube + Maven分析代码质量

SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台,可以通过多种工具和维度对代码质量进行分析,部分功能还支持可视化,对于代码缺陷一目了然。SonarQube比较开放,支持通过插件扩展功能。支持众多计算机语言,比如 java, C#, go,C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...

2020-01-13 14:10:24

docker下es的堆内存设置

由于需要增大es的内存,从1g到2gdocker下es的堆内存设置网上搜到的是这个但是不生效啊,后期使用如下:(若是在dcos云平台上使用的)提示注意:不能加等号=符号;并且不能双引号""。特此记一下。...

2020-01-09 10:59:21

在VMware中设置CentOS7的网络

在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm

2019-12-30 15:11:47

记一次spark中task卡顿引发的血案

记一次spark中task卡顿引发的血案前言提要:(1)当前spark采用粗粒度的执行方式,资源申请都是一次性的完成;不存在后期申请不到资源的情况;(2)数据量很小,每秒100条左右,基本不存在数据倾斜的问题,但是执行的业务流程很复杂;(3)采用spark on mesos的组粒度模式运行1.问题描述:2019年12月24日ML处理30个文件时间很异常超过10h;xx中部分t...

2019-12-27 14:54:29

(executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after

WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed o...

2019-12-26 20:06:15

14 ,java 操作 s3 ( 详细教程 )

14 ,java 操作 s3 ( 详细教程 )https://blog.csdn.net/qq_34319644/article/details/101072107ceph s3 对象的上传和删除(JAVA demo)https://blog.csdn.net/yangkang1122/article/details/100095868...

2019-12-13 13:54:01

漫画:如何用Zookeeper实现分布式锁?

漫画:如何用Zookeeper实现分布式锁?漫画:如何用Zookeeper实现分布式锁? 程序员BUG 2019-11-19 10:00:00 作者:小灰 来源:关注程序员小灰如何用Zookeeper来实现分布式锁呢?这一次我们会为大家详细讲述。什么是临时顺序节点?让我们来回顾一下Zookeeper节点的概念:Zookeeper的数据存储结构就像一棵树,这棵树由节点组成,这种节点叫做Znode...

2019-12-02 00:11:34

Java 程序员常用资源工具集合(建议收藏)

转载:https://www.toutiao.com/i6764747345151132172/搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料,国内常用的也就是某度了。当然有条件的话,搜索引擎首先还是推荐使用 Google,如果没办法使用,可以使用以下几个作为备用:BingBing 国际版:https://cn.bing.com/比某度好用...

2019-12-01 14:38:15

java批量创建删除Kafka的topic

java批量创建删除Kafka的topic一、前言参考资料:Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient (新版本kafka)较为新的版本:Kafka 0.11以上版本上测试的,新的...

2019-11-29 10:57:18

DCOS搭建zookeeper集群搭建

dcos上zookeeper集群搭建参考地址:https://my.oschina.net/dslcode/blog/19447751.在docs上构建zookeeper服务的json脚本{ "id": "/component-test-space/env-test/msg-queue", "groups": [{ "id": "/component-test-space/env-t...

2019-11-27 19:09:40

JedisConnectionException Connection Reset

在使用redis的过程常见错误总结1.JedisConnectionException Connection Reset参考这边文章:Connection reset原因分析和解决方案https://blog.csdn.net/cwclw/article/details/527971311.1问题描述Exception in thread "main" redis.clients....

2019-11-22 15:57:38

为什么要用Redis?Redis为什么这么快?

2019.9.16更新:增加了对缓存雪崩,缓存穿透,缓存击穿的描述。并附上本人对Redis单线程,多线程实现的理解。评论区有一些争执,但是大家都很友善,比如这个单线程是否能让Redis更快尤其是大家争论的重点。(以下单线程仅指Redis负责存取这块的线程只有一个,而非Redis中只有一个进程)我先给个我的结论,单线程的Redis在瓶颈是cpu的io时(这不是大多数应用的实际应用场景),确实速度会比...

2019-11-19 23:11:11

redis-stat监控

redis-stat监控一、参考文献:聊聊redis的监控工具https://www.jianshu.com/p/831bf6c8af4f二、搭建redis-stat1.监控单个redis实例docker run --name redis-stat -p 8080:63790 -d insready/redis-stat --server 192.168.99.100:63791 5 ...

2019-11-13 21:02:37

淘宝双11,亿级流量高并发是怎么抗住的?看完这篇你就明白了

转载自:https://www.toutiao.com/i6757580992090735117/前言双 11 即将来临,本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。基本概念在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对...

2019-11-10 22:17:42

docker下postgis12+postgis3.0搭建

docker下postgis12+postgis3.0搭建1.目的本来想找一个postgis3.0的镜像,由于postgis3.0是最新的版本(2019/10/20发布正式版),网上镜像很少,写出来放置自己忘了。2.过程geographica/postgishttps://hub.docker.com/r/geographica/postgisVersionsThis Docker...

2019-11-07 15:13:53

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。