-
confluence迁移，与jira同步账户遇到的权限问题
-
一、问题场景需要将外网中的confluence和jira全部迁移到内网中，即在内网中安装jira和confluence，激活，并迁移外网数据到内网中；二、问题描述：在将confluence中，将jira的账户同步到confluence中的时候，出现同步失败的问题。三 解决方法：第一步：（1）在jira中要使用管理员用户设置允许连接的用户目录，（以往随机创建的非管理员用户是不行的）；（2） 同时设置对应的允许连接的ip。可以设置多个，这个允许ip也很关键！同时在confluence中用户
-
2020-05-14 16:31:51
-
docker安装redis-dump工具
-
离线安装redis-dump工具1 场景和问题1.1 redis-dump工具作用 redis-dump可以将redis数据库中的各个slot中的数据导出到文本中，方便迁移备份数据；1.1 为什么采用redis-dump容器的方式 使用普通的物理机直接安装redis-dump工具，需要下载各种各样的依赖，相对都比较麻烦（例如安装ruby2.2以上版本的依赖），各种rvm依...
-
2020-04-11 15:45:45
-
安装redis-dump命令
-
安装redis-dump命令1.安装redis-dump执行的shell脚本如下：#!/bin/bash#首先到tmp下，用来存放下载的安装文件cd /tmpmkdir rvmcd rvm# 开始安装RVMgpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0...
-
2020-03-25 21:29:01
-
大数据组件监控体系构建
-
大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中，exporter一般是使用来采集各种组件运行时的指标数据；promethues构建指标时序数据库；grafana构建指标显示面板；目前已有各种docker容器方便的构建各种监控体系；2.详细构建过程其中我的promethues的配置如下：#全局配置信息：glob...
-
2020-03-20 22:11:23
-
Kafka保证消息不丢失
-
Kafka保证消息不丢失kafka保证消息不丢失，需要从三个方面考虑：生产者端消息不丢失kafka服务器broker本身消息不丢失消费者端消息不丢失这篇文章对最新发送kafka数据丢失的情况做一个总结。1.为什么要出这样一个文档首先，部门很多人都kafka的使用不太懂，主要集中才kafka参数的设置使用，比如producer、server下的topic参数、consumer使用，...
-
2020-03-12 22:25:37
-
spark监控streamingListener使用与监控告警
-
Spark-steaming监控设计与验证方案 created by fangchangtan | 2020/2/24原创不易，谢绝白嫖，好的话就点个赞吧!1总览1.1参考文献：对spark steaming运行中的批处理过程的监控https://blog.csdn.net/qq475781638/art...
-
2020-03-09 21:37:21
-
安装elasticalert配置验证文档
-
docker 安装、配置、验证ElasticAlert created by fangchangtan | 2020/2/241.elastalert的场景用途 elastalert组件作为elk中日志关键词的告警组件。基本的流程是，通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ，获得对程序的健康状态和稳定性的监控告警。2.安装elast...
-
2020-03-09 21:22:38
-
redis导入导出工具-redis-dump,centos7安装使用
-
redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项：因为多数系统自带的ruby版本是2.0.0的版本，但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话，就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下：安装 redi...
-
2020-02-27 14:59:44
-
为什么synchronized无法禁止指令重排，却能保证有序性？
-
转发：https://www.toutiao.com/i6795075486847336963/为什么synchronized无法禁止指令重排，却能保证有序性？据说这位读者前面的很多问题会的都还可以，属于那种可过可不过的类型的，面试官出了最后一道题，就是回答的满意就可以给Offer，回答的不好就不让过的意思。那么这道题到底应该如何回答呢？首先我们要分析下这道题，不得不说这个面试官还是有一定...
-
2020-02-23 11:25:49
-
elasticsearch的知识点归纳
-
es的基本概念：索引、类型、文档；倒排索引的原理；elasticsearch集群节点、分片；对es的写过程（写入【重要】、删除、更新）、读过程（重要）；es中搜索中涉及的算法；...
-
2020-02-11 22:04:03
-
Elasticsearch关键知识点总结
-
Elasticsearch，在笔记本上写下了如下记录：反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。搜索引擎原理就是建立反向索引。Elasticsearch 在 Lucene 的基础上进行封装，实现了分布式搜索引擎。Elasticsearch 中的索引、类型和文档的概念比较重要，类似于 MySQL 中的数据库、表和行。Elasticsearch 也是 Master-slave...
-
2020-02-10 11:19:55
-
Spark streaming动态调整资源-调研报告
-
Spark streaming动态调整资源调研报告一、需求背景:我们希望spark streaming根据不同时间段的数据量不同（例如高峰期和低谷期），自动调整spark的计算资源（包含CPU和memory大小）。从而，可以在高峰期自动增加计算资源以提升处理能力，在数据量低谷时候自动缩减所需资源量，减少资源浪费。二、 调研情况：2.1 spark on mesos的资源伸缩原理spark...
-
2020-02-10 09:53:29
-
elk消费kafka数据延迟过大的问题
-
elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...
-
2020-01-29 17:41:49
-
sonarqube中 项目名称 问题
-
关于使用sonarqube中的注意事项（1）如果项目中的名称不是你想要的名称 图1 两个tms项目，将tms改为CSS-TMS注意修改代码中的工程项目名称即可（2）如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候，idea中terminal中键入如下即可：F:\bigdata\gitlab-workspace\CM-TMS&g...
-
2020-01-14 14:47:16
-
SonarQube + Maven分析代码质量
-
SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台，可以通过多种工具和维度对代码质量进行分析，部分功能还支持可视化，对于代码缺陷一目了然。SonarQube比较开放，支持通过插件扩展功能。支持众多计算机语言，比如 java, C#, go，C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...
-
2020-01-13 14:10:24
-
docker下es的堆内存设置
-
由于需要增大es的内存，从1g到2gdocker下es的堆内存设置网上搜到的是这个但是不生效啊，后期使用如下:(若是在dcos云平台上使用的)提示注意：不能加等号=符号；并且不能双引号""。特此记一下。...
-
2020-01-09 10:59:21
-
在VMware中设置CentOS7的网络
-
在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm
-
2019-12-30 15:11:47
-
记一次spark中task卡顿引发的血案
-
记一次spark中task卡顿引发的血案前言提要：（1）当前spark采用粗粒度的执行方式，资源申请都是一次性的完成；不存在后期申请不到资源的情况；（2）数据量很小，每秒100条左右，基本不存在数据倾斜的问题，但是执行的业务流程很复杂；(3)采用spark on mesos的组粒度模式运行1.问题描述：2019年12月24日ML处理30个文件时间很异常超过10h；xx中部分t...
-
2019-12-27 14:54:29
-
(executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after
-
WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed o...
-
2019-12-26 20:06:15
-
14 ，java 操作 s3 ( 详细教程 )
-
14 ，java 操作 s3 ( 详细教程 )https://blog.csdn.net/qq_34319644/article/details/101072107ceph s3 对象的上传和删除(JAVA demo)https://blog.csdn.net/yangkang1122/article/details/100095868...
-
2019-12-13 13:54:01
