4 fct2001140269

尚未进行身份认证

我要认证

大数据架构、地理信息系统

等级
TA的排名 1w+

kafka传递大消息体时的配置

kafka传递大消息体时的配置created by cms/fangchangtan | 2020/09/301.生产端设置//数据太大,发送失败,设置 max.request.sizeprops.put("max.request.size", "300000000");/*socket 在读写数据时用到的TCP 缓冲区也可以设置大小。如果它们被设为-1 ,就使用操作系统的默认值。如果生产者或消费者与broker 处于不同的数据中心内,可以适当增大这些值,因为跨数据中心的网络一般都有比较高的延迟

2020-09-30 11:07:21

docker部署ftp服务器

docker部署ftp服务器1.背景​ FTP是一种传输协议,FTP服务器可以有客户端通过FTP协议访问,上传或下载文档。有什么用,其实就是很多人公用存储资料。2.拉取构建ftp服务器查看官网提供的ftp说明https://hub.docker.com/r/fauria/vsftpd使用最新的fauria/vsftpd镜像即可。官网提供的搭建建议:(生产环境中可用,已经绑定账户,挂载目录,启动了 FTP 的主动和被动模式)docker run -d -v /my/data/dire

2020-09-30 11:06:28

kafka的相关参数

kafka的相关参数https://www.cnblogs.com/51python/p/10966757.html

2020-09-27 19:33:59

二叉树知识点

二叉树知识点1.1二叉树的前序、中序、后序遍历二叉树的前序、中序、后序遍历(递归与非递归)/**前序:递归方式*/public void preOrder( TreeNode root){ if(root == null) return; System.out.println(root.val); preOrder(root.left); preOrder(root.right); }/**前序:非递归方式*结果放入ArrayList中*/public

2020-09-20 23:47:29

手撕 排序算法

归并排序//归并排序--采用分治法,先分后治,递归的解决问题/***分:将大问题拆分为小问题。具体来说,将数组氛围左右两个数组,然后递归的调用治理* 治:采用合并有序数组的方式*/public void mergeSort(int[] arr, int left, int right){ if(left < right){ int mid = left +right; mergeSort(arr, left,mid); mergeSo

2020-09-20 21:54:13

K8S部署elasticsearch

在k8s上部署elasticsearchhttps://staight.github.io/2019/09/16/%E5%9C%A8k8s%E4%B8%8A%E9%83%A8%E7%BD%B2elasticsearch/

2020-09-10 13:42:22

数据仓库

https://www.cnblogs.com/zhoufei2514/category/1367647.html数据仓库的系列文章,值得一看

2020-09-08 20:44:47

Spark心跳存活-延迟处理-异常日志告警

Spark心跳存活-延迟处理-异常日志告警1.目录大纲spark异常日志告警spark存活心跳告警spark批次处理延迟告警2.任务背景2.1问题背景​ 生成中针对spark steaming的程序进行告警的设置,生产上线需要监控spark streaming的异常日志的告警,及时发现生产线中的异常问题,方便快速定位问题;同时对spark 通过心跳机制对spark的异常下线问题告警,方便运维人员及时通知运维人员跟进,恢复程序运行。2.2 技术路线1.基于以往的告警研究,监控日志

2020-08-11 14:36:43

java批量创建删除Kafka的topic

java批量创建删除Kafka的topic一、前言参考资料:Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient (新版本kafka)较为新的版本:Kafka 0.11以上版本上测试的,新的API集群管理工具AdminClientpackage zktest.navinfo;import or

2020-08-11 14:29:26

干货!操作系统基础知识汇总!转给要面试的同学吧

干货!操作系统基础知识汇总!转给要面试的同学吧https://mp.weixin.qq.com/s?__biz=MzU1NTkwODE4Mw==&mid=2247484950&idx=1&sn=3d2a21ed48d2348485c0ac1404c21b2d&chksm=fbcc6b2eccbbe2387cc197fe5dbadbd927bc9361411993481b5014b0da9cb49c0c923841da03&mpshare=1&scene=1&

2020-08-05 19:43:26

Spark history UI历史监控构建

typora-copy-images-to: …\typora-pictureSpark history UI历史监控构建created by fangchangtan | 202006091 构建历史spark ui回放功能的目的​ spark steaming运行过程中,如果spark streamming程序异常终止,则spark ui后台线程立即消失,导致后期追踪恢复spark问题现场困难,此时只能通过spark的日志来发现问题,但是spark的日志本身保存时间短(2天),日志中可.

2020-06-18 11:23:08

confluence迁移,与jira同步账户遇到的权限问题

一、问题场景需要将外网中的confluence和jira全部迁移到内网中,即在内网中安装jira和confluence,激活,并迁移外网数据到内网中;二、问题描述:在将confluence中,将jira的账户同步到confluence中的时候,出现同步失败的问题。三 解决方法:第一步:(1)在jira中要使用管理员用户设置允许连接的用户目录,(以往随机创建的非管理员用户是不行的);(2) 同时设置对应的允许连接的ip。可以设置多个,这个允许ip也很关键!同时在confluence中用户

2020-05-14 16:31:51

docker安装redis-dump工具

离线安装redis-dump工具1 场景和问题1.1 redis-dump工具作用​ redis-dump可以将redis数据库中的各个slot中的数据导出到文本中,方便迁移备份数据;1.1 为什么采用redis-dump容器的方式​ 使用普通的物理机直接安装redis-dump工具,需要下载各种各样的依赖,相对都比较麻烦(例如安装ruby2.2以上版本的依赖),各种rvm依...

2020-04-11 15:45:45

安装redis-dump命令

安装redis-dump命令1.安装redis-dump执行的shell脚本如下:#!/bin/bash#首先到tmp下,用来存放下载的安装文件cd /tmpmkdir rvmcd rvm# 开始安装RVMgpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0...

2020-03-25 21:29:01

大数据组件监控体系构建

大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中,exporter一般是使用来采集各种组件运行时的指标数据;promethues构建指标时序数据库;grafana构建指标显示面板;目前已有各种docker容器方便的构建各种监控体系;2.详细构建过程其中我的promethues的配置如下:#全局配置信息:glob...

2020-03-20 22:11:23

Kafka保证消息不丢失

Kafka保证消息不丢失kafka保证消息不丢失,需要从三个方面考虑:生产者端消息不丢失kafka服务器broker本身消息不丢失消费者端消息不丢失这篇文章对最新发送kafka数据丢失的情况做一个总结。1.为什么要出这样一个文档首先,部门很多人都kafka的使用不太懂,主要集中才kafka参数的设置使用,比如producer、server下的topic参数、consumer使用,...

2020-03-12 22:25:37

spark监控streamingListener使用与监控告警

Spark-steaming监控设计与验证方案​ created by fangchangtan | 2020/2/24原创不易,谢绝白嫖,好的话就点个赞吧!1总览1.1参考文献:对spark steaming运行中的批处理过程的监控https://blog.csdn.net/qq475781638/art...

2020-03-09 21:37:21

安装elasticalert配置验证文档

docker 安装、配置、验证ElasticAlert​ created by fangchangtan | 2020/2/241.elastalert的场景用途​ elastalert组件作为elk中日志关键词的告警组件。基本的流程是,通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ,获得对程序的健康状态和稳定性的监控告警。2.安装elast...

2020-03-09 21:22:38

redis导入导出工具-redis-dump,centos7安装使用

redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项:因为多数系统自带的ruby版本是2.0.0的版本,但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话,就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下:安装 redi...

2020-02-27 14:59:44

为什么synchronized无法禁止指令重排,却能保证有序性?

转发:https://www.toutiao.com/i6795075486847336963/为什么synchronized无法禁止指令重排,却能保证有序性?据说这位读者前面的很多问题会的都还可以,属于那种可过可不过的类型的,面试官出了最后一道题,就是回答的满意就可以给Offer,回答的不好就不让过的意思。那么这道题到底应该如何回答呢?首先我们要分析下这道题,不得不说这个面试官还是有一定...

2020-02-23 11:25:49

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。