3 小坦克007

尚未进行身份认证

java大数据开发、web软件开发与应用、地理信息系统(GIS方向)开发。 1大数据

等级
TA的排名 2w+

jira-confluence-openfire集成、迁移与消息提醒

jira-confluence安装与关联一、目的根本目的:该总做隶属于“高效团队计划”工作一部分,jira作为任务分派与任务节点控制系统软件,confluence作为文档、图片等资源共享的wiki计划的一部分(部门知识库),openfire作为jira插件,完成即时消息通知功能;一、安装与连接:1.安装jira参考:https://www.jianshu.com/p/b95ceabd3e...

2019-09-12 18:52:20

docker使用步骤

docker使用步骤:会学习的人,都是站在巨人的肩膀上。此处,找到几篇docker好文章,分享一下!1.基础篇Docker(一):Docker入门教程Docker(二):Dockerfile使用介绍Docker(三):Dockerfile命令详解ps加上这个:docker常用命令入门https://www.runoob.com/docker/docker-hello-world....

2019-09-09 19:40:28

redis-dump导入导出Redis数据

使用redis-dump导入导出Redis数据一、环境说明1.我们是在docker虚拟机中搭建的redis,所以此处设计的导入导出分为两种情况:导入导出Redis中单个solt中数据;(目前我操作的是这种,可以指定要导出哪一个solt)导入导出所有solt中所有数据(是上面的特殊情况)2.redis库的备份与还原(这个暂时不讨论)涉及Redis持久化和相应命令(dump.rdb)...

2019-09-06 15:25:39

docker安装nexus3.0配置、使用

Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器,是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构建。有了私服之后,当Maven需要下载构件时,...

2019-09-04 18:49:53

Docker安装最新nexus3.18初始账号密码登录失败问题

Docker安装最新nexus3.18初始账号密码登录失败问题参考文章:https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样,其实还没有登录进入(之前刚开始我以为我已经不需要登录了,已经进入nexus操作界面了),使用账号admin和密码admin123登录,发现登录失败。后期参考文章http...

2019-09-04 15:16:28

个别task导致spark任务整体变慢的问题总结

个别task导致spark任务整体变慢的问题总结问题:个别task速度慢而拖慢整体任务的问题现象描述:1.stage1阶段中的kafka的receiver接受kafka中不同partiton中的相同批次中拉取的记录条数record不同,导致同一个批次的不同task处理时间偏长(处理任务时间倾斜)这个要结合业务进行优化(是否可以对kafka分区中对key做hash分区的时候离散化?)2....

2019-08-23 18:59:11

Spark-steamming性能变慢的问题分析-内存分析

Spark-steamming性能变慢的问题分析知识背景:需要从spark的DAG优化、内存、CPU、序列化、shuffle磁盘读写、GC回收情况请角度考虑相应的问题。1.在集群中spark内存现状:[外链图片转存失败(img-bL8CCXXb-1566547586815)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\156...

2019-08-23 16:12:54

spark streaming无缝切换job之实践

sparkstreaming无缝切换job之实践**方案主要内容:**通过并行运行两个job,同时保证数据不丢失和中间状态相同,并行运行自然无缝切换;最终保证的是结果计算的最终一致性。1.该方案需要解决的问题:1.保证kafka中数据不丢失(atlastonce);2.对增量更新状态的保存(Redis已经做了)。3.生产中首次消费积压的数据的时候,数据量过大导致OOM的...

2019-08-23 15:58:14

JVM内存调优-优秀文章参考

1.JVM内存分配担保机制https://mp.weixin.qq.com/s?__biz=MzA5MzQ2NTY0OA==&mid=2650797224&idx=1&sn=5819bd097e6dabab34db382be2d0182c&chksm=885629f7bf21a0e1fe382626f8d272ee9c4066109f329ef93a205c29e...

2019-08-08 18:45:24

一篇文章看懂java反射机制(反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性)

一篇文章看懂java反射机制(反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性)https://www.cnblogs.com/cs-lcy/p/7397955.html

2019-08-07 15:39:18

记一次spark-streaming性能优化的经历

//知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬记一次spark-streaming性能优化的经历记一次spark-streaming性能优化的经历:1.优化后效果:一个job执行时间有原来的3min,优化之后提升到40s,性能提升4倍;2.原因分析与解决方法优化前原始spark-steaming程序,跑的特别慢,原因分析:(1)主要问题是使用repatition函数...

2019-08-02 17:28:26

Java操作es的问题与案例 demo

Java操作es的问题与案例demo问题1:NoLog4j2configurationfilefoundERRORStatusLoggerNoLog4j2configurationfilefound.Usingdefaultconfiguration(loggingonlyerrorstotheconsole),oruserprogrammat...

2019-07-30 15:57:53

elasticsearch-head,集群健康值:未连接

es安装插件head,显示未连接一、第一步确保,当前的ES和es-head都已经启动起来了。例如检查ES启动:检查进程或启动日志;或者在浏览器中输入使用你的安装ES的主机IP:9200,直接返回浏览器返回如下字符串。{"name":"erFvgr_","cluster_name":"elasticsearch","cluster_uuid":"j4SXovqvR...

2019-07-29 22:53:50

Spark性能调优之合理设置并行度

转载:https://www.2cto.com/net/201801/716312.htmlSpark性能调优之合理设置并行度1.Spark的并行度指的是什么?spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度!当分配完所能分配的最大资源了,然后对应资源去调节程序的并行度,如果并行度没有与资源相匹配,那么导致你分配下去的资源都浪费掉了。同...

2019-07-25 17:11:40

列出key:根据前缀批量查询aws S3的数据文件

java读写操作S31.根据实现批量查询并下载数据1.根据这是阿里云的S3,与aws的S3的javaAPI基本类似http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/object.html#id6可以参考aws自己的操作S3的的官方文档https://docs.aws.amazon.com/zh_cn/s...

2019-07-25 13:11:18

java作业调度系统的demo

简单作业调度系统demo思考:工程思想目标1.可配置2.稳定性2.可扩展3.高性能1.作业调度系统的需求背景:由A城的人员在web上发出http请求,从city1的awss3上按照指定作业http请求,发起查询某时间段的数据,并将数据发送到指定的http端口地址,同时在city2使用flume获取http的数据流,并将数据转换为文件sink到本地的磁盘。2....

2019-07-24 12:54:36

spark streaming中shuffling后partition数量

spark-streaming中shuffle后patitation总结使用reduceByKey时候,在shuffle阶段的reduce时候,其使用的RDD的partation数量的源码解释如下:/***ReturnanewDStreambyapplying`reduceByKey`toeachRDD.Thevaluesforeachkeyare...

2019-07-16 16:52:46

使用 AWS SDK for Java 获取对象

使用AWSSDKforJava获取对象使用的maven包是 <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId>...

2019-07-11 14:21:20

flume接受数据流并sink到aws S3

flume接受数据流并sink到awsS3一、问题描述场景问题:flume接受http中数据,并将文件名称写入flume的event中的header中(header存储时候是<key1,value1>形式),需要flume接受source端的数据流,并解析其中的相应字段之后,sink到S3中。提示:解析出header中的filename字段要作为文件名称,并保存event消息对...

2019-07-11 11:14:47

使用Ganglia监控Flume

参考资料;https://www.cnblogs.com/LXL616/p/10971229.htmlHadoop生态圈-使用Ganglia监控flume中间件使用Ganglia监控Flume注意我是用的是CentOS7.0的版本,与centos6.x之间配置有细微区别本文是在原来作者的基础上修改的。4.1Ganglia的安装与部署1)安装httpd服务与php[atg...

2019-07-08 11:09:56

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。