3 小坦克007

尚未进行身份认证

java大数据开发、web软件开发与应用、地理信息系统(GIS方向)开发。 1大数据

等级
TA的排名 2w+

JVM内存调优-优秀文章参考

1.JVM内存分配担保机制https://mp.weixin.qq.com/s?__biz=MzA5MzQ2NTY0OA==&mid=2650797224&idx=1&sn=5819bd097e6dabab34db382be2d0182c&chksm=885629f7bf21a0e1fe382626f8d272ee9c4066109f329ef93a205c29e...

2019-08-08 18:45:24

一篇文章看懂java反射机制(反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性)

一篇文章看懂java反射机制(反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性)https://www.cnblogs.com/cs-lcy/p/7397955.html

2019-08-07 15:39:18

记一次spark-streaming性能优化的经历

//知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬记一次spark-streaming性能优化的经历记一次spark-streaming性能优化的经历:1.优化后效果:一个job执行时间有原来的3min,优化之后提升到40s,性能提升4倍;2.原因分析与解决方法优化前原始spark-steaming程序,跑的特别慢,原因分析:(1)主要问题是使用repatition函数...

2019-08-02 17:28:26

Java操作es的问题与案例 demo

Java操作es的问题与案例demo问题1:NoLog4j2configurationfilefoundERRORStatusLoggerNoLog4j2configurationfilefound.Usingdefaultconfiguration(loggingonlyerrorstotheconsole),oruserprogrammat...

2019-07-30 15:57:53

elasticsearch-head,集群健康值:未连接

es安装插件head,显示未连接一、第一步确保,当前的ES和es-head都已经启动起来了。例如检查ES启动:检查进程或启动日志;或者在浏览器中输入使用你的安装ES的主机IP:9200,直接返回浏览器返回如下字符串。{"name":"erFvgr_","cluster_name":"elasticsearch","cluster_uuid":"j4SXovqvR...

2019-07-29 22:53:50

Spark性能调优之合理设置并行度

转载:https://www.2cto.com/net/201801/716312.htmlSpark性能调优之合理设置并行度1.Spark的并行度指的是什么?spark作业中,各个stage的task的数量,也就代表了spark作业在各个阶段stage的并行度!当分配完所能分配的最大资源了,然后对应资源去调节程序的并行度,如果并行度没有与资源相匹配,那么导致你分配下去的资源都浪费掉了。同...

2019-07-25 17:11:40

列出key:根据前缀批量查询aws S3的数据文件

java读写操作S31.根据实现批量查询并下载数据1.根据这是阿里云的S3,与aws的S3的javaAPI基本类似http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/object.html#id6可以参考aws自己的操作S3的的官方文档https://docs.aws.amazon.com/zh_cn/s...

2019-07-25 13:11:18

java作业调度系统的demo

简单作业调度系统demo思考:工程思想目标1.可配置2.稳定性2.可扩展3.高性能1.作业调度系统的需求背景:由A城的人员在web上发出http请求,从city1的awss3上按照指定作业http请求,发起查询某时间段的数据,并将数据发送到指定的http端口地址,同时在city2使用flume获取http的数据流,并将数据转换为文件sink到本地的磁盘。2....

2019-07-24 12:54:36

spark streaming中shuffling后partition数量

spark-streaming中shuffle后patitation总结使用reduceByKey时候,在shuffle阶段的reduce时候,其使用的RDD的partation数量的源码解释如下:/***ReturnanewDStreambyapplying`reduceByKey`toeachRDD.Thevaluesforeachkeyare...

2019-07-16 16:52:46

使用 AWS SDK for Java 获取对象

使用AWSSDKforJava获取对象使用的maven包是 <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId>...

2019-07-11 14:21:20

flume接受数据流并sink到aws S3

flume接受数据流并sink到awsS3一、问题描述场景问题:flume接受http中数据,并将文件名称写入flume的event中的header中(header存储时候是<key1,value1>形式),需要flume接受source端的数据流,并解析其中的相应字段之后,sink到S3中。提示:解析出header中的filename字段要作为文件名称,并保存event消息对...

2019-07-11 11:14:47

使用Ganglia监控Flume

参考资料;https://www.cnblogs.com/LXL616/p/10971229.htmlHadoop生态圈-使用Ganglia监控flume中间件使用Ganglia监控Flume注意我是用的是CentOS7.0的版本,与centos6.x之间配置有细微区别本文是在原来作者的基础上修改的。4.1Ganglia的安装与部署1)安装httpd服务与php[atg...

2019-07-08 11:09:56

ELK搭建过程中遇到的问题

ELK搭建过程中遇到的问题ElasticSearch+kibana+logstash监控和分析系统https://blog.csdn.net/jklfjsdj79hiofo/article/details/72355167我是用的版本组合(注意版本之间的组合):kibana-6.0.1-linux-x86_64.tar.gzelasticsearch-6.0.1.tar.gzlogst...

2019-07-03 16:35:12

java 使用amazon s3接口访问本地ceph rgw

java使用amazons3接口访问本地cephrgw参考文章:https://blog.csdn.net/wxmvp009/article/details/79854981场景区别:场景1.使用awsS3的java接口api访问cephrgw上搭建的S3文件系统。(本文讲的是这种场景)场景2:使用awsS3的API直接访问awsS3云存储的存储桶bucket使用ja...

2019-07-01 15:58:53

spark streaming从kafka接收的简单demo

准备工作,需要配置本地scala环境,配置方法见我的另外一篇博客:https://blog.csdn.net/fct2001140269/article/details/93978940一、pom.xml配置我的pom.xml也一并贴出,方便小伙伴们参考:<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="htt...

2019-06-28 12:38:18

搭建运行spark streaming过程遇到的问题

搭建运行sparkstreaming过程遇到的问题问题描述:完成sparkstreaming之后执行mvnpackage之后出现如下错误:Failedtoexecutegoalorg.scala-tools:maven-scala-plugin:2.15.2:testCompile(default)onprojectProjectXXX出现问题原因:这个问题,是...

2019-06-28 11:17:56

OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions

问题描述:OffsetOutOfRangeException:Offsetsoutofrangewithnoconfiguredresetpolicyforpartitions运行SparkStreming程序一段时间后,发现产生了异常:19/06/2603:05:30ERRORJobScheduler:Errorrunningjobstreamingj...

2019-06-26 17:32:08

kafka-flume-kafka模式中存在的问题

kafka-flume-kafka模式中存在的问题flume从kafka读取数据,然后再sink到kafka中,这种场景下会出现问题。(1)现象表示为:flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据;(2)原因分析:如果在一个FlumeAgent中同时使用KafkaSource和KafkaSink来处理events,便会...

2019-06-24 18:18:47

kafka+flume+aws S3安装与配置

kafka+flume+awsS3安装与配置一、下载并解压、安装相应的版本hadoop版本为2.9.2,flume的_本为1.9.0下载hadoop地址为:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz下载flume地址:https://mirrors.t...

2019-06-22 17:00:55

flume在win10环境上的使用(入门:监控网络端口)

flume在windows10环境上的使用一、场景问题描述【主题】使用flume监听网络的socket端口的消息变化,将flume的监控结果打印到控制台二、解决flume在windows10上运行的问题:1.windowsPowerShell需要使用管理员权限【这个可能不是必须的,只是我在测试的过程使用过而已】https://jingyan.baidu.com/article/09e...

2019-06-14 13:48:18

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。