3 小坦克007
尚未进行身份认证
java大数据开发、web软件开发与应用、地理信息系统(GIS方向)开发。 1大数据
-
JVM内存调优-优秀文章参考
-
1.JVM内存分配担保机制https://mp.weixin.qq.com/s?__biz=MzA5MzQ2NTY0OA==&mid=2650797224&idx=1&sn=5819bd097e6dabab34db382be2d0182c&chksm=885629f7bf21a0e1fe382626f8d272ee9c4066109f329ef93a205c29e...
-
2019-08-08 18:45:24
-
一篇文章看懂java反射机制（反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性）
-
一篇文章看懂java反射机制（反射实例化对象-反射获得构造方法,获得普通方法,获得字段属性）https://www.cnblogs.com/cs-lcy/p/7397955.html
-
2019-08-07 15:39:18
-
记一次spark-streaming性能优化的经历
-
//知识，哪怕是知识的幻影，也会成为你的铠甲，保护你不被愚昧反噬记一次spark-streaming性能优化的经历记一次spark-streaming性能优化的经历：1.优化后效果：一个job执行时间有原来的3min，优化之后提升到40s，性能提升4倍；2.原因分析与解决方法优化前原始spark-steaming程序，跑的特别慢，原因分析：（1）主要问题是使用repatition函数...
-
2019-08-02 17:28:26
-
Java操作es的问题与案例 demo
-
Java操作es的问题与案例demo问题1：NoLog4j2configurationfilefoundERRORStatusLoggerNoLog4j2configurationfilefound.Usingdefaultconfiguration(loggingonlyerrorstotheconsole),oruserprogrammat...
-
2019-07-30 15:57:53
-
elasticsearch-head，集群健康值：未连接
-
es安装插件head，显示未连接一、第一步确保，当前的ES和es-head都已经启动起来了。例如检查ES启动：检查进程或启动日志；或者在浏览器中输入使用你的安装ES的主机IP:9200，直接返回浏览器返回如下字符串。{"name":"erFvgr_","cluster_name":"elasticsearch","cluster_uuid":"j4SXovqvR...
-
2019-07-29 22:53:50
-
Spark性能调优之合理设置并行度
-
转载：https://www.2cto.com/net/201801/716312.htmlSpark性能调优之合理设置并行度1.Spark的并行度指的是什么？spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同...
-
2019-07-25 17:11:40
-
列出key：根据前缀批量查询aws S3的数据文件
-
java读写操作S31.根据实现批量查询并下载数据1.根据这是阿里云的S3，与aws的S3的javaAPI基本类似http://aliyun_portal_storage.oss.aliyuncs.com/oss_api/oss_javahtml/object.html#id6可以参考aws自己的操作S3的的官方文档https://docs.aws.amazon.com/zh_cn/s...
-
2019-07-25 13:11:18
-
java作业调度系统的demo
-
简单作业调度系统demo思考：工程思想目标1.可配置2.稳定性2.可扩展3.高性能1.作业调度系统的需求背景：由A城的人员在web上发出http请求，从city1的awss3上按照指定作业http请求，发起查询某时间段的数据，并将数据发送到指定的http端口地址，同时在city2使用flume获取http的数据流，并将数据转换为文件sink到本地的磁盘。2....
-
2019-07-24 12:54:36
-
spark streaming中shuffling后partition数量
-
spark-streaming中shuffle后patitation总结使用reduceByKey时候,在shuffle阶段的reduce时候，其使用的RDD的partation数量的源码解释如下：/***ReturnanewDStreambyapplying`reduceByKey`toeachRDD.Thevaluesforeachkeyare...
-
2019-07-16 16:52:46
-
使用 AWS SDK for Java 获取对象
-
使用AWSSDKforJava获取对象使用的maven包是 <dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId>...
-
2019-07-11 14:21:20
-
flume接受数据流并sink到aws S3
-
flume接受数据流并sink到awsS3一、问题描述场景问题：flume接受http中数据，并将文件名称写入flume的event中的header中(header存储时候是<key1,value1>形式)，需要flume接受source端的数据流，并解析其中的相应字段之后，sink到S3中。提示：解析出header中的filename字段要作为文件名称，并保存event消息对...
-
2019-07-11 11:14:47
-
使用Ganglia监控Flume
-
参考资料;https://www.cnblogs.com/LXL616/p/10971229.htmlHadoop生态圈-使用Ganglia监控flume中间件使用Ganglia监控Flume注意我是用的是CentOS7.0的版本，与centos6.x之间配置有细微区别本文是在原来作者的基础上修改的。4.1Ganglia的安装与部署1)安装httpd服务与php[atg...
-
2019-07-08 11:09:56
-
ELK搭建过程中遇到的问题
-
ELK搭建过程中遇到的问题ElasticSearch+kibana+logstash监控和分析系统https://blog.csdn.net/jklfjsdj79hiofo/article/details/72355167我是用的版本组合（注意版本之间的组合）：kibana-6.0.1-linux-x86_64.tar.gzelasticsearch-6.0.1.tar.gzlogst...
-
2019-07-03 16:35:12
-
java 使用amazon s3接口访问本地ceph rgw
-
java使用amazons3接口访问本地cephrgw参考文章：https://blog.csdn.net/wxmvp009/article/details/79854981场景区别：场景1.使用awsS3的java接口api访问cephrgw上搭建的S3文件系统。（本文讲的是这种场景）场景2:使用awsS3的API直接访问awsS3云存储的存储桶bucket使用ja...
-
2019-07-01 15:58:53
-
spark streaming从kafka接收的简单demo
-
准备工作，需要配置本地scala环境，配置方法见我的另外一篇博客：https://blog.csdn.net/fct2001140269/article/details/93978940一、pom.xml配置我的pom.xml也一并贴出，方便小伙伴们参考：<projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="htt...
-
2019-06-28 12:38:18
-
搭建运行spark streaming过程遇到的问题
-
搭建运行sparkstreaming过程遇到的问题问题描述：完成sparkstreaming之后执行mvnpackage之后出现如下错误：Failedtoexecutegoalorg.scala-tools:maven-scala-plugin:2.15.2:testCompile(default)onprojectProjectXXX出现问题原因:这个问题，是...
-
2019-06-28 11:17:56
-
OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions
-
问题描述：OffsetOutOfRangeException:Offsetsoutofrangewithnoconfiguredresetpolicyforpartitions运行SparkStreming程序一段时间后，发现产生了异常：19/06/2603:05:30ERRORJobScheduler:Errorrunningjobstreamingj...
-
2019-06-26 17:32:08
-
kafka-flume-kafka模式中存在的问题
-
kafka-flume-kafka模式中存在的问题flume从kafka读取数据，然后再sink到kafka中，这种场景下会出现问题。(1)现象表示为：flume从kafka读取数据,sink的sinkTopic中没有数据，也无法从sinkTopic中读取数据；(2)原因分析:如果在一个FlumeAgent中同时使用KafkaSource和KafkaSink来处理events，便会...
-
2019-06-24 18:18:47
-
kafka+flume+aws S3安装与配置
-
kafka+flume+awsS3安装与配置一、下载并解压、安装相应的版本hadoop版本为2.9.2，flume的_本为1.9.0下载hadoop地址为：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz下载flume地址：https://mirrors.t...
-
2019-06-22 17:00:55
-
flume在win10环境上的使用（入门：监控网络端口）
-
flume在windows10环境上的使用一、场景问题描述【主题】使用flume监听网络的socket端口的消息变化，将flume的监控结果打印到控制台二、解决flume在windows10上运行的问题：1.windowsPowerShell需要使用管理员权限【这个可能不是必须的，只是我在测试的过程使用过而已】https://jingyan.baidu.com/article/09e...
-
2019-06-14 13:48:18