gk91620的博客

原创 数据仓库工具箱-笔记

原创 kafka listeners 和 advertised.listeners配置内外网都可用

在内网部署及访问kafka时，只需要配置listeners参数即可，比如# The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured.# FORMAT:# ...

原创 记录------scrapy-splash爬虫相关

splash_cebspider爬虫程序运行1.安装python32.安装Scrapy3.安装splash命令：pip3 install scrapy-splash3.安装python-bloomfilter命令：pip3 install pybloom-live4.安装docker5.启动docker6.拉取镜像(pull the image)命令：doc...

原创 记录-----解决Spark之submit任务时的Initial job has not accepted any resources; check your cluster UI to ensu问题

大多数是集群资源有限导致的问题。注意合理分配资源 原则1：首先，保证至少有一个executor可以成功启动，否则，提交的spark应用是无法跑起来的如何保证？第一点：--executor-cores <= SPARK_WORKER_CORES(spark-env.sh中设置的参数)，否则会出现资源不足报错 第二点：--executor-memorry <= SP...

原创 记录-----自定义interceptor，解决flume监控日志上传HDFS日期后移一天问题

1.自定义flume的interceptor添加自定义headerpackage com.huajie.flume.interceptor.custominterceptor;import com.google.common.collect.Lists;import org.apache.flume.Context;import org.apache.flume.Event;im...