4 键盘上的艺术家w

尚未进行身份认证

我要认证

努力奋斗

等级
TA的排名 1w+

No route to host cdh6.3.0报错

No route to host防火墙没有关闭

2020-07-27 15:30:04

spark-streaming 消费带有kerberos认证的kafka

1.代码package security.view.modelimport java.util.Propertiesimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apache.kafka.common.serialization.StringDeserialize

2020-07-10 16:45:18

Flink自定义HBaseUpsertSinkFunction支持kerberos认证 代码详解

1.介绍项目中需要用到Flink往hbase写数据,但是默认的FlinkUpsertSinkFunction不支持kerberos认证,不支持就无法往hbase插入数据。在原有的HBaseUpsertSinkFunction的基础上修改 增加kerberos认证,以下是修改好之后的代码,主要是修改了open方法,判断是否需要kerberos认证,如果需要认证则进行kerberos认证,如果不需要则不认证。jsonObject是kerberos的配置信息,keytab文件,kerberos账号这些信息

2020-06-16 14:17:25

flink打包注意事项

1.flink datastream api join hbase维度表报在打包的时候没有排除掉hbase依赖的hadoop-common2020-06-04 11:53:26,056 ERROR org.apache.flink.runtime.entrypoint.ClusterEntrypoint - Fatal error occurred in the cluster entrypoint.org.apache.flink.runtime.resourcema...

2020-06-05 13:30:46

roma镜像构建dockerFile笔记

FROM centos:7.6.1810#安装一些中文包。保重中文不乱码RUN yum -y install kde-l10n-Chinese telnet && \ yum clean all && \ localedef -c -f UTF-8 -i zh_CN zh_CN.utf8#设置时区ENV TZ=Asia/ShanghaiRUN ln -snf /usr/share/zo...

2020-05-21 16:31:53

flink-sql 1.10 实时采集kafka中的数据写入mysql

flink-sql 从kafka读取数据写入mysql1.依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/PO.

2020-05-16 17:40:33

flink-sql 1.10 kafka 实时采集kafka中的数据写入到hbase

flink-sql从kafka读取数据写入mysql1.导入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/

2020-05-16 17:38:28

flink介绍

1.初始Flink1.1flink是什么Flink是分布式、高性能的处理引擎,用于对无界和有界数据流进行有状态的计算。1.2为什么要选择flink流数据更加真实的反应了我们的生活方式,传统的数据架构都是基于有限数据集的。flink处理数据低延迟,高吞吐,来一条处理一条,并且支持精确一次性。...

2020-05-05 10:33:32

Flink如何让task不共享插槽,算子拒绝合并Operator Chains

package com.lw.wcimport java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.con...

2020-05-05 09:24:10

k8s内存/cpu单位解析

1.k8s中内存表示法内存:MIcpu:核2.k8s cpu/内存数据样例以下 数据通过访问heapster的api获取表示date_time时间点 node的 cpu内存使用情况3.k8s cpu、内存单位转正常单位cpu : k8s的1000 = cpu的一个核 如果一台服务器cpu是4核 那么 k8s单位表示就是 4* 1000...

2020-02-27 14:35:45

zookeeper开启kerberos认证删除节点报错 Authentication is not valid : /hbase/splitWAL

1.描述在cdh集群中zookeeper开启了kerberos认证。然后通过zookeeper-client登陆zookeeper命令行操作,删除节点的时候报错删除命令:rmr /hbase报错:Authentication is not valid : /hbase/splitWAl说是 没有权限删除/hbase/splitWAL这个节点。我们运行zookeeper-cli...

2019-10-12 11:06:16

设计模式--单一职责原则

设计模式之七种原则单一设计原则 1单一设计原则介绍 单一设计原则既一个类只负责一件事情。假如一个类负责两件A,B两件事情,假如A的需求需要变更,此时导致B功能也无法使用。这时候我们应将其分为两个类,这样就可以做到修改一个类的,不影响另外一个类。 1.2应用案例 package com.lw;/** * 创建一个类,该类有一个run方法。输入运行的车型打印 车型...

2019-08-05 23:11:03

通过java 客户端 操作k8s集群

1.在diea中新建一个maven工程然后倒入一下依赖 <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <version>5.0...

2019-07-25 18:28:39

Hbase-region迁移

HbaseRegin迁移1为什么要做region迁移在生产上遇到有比较大的Region都是运行在同一个RegionSever上,有些RegionSever上的Requests比较少,明显的出现读请求不均衡;这个时候我们可以手动的移动Region到负载比较低的RegionSever上面,让负载高的regionServer减轻负载,然负载低的regionService增加负载以达到hbase集...

2019-07-25 13:11:22

Datax 二次开发插件详细过程

目录1.背景2.需求3.开发步骤3.1去github上下载datax的代码3.2 本地解压,并导入idea3.3创建一个模块kafkareader3.4将任意一个模块的以下两个文件考入到resource目录下3.5进行修改plugin.json3.6修改pom.xml(复制其中一个文件的依赖和插件到pom.xml)3.7将其他模块下面的,这个文件夹复...

2019-06-05 16:09:12

yarn 杀死 application 命令

1.杀死 applicationyarn application -kill + application id2. 杀死jobhadoop job -kill + jobID

2019-04-30 11:39:53

spark 解决提交任务是 第三方依赖的问题

1解决我们自己模块的依赖在提交spark任务的时候用 –jars参数加上jar路径。路径用逗号隔开。2解决第三方依赖(保证每一个节点都有这个目录)步骤创建一个目录存放第三方依赖 [root@master spark]# mkdir myjars 2.将所有jar放入该目录 3.修改spark配置文件...

2019-04-12 15:41:56

hadoop MapReduce 源码 FileInputFormat 核心方法分析

public List<InputSplit> getSplits(JobContext job) throws IOException { StopWatch sw = new StopWatch().start(); //获取文件的最小值,如果没有配置,就按默认值1 long minSize = Math.max(getFormatMinSplitSiz...

2019-03-26 15:14:05

Mapreduce 找博客共同好友案例

以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的)求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?输入:A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,D1...

2019-03-26 15:13:54

采集kafka数据以orc格式写往hdfs

1.需求,从kafka采集数据然后以orc格式的文件写往hdfs。然后hdfs上的表以orc格式存储,然后绑定分区可以查询出数据。2.解决需求 1) 使用flume 采集。写完hdfs。但是无法写orc格式。 2 ) logstach 可以写往hdfs。但是无法写orc格式。 3) datax 没有用过 不知道能不能写orc3.自己写代码实现。写一个...

2019-03-26 14:24:07

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取