- 博客(212)
- 收藏
- 关注
RSS订阅原创 Flink SQL 实时大屏(实时查询存量数据-批转流)
最近接到一个需求,关于flink实时大屏需求。每半小时展示历史每天半个点(每天00:00:00-00:30:00之间) 的数据的最大值、最小值、中位数、上四分位数、下四分位数。需求描述 每半小时计算一次历史当前半点的数据的最大值、最小值、中位数、上四分位数、下四分位数。如图大屏展示效果:需求描述注意点: 1）每半小时计算一次最大值、最小值、中位数、上四分位数、下四分位数。 2) 计算第一步中的数据结果需要根据当前半小时的所有历史数据去...
2021-08-09 17:53:58
2907
1
原创 uReplicator自动白名单
自动白名单的设置区别解释:1、在控制器中将-enableAutoWhitelist 设置为 true 时,如果主题在源群集和目标群集中都存在,则 uReplicator 将自动复制消息2、当-enableAutoWhitelist 设置为 false 时,您需要手动将主题添加到 uReplicator启动命令决定你的白名单设置。启动文章链接：https://blog.cs...
2019-12-18 12:23:44
380
原创 ureplicator复制topic
1.首先你得去git拉replicator的代码。然后编译。编译之后启动。1.首先我有2套zk和kafka源kafka 是172.30.3.120目标kafka是 172.30.3.210a.启动第一步：启动controller/home/datacanvas/huml/uReplicator/uReplicator-Distribution/target/uReplicat...
2019-12-18 12:13:42
1075
2
原创 Nacos部署报错集
(base) zetyun@huml:~/downloads/nacos-develop/distribution/target/nacos-server-1.1.4/nacos/bin$ sh startup.sh -m standalonestartup.sh: 81: startup.sh: [[: not foundstartup.sh: 91: startup.sh: [[: no...
2019-11-19 15:10:08
803
转载 Pycharm没有菜单栏
1 按Ctrl + Shift + A打开“Find Action”对话框，键入“Experimental features”，然后按Enter键。2 取消linux.native.menu选项旁边的复选框，应用更改并关闭对话框。3 重启PyCharm。...
2019-11-18 17:56:03
704
1
原创 The innodb_system data file 'ibdata1' must be writable
The innodb_system data file 'ibdata1' must be writable 在安装MySQL的时候报的错，我理解的这个错是因为有个文件是Innodb需要在安装MySQL(或者创建数据库的时候)的时候需要写入这个文件，但是他现在没有写的权限。 日志中的错误是： 5.7版本以前是 chmod -R 777 /us...
2019-02-13 11:19:00
3242
原创 mongodb和spark的整合(sparkRDD，sparkSQL)
话不多数，代码来了sparkcore和mongodbpackage com.bw.day02import com.mongodb.spark.MongoSparkimport com.mongodb.spark.rdd.MongoRDDimport org.apache.spark.{SparkConf, SparkContext}import org.bson.Documen...
2018-10-23 11:38:32
1220
原创 jiedis连接redis集群的测试
package com.sparkStreaming.day04import java.utilimport com.sparkStreaming.day04.JedisConnectionPool.clientimport redis.clients.jedis._object JedisConnectionPool { val config = new JedisPoo...
2018-10-23 10:52:36
540
原创 Linux中查询字段并切分取出字段得命令
ifconfig eth0 |grep "inet addr" |gawk -F: '{print $2}' | gawk '{print $1}' 替换文件: sed -i 's/# 文件中得某个字段/要修改为什么样子/' 指定修改得文件sed -i 'java_home/JAVA_HOME/' /etc/profile ...
2018-10-23 10:33:24
1292
原创 Fri Oct 12 17:10:37 CST 2018 WARN: Establishing SSL connection without server's identity verificatio
Fri Oct 12 17:10:37 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection mus...
2018-10-12 17:13:42
1213
1
原创 Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in
报这个错，好奇怪的。Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnection(JedisSlo...
2018-10-12 17:08:17
6416
原创 java.lang.IllegalStateException: begin() called when transaction is OPEN!
亲们~ 这是我在学习spark和flume整合的时候，spark自动在flume中拉取数据时写demo时报的错。 java.lang.IllegalStateException: begin() called when transaction is OPEN! at com.google.common.base.Preconditions.checkState(Prec...
2018-09-12 14:57:17
2175
原创 Kafka和flume整合------flume的配置文件
首先说明一点我的kafka在整合中是接受生产的，也就是flume生产数据，kafka用sink接受数据flume配置如下agent.sources = s1 ag...
2018-09-06 05:22:02
354
原创 Kafka的安装和测试
首先还是要啰嗦一大堆，讲一下它主要是干嘛用的，怎么用，设计原理，等等 简单的说，Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)目标Scope（解决什么问题）kafka开发的主要初衷目标是构建一个用来处理海量日志，用户行为和网站运营统计等的数据处理框架。在结合了数据挖掘，行为分析，运营监控等需求的情况下，需要能够满足各种实时在线和批量离线处...
2018-09-02 20:50:51
181
原创 scala概念以及语法总结
scala介绍 如何理解函数编程 scala特点scala语法 数据类型 变量 条件表达式 for循环，while循环 方法和函数 方法：简单方法和复杂方法 函数：函数签名，复杂函数，高阶函数，方法转化为函数 scala的集合框架 元组 数...
2018-08-28 14:09:13
1006
原创 简单排序(冒泡排序,插入排序，选择排序)
简单排序(冒泡排序,插入排序，选择排序) 简单排序(冒泡排序,插入排序，选择排序)这些算法思想是比较简单的，执行速度也相对慢一些，不过，在某些情况下比那些复杂算法实际上还要好一些，比如，对于小规模的文件以及基本有序的文件，插入算法能比快速排序算法更为有效。如何排序： 1 ...
2018-07-12 06:42:00
180
原创 简单排序(冒泡排序,插入排序，选择排序)
简单排序(冒泡排序,插入排序，选择排序)这些算法思想是比较简单的，执行速度也相对慢一些，不过，在某些情况下比那些复杂算法实际上还要好一些，比如，对于小规模的文件以及基本有序的文件，插入算法能比快速排序算法更为有效。如何排序： 1 比较两个数据项 2 交换两个数据想，或者复制其中的一项冒泡排序：代码：package...
2018-07-12 06:41:53
194
原创 Azkaban启动web--javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.se
javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.sejavax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.security.ssl.InputRecord.handle...
2018-07-11 21:54:26
1637
原创 Azkaban启动web--javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.se...
Azkaban启动web--javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection? at sun.se javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connec...
2018-07-11 21:54:00
1003
原创 Azkaban工作流调度器
Azkaban工作流调度器 在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。 性能对比： 安装：...
2018-07-10 21:33:09
197
原创 Azkaban工作流调度器
Azkaban工作流调度器 Azkaban工作流调度器 在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。 性能对比： 安装：创建ssl配置keytool -keystore ...
2018-07-10 21:33:00
145
原创 hive -- 自定义函数和Transform
hive -- 自定义函数和Transform hive -- 自定义函数和Transform UDF操作单行数据, UDAF：聚合函数，接受多行数据，并产生一个输出数据行 UDTF：操作单个数据使用udf方法：第一种： add jar xxx.jar ...
2018-07-10 17:53:00
168
原创 hive -- 自定义函数和Transform
hive -- 自定义函数和Transform自定义函数: 数据： package UDF;import java.util.HashMap;import org.apache.hadoop.hive.ql.exec.UDF;/** * * @author huhu_k * */public clas...
2018-07-10 17:52:58
293
原创 hive -- 分区，分桶(创建，修改，删除)
hive -- 分区，分桶(创建，修改，删除) hive -- 分区，分桶(创建，修改，删除)分区： 静态创建分区： 1. 数据：john doe 10000.0mary smith 8000.0todd jones 7000.0boss man 20000.0...
2018-07-09 23:47:00
514
原创 hive -- 分区，分桶(创建，修改，删除)
hive -- 分区(创建，修改，删除) 1. 数据：john doe 10000.0mary smith 8000.0todd jones 7000.0boss man 20000.0freed finance 15000.0stacy saber 4000.0建表+添加一个数据create table if not e...
2018-07-09 23:46:33
2750
原创 hive -- 协同过滤sql语句
hive -- 协同过滤sql语句数据：*.3g.qq.com|腾讯应用宝|应用商店*.91rb.com|91手机助手|应用商店*.app.qq.com|腾讯应用宝|应用商店*.haina.com|腾讯应用宝|应用商店*.myapp.com|腾讯应用宝|应用商店*.sj.91.com|91手机助手|应用商店...
2018-07-09 23:00:21
1192
原创 hive -- 协同过滤sql语句
hive -- 协同过滤sql语句 hive -- 协同过滤sql语句数据：*.3g.qq.com|腾讯应用宝|应用商店*.91rb.com|91手机助手|应用商店*.app.qq.com|腾讯应用宝|应用商店*.haina.com|腾讯应用宝|应用商店...
2018-07-09 23:00:00
363
原创 Hive - - 分组求最大，最小(加行键)
Hive - - 分组求最大，最小(加行键)数据：1325927 陕西 汉中 084 08491325928 陕西 汉中 084 08491325930 陕西 延安 084 08421325931 陕西 延安 084 08421325933 陕西 榆林 084 08451325935 陕西 榆林 084 08451325941 陕西 西安 0...
2018-07-09 22:51:27
4362
原创 Hive - - 分组求最大，最小(加行键)
Hive - - 分组求最大，最小(加行键) Hive - - 分组求最大，最小(加行键)数据：1325927 陕西 汉中 084 08491325928 陕西 汉中 084 08491325930 陕西 延安 084 08421325931 陕西 延安 084 08421325933...
2018-07-09 22:51:00
219
原创 hive的排序，分組练习
hive的排序，分組练习数据：添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, SOURCE string, TYPE string)row format delimited field...
2018-07-09 19:28:25
203
原创 hive的排序，分組练习
hive的排序，分組练习 hive的排序，分組练习数据：添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, SOURCE string, TYP...
2018-07-09 19:28:00
117
原创 Hive 外部表的练习(多表关联查询,以及分组,子查询)
Hive 外部表的练习(多表关联查询,以及分组,子查询) Hive 外部表的练习hive创建库和表操作 hive加载数据，4种发放 1.数据放在Linux创建表结构 进行加载 2.先定义表结构、将一个查询select语句结果插入到表中 ...
2018-07-09 11:47:00
335
原创 Hive 外部表的练习(多表关联查询,以及分组,子查询)
Hive 外部表的练习数据：创建表，以及添加数据：create external table if not exists my_course(courseid string,couresename string)row format delimited fields terminated by ','stored a...
2018-07-09 11:46:40
747
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql....
2018-07-09 08:26:00
2352
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)解决: 推出hi...
2018-07-09 08:25:45
1286
原创 MapRdeuce&Yarn的工作机制(YarnChild是什么)
MapRdeuce&Yarn的工作机制(YarnChild是什么) MapRdeuce&Yarn的工作机制一幅图解决你所有的困惑那天在集群中跑一个MapReduce的程序时，在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑...
2018-07-06 08:40:00
276
原创 Hive介绍及安装
Hive介绍及安装 Hive介绍及安装介绍： Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这...
2018-07-05 19:56:00
197
原创 Hive介绍及安装
Hive介绍： Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译...
2018-07-05 19:55:51
310
原创 海量日志采集Flume(HA)
海量日志采集Flume1.介绍: Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2.日志采集...
2018-07-04 20:57:23
1259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人