- 博客(44)
- 收藏
- 关注
RSS订阅原创 DolphinScheduler Master Worker 任务源码过程分析
dolphinScheduler 中任务的执行是通过 Master 与 Worker 协作完成。Master 负责任务的构建，host选择 最终将任务分发在具体的Worker机器上面一个任务的运行他们都做了哪些事情呢？ 这里根据源码简单进行了流程分析。1. master -> task_execute_request -> worker2.worker -> handler(task_execute_request) -> task_ack -> master
2022-03-29 16:21:35
2539
原创 Flink Sql DDL创建kafka avro格式问题 （Caused by: java.lang.ArrayIndexOutOfBoundsException: 14 Flink avro）
按照官网给出模板进行搭建 创表 create table dwd_pv_realtime( ip STRING , uid STRING , oid STRING , `day` STRING ) with( 'connector'='kafka', 'topic'='flink_test', 'properties.bootstrap.servers'='x', 'properties.group.id'...
2021-03-19 17:27:40
7736
8
翻译 Flink Table/Sql 流表转换
表到流的转换动态表可以像普通数据表一样通过insert, update, delete来不断进行修改。 它可能是只有一行， 不断更新表，也可能是一个insert-only的表， 没有update和delete修改， 或者介于两者之间的其他表。在镜动态表转换为流或将其写入外部系统时，需要将这些更改进行编码。 Flink的Table APIhe sql支持 三种方式来编码一个动态表的变化:Append-onlay流： 仅通过insert 操作修改的动态表可以通过输出插入的行转换为流...
2020-12-18 11:41:51
2480
原创 toAppendStream doesn‘t support consuming update and delete changes which is produced by node XXX
在Flink sql进行测试输出， 想把 sql查询的结果Table 转为DataStream 然后进行打印当我们table.toAppendStream[Row]的时候 发现报错其实这个因为我们sql 查的那个动态表 是Mysql 这类源， 他们是可以进行update,delete,insert操作的。对于toAppendStream呢 是仅可以将追加流进行转换输出 比如kafka所以我们使用table.toRetractStream[Row].print() 即可 这操.
2020-12-17 17:43:22
6239
原创 Flink kafka2kudu启动报错org.apache.flink.configuration.ConfigOptions$OptionBuilder.stringType()Lorg/apa
flink 写kudu任务启动报错。 看报错是因为包冲突的问题。去除本身自带的flink-streaming包即可
2020-08-25 15:34:39
1082
原创 Elasticsearch入门(持续更新)
本文是为了学习Elasticsearch而记录. 内容也是电子书摘过来的, 当然会有一些个人的理解.介绍 ElasticSearch是一个基于Apache Lucene(TM)的开源搜索引擎. 无论是在开源还是专有领域,Lucene可以被认为是迄今为止最先进, 性能最好的, 功能最全的搜索引擎库. 但是呢, lucene只是一个库. 要想使用它,必须使用java来作为开发语言并将其...
2019-09-09 20:47:48
134
原创 Hive归档分区
Hadoop中有一种存储格式名为Har, 也就是Hadoop Archive(Hadoop归档文件)的简写. 一个HAR文件就想再HDFS文件系统中一个Tar文件一样是一个单独的文件. 不够其内部可以存放多个文件和文件夹. 在一些使用场景下, 较旧的文件夹和文件比较新的文件夹和文件访问概率要低很多. 如果某个特定分区下保存的成千上万的话,那么就需要 hdfs中的NameNode消耗非常大的代价来管...
2019-08-06 20:45:53
1178
1
原创 java.lang.ClassNotFoundException: Class org.apache.oozie.service.Coordinator
解决刚安装oozie是,启动报java.lang.ClassNotFoundException: Class org.apache.oozie.service.Coordinator网上找了半天答案, 也没能解决. 最后从配置文件着手解决了.先贴一下我的配置文件oozie-site.xml<configuration> <property> <...
2019-02-15 17:55:04
887
原创 hive启动出错 org.apache.hadoop.hive.ql.metadata.HiveException
刚设置好hive的配置文件, 元数据存储使用的是mysql, 然后进行hive进入命令行模式, 使用show databases发现报异常看报错信息是元数据异常. 那么一定是与mysql的连接,或者元数据的存储出现了问题.上网百度找了一些答案,说是需要进行元数据格式化, 于是尝试了下, 发现还是报错.# 格式化元数据schematool -dbType mysql -initS...
2019-02-13 21:31:11
10797
原创 Phoenix 与 Hbase集成
Phoenix是构建在hbase上的一个关系型数据库Hbase的语法贼复杂, 麻烦, 我们可以使用我们熟悉的sql语法来操作hbase,这里就需要使用到了phoenix与Hbase集成http://phoenix.apache.org/download.html 下载地址下载对应版本首先上传安装包，并且解压tar -zxvf apache-phoenix-4.14.1-H...
2019-01-31 21:47:46
333
原创 HBase导入TSV,CSV数据
HBase Import TSV所谓 import tsv 就是固定格式的导入工具,导入格式以 \t 分割的文件如果想要完成以上的功能, 则需要创建一张表, 用于接收数据1. 创建表create 'import_tsv','info','more'2. 准备数据1 xiaohei beijing 222 xiaolan shanghai 233 x...
2019-01-24 12:36:53
1996
1
转载 排序算法---选择排序及优化版本
原文地址 https://blog.csdn.net/peiyao456/article/details/53240482在前边的排序算法（一）中已经分析过选择排序，这里主要是想讲解他的优化版本。 选择排序，是通过每次选择最小的数或者最大的数，然后将它放在它应该出现的位置上。 具体实现过程：将0号下标的数据保存，在之后的数中选择一个最小的数，如果最小的数不是0号数，则将最小的数与0号下标的...
2019-01-23 21:41:33
244
原创 HBase集成MapReduce
HBase与Mapreduce内部已经做好了集成, 直接调用即可集成的模式：1 从Hbase中读取数据就需要考虑谁是map 谁是reduce Hbase中读取数据，则可以作为map的输入，输出可以任意指定2 将数据写到hbase中，Hbase就可以作为reduce的输出3 从Hbase读取数据，在写到另外一个Hbase中（数据迁移）在hbase中已经封装好了jar包hba...
2019-01-23 16:35:58
292
原创 linux的一些拓展命令
起别名alias 别名 = '命令名' (临时加别名)alias 查看别名unalias 别名 删除别名命令执行时顺序 执行用绝对路径或相对路径执行的命令 执行别名 执行bash的内部命令 执行按照$PATH环境变量定义的目录查找顺序找到的第一个命令 输出重定向与标准IO流一样,Shell对于每一个进程预先定义3个文件描述子(0,1,2)...
2018-12-27 09:19:04
211
原创 java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:392)
报错原因是因为在自定义Writable的时候 重写public void write(DataOutput out) 时没有指明正确的类型
2018-11-24 13:19:37
7422
原创 zookeeper zkServer.sh satrt启动失败,查看状态报错Error contacting service. It is probably not running.
使用 zkServer.sh start 启动然后使用jps查看发现zk并没有成功启动起来1. 关闭防火墙:centos7 systemctl stop firewalld (我的没有效果,)2. 如果第一次安装解压的话 我们需要将zk目录下,conf目录中有一个zoo_sample.cgf模板文件,我们配置的时候根据这个文件配置,但是这两个文件不同同时存在;3. 查看z...
2018-11-12 22:20:11
1398
原创 -bash: netstat: command not found 对于centos 7 一些命令的变化
持续更新:centos 7 的ipconfig 可以使用 ip addr 代替 如果要使用 netstat 或者 iptables yum install net-tools 安装
2018-09-25 12:45:52
1562
原创 linux下安装mysql
https://dev.mysql.com/downloads/file/?id=476655 下载相应的mysql版本到本地使用文件传输工具发送到linux系统中传输然后安装rpm包 rpm -ivh MySQL-server-5.6.40-1.el6.i686.rpmrpm -ivh MySQL-client-5.6.40-1.el6.i686.rpmrp...
2018-08-10 15:21:24
121
原创 Not allowed to load local resource: 报错解决方法
出现这样的错一般为直接引用项目外的资源(图片,视频).然后打开网页结果不允许直接访问我们就需要配置一个虚拟路径来访问系统中的资源.容器为tomcat解决方法1. 打开tomcat服务界面 在下面选择Modules 然后选择Add Web Module2. 选择Browse 选择你的资源目录,然后填写path 假如选择的为d盘 d盘下有一张a.png 那么你再写...
2018-08-09 09:30:43
88729
26
转载 使用git add命令时遇到 fatal: Unable to create index.lock File exists 错误的解决办法
$ git add .fatal: Unable to create 'D:/Git/ocr/.git/index.lock': File exists.Another git process seems to be running in this repository, e.g.an editor opened by 'git commit'. Please make sure all...
2018-08-06 15:20:05
2396
原创 spring boot访问静态资源出错
1.写一个配置类import org.springframework.context.annotation.Configuration;import org.springframework.web.servlet.config.annotation.ResourceHandlerRegistry;import org.springframework.web.servlet.config....
2018-07-27 15:50:04
959
转载 java 使用 Tess4J 进行图像识别
在网上找了好多关于orc的资料,文档自己也demo了好几个都不咋地靠谱.后来发现一个挺不错的文档,自己也试着demo了下没有再想前几个一样报各种未知的错误.转 原文地址图片成功识别出来,但是识别率还是有点低..第一步下载 Tess4J 的一些资源 http://tess4j.sourceforge.net/codesample.html下载下来后解压然后在eclips...
2018-07-20 11:29:30
2873
1
原创 关于 @Transient 注解 的使用
关于 @Transient 第一次看到这个注解,于是百度一下.实体类中使用了@Table注解后，想要添加表中不存在的字段，就要使用@Transient这个注解了。使用 @Transient 表示该属性并非是一个要映射到数据库表中的字段,只是起辅助作用.ORM框架将会忽略该属性注解可以加在属性上 也可以加在get()上面一下只是自己做的简单测试的,还望指正.使用到的有两个@Transientjava...
2018-07-12 13:22:31
57180
7
转载 mysql客户端 navicat 本地导入sql文件出错
以前遇到过这个问题,找了半天度娘没解决,然后就放弃了. 因为是自己 demo 的项目 所以就自己手动建表了.现在实习了,去到公司下载下代码来,拿上sql 导入发现还是报错, 根本没法整,然后自己都不知道在哪点到的一个博客,上面写的一个解决方案.试了一下居然真的可以. 记录下,防止以后遇到瞎找百度.原文链接运行sql文件将这个对勾去了即可,也不知道什么原因.然后开始 不会在遇到错误了....
2018-07-11 22:03:43
12263
10
转载 在练习 spring aop遇到“java.lang.IllegalArgumentException: error at ::0 can't find referenced pointcut myM
遇到这个问题的时候是在, 使用 ssh 做spring aop 日志功能的时候遇到. 转 原文地址 在网上找了很多答案,都不知道再说什么,后来找到一个 跟我场景一样的,就是 在action中使用的baseAction 在其中获取 运行时类的时候 报的错. 解决方法 加一个判断 替代以前直接获取的, if (getClass(...
2018-06-12 19:57:56
400
转载 Spring boot&Mybatis 启动报错 Failed to auto-configure a DataSource
自己在练习springboot的时候 遇到启动错误 网上找解决办法,找到的转-解决他的提供的解决方法有两种,我用的第一种,成功了.在 @SpringBootApplication(exclude= {DataSourceAutoConfiguration.class})然后再次启动即可...
2018-06-10 09:12:09
178
原创 看了慕课的spring事务管理,然后整理了一下,以便以后自己学习
事务的特性: 1. 原子性. 事务是一个不可分割的整体,要么都失败,要么都成功 2. 一致性: 事务前后性必须数据的完整性必须保持一致 3. 隔离性: 多个用户并发访问数据库的时候,一个用户的事务不能被其他用户的事务给干扰, 多个并发事务之间数据要相互隔离 4. 持久性: 持久性就是事务一旦提交,那么对于...
2018-06-09 11:41:36
147
原创 Linux连接mysql报错：Access denied for user ‘root’@‘localhost’(using password: YES)的解决方法以及忘记密码
最近在腾讯云上买了一服务器玩想,然后为服务配置好mysqlmysql -uroot -pxxx要进入发现报错Linux连接mysql报错：Access denied for user ‘root’@‘localhost’(using password: YES)的解决方法因为第一次遇到这个问题,上网百度了半天,都是一个答案1.停止mysqld服务service mysqld stop进入mysql...
2018-05-30 12:15:14
4489
原创 使用mybatis查出数据与mysql查出来的不一致(order by)
最近在练习easyui的时候做到datagrid的时候 用到点击字段进行 降序,升序 的时候发现无论怎么点 数据都不会变,开始以为是easyui-datagrid中配置错了,改了半天也没有发现. 然后去看了下mybatis发出的sql和查询结果.查出来才发现 不是easyui的错,而是查询出来的结果都一样.然后又去mysql中查了一下.发现mysql中查出来没有问题然后我就懵了,都是一样的sql...
2018-05-10 11:28:15
17578
4
原创 linux下安装jdk,tomcat
1.安装jdkjdk的下载路径http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html使用 getconf LONG_BIT 来查看自己linux是多少位的 然后下载相应的jdk然后看下当前的linux系统有没有安装jdk 有的话就 删除 rpm -e jdk名称没有的话,先从上面...
2018-04-27 15:05:07
121
原创 linux下安装redis
保证自己linux可以访问互联网,并且linux有配置yum在线源.1.先去官网下载redis的包 https://redis.io/ 在官网下面 Download it 点击下载2.打开虚拟机,并且使用xshell远程连接工具 与linux连接3.安装c++工具包 redis是c++编写的, Linx在线安装gcc，&...
2018-04-23 11:51:09
188
原创 linux文件传输
打开xshell工具，连接到服务器。yum安装一款工具yum install lrzsz -y启动工具rz然后就会打开一个文件选择框 直接选择想要传输的文件即可打开xshell工具，连接到服务器。...
2018-04-23 11:26:47
238
原创 linux配置yum源 实现在线安装软件包
先使用 cat /etc/redhat-release 查看自己的linux版本 5,6,7 只需要将下面地址Centosx.repo换一下就可以了下载阿里元的yum 阿里云yum源： wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo yum cle...
2018-04-23 11:10:59
8199
原创 排序算法-插入排序-直接插入
// 借鉴的网上排序算法资料 写一下自己怎么理解的直接插入排序的 只是为了自己看懂 以便忘记的时候查看,希望大神不要喷,// 有什么不好的可以指出// 详细的请看 http://www.cnblogs.com/liuling/p/2013-7-24-01.htmlpublic static int[] a = {10,9,8,7,6,5,4,3,2,1}; public void print...
2018-03-13 12:03:16
158
转载 java的四中引用 强引用，弱引用，软引用，虚引用
强引用：只要引用存在，垃圾回收器永远不会回收Object obj = new Object();//可直接通过obj取得对应的对象 如obj.equels(new Object());而这样 obj对象对后面new Object的一个强引用，只有当obj这个引用被释放之后，对象才会被释放掉，这也是我们经常所用到的编码形式。软引用：非必须引用，
2017-12-24 23:29:57
131
转载 java使用poi解析Excel遇到Cannot get a text value from a numeric cell
Excel导入操作时偶尔会出现Cannot get a text value from a numeric cell的异常错误异常原因：Excel数据Cell有不同的类型，在模板中定义该Cell为文本格式，但是用户在插入数据时，调整为数字类型或者其他类型，因此当系统从一个数字类型的Cell读取出一个字符串并写入数据库时，就会出现Cannot get a text value from a numer
2017-12-24 23:04:18
2042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人