- 博客(16)
- 资源 (29)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 FlinkSQLread hive IllegalArgumentException: field does not exist
1、FlinkSQL读取和hive数据发生字段不存在创建一个hive表，先插入一条数据，然后再修改表增加一个update_time字段，再用FlinkSQL查询就会报update_time, 字段不存在。2、异常报错如下+--------------------------------+-------------+-------------------------------+| name | age |
2021-04-19 10:16:42
861
原创 MVEL执行表达式从map对象获取参数报NullPointerException
1、mvel表达式{"my_address": paramMap.get("address")}2、执行java代码HashMap<String, Object> map = Maps.newHashMap();map.put("address", "北京市");// HashMap<String, Object> paramMap = Maps.newHashMap();ConcurrentMap<String, Object> paramMap = Ma
2020-09-18 12:18:19
761
原创 kudu创建表报列顺序错误
Got out-of-order key column: name: "user_id" type: INTis_key: true is_nullable: false因为user_id为组件列所以在创建ColumnSchema的时候要添加在普通的列的前面List<ColumnSchema> columns = new ArrayList<>();columns.add(new ColumnSchema.ColumnSchemaBuilder("user_id", T.
2020-09-17 17:30:17
384
原创 Flink读取state的状态
1、复制flink opt目录下的flink-queryable-state-runtime_2.11-1.9.0.jar包到lib目录2、修改配conf/flink-conf.yaml配置文件添加如下配置# queryable-statequeryable-state.enable: true3、提交如下代码示例public class WordCount { ...
2019-09-04 11:57:52
2632
2
原创 Flink接入apollo简单示例
1、创建配置文件apollo官网示例显示java api使用配置文件方式如下：配置文件内容： app.id=java-apollo-test-20190724 apollo.meta=http://apollo-server:10080 apollo.cacheDir=./cache2、示例代码public class StreamingJo...
2019-07-24 16:19:57
1746
原创 1、SparkStreaming整合Kafka010读取kafka的三种策略
import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.TopicPartitionimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConf...
2018-07-25 13:24:13
5215
原创 Flink keyBy 分流与Window操作
import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.configuration.Configuration...
2018-04-10 20:39:41
14374
原创 Flink自定义一个简单source
import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream....
2018-04-09 17:27:52
5056
原创 本地idea开发flink程序并本地运行读取HDFS文件
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.5</version>
2018-03-29 16:49:04
6904
原创 mac下MYSQL5.7.20开启binlog日志
1、我的mysql是用brew install mysql 安装的2、在/etc/下创建my.cnf 添加内容如下：[mysqld]#log_binlog-bin = mysql-bin #开启binlogbinlog-format = ROW #选择row模式server_id = 1 #配置mysql replication需要定义，不能和canal的slaveId重复3、重启的时候最好
2017-11-24 14:54:33
4968
原创 Mac 安装redis-4.0.2
1、官方下载Redistar -zxvf redis-4.0.2.tar.gzcd redis-4.0.22、安装依赖Mac 要切换为普通用户安装依赖包在redis目录下执行make命令的时候报了xcrun错误，这个原因是升级mac系统的时候 升级Xcode造成的。解决： xcode-select --install最后在redis目录下执行make3、开启redis服务 src/re
2017-11-22 14:51:33
355
原创 SpringBoot小程序
1、设置pom.xml 文件<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.4.0.RELEASE</version> </parent> <proper
2017-11-22 13:43:18
469
原创 java读取项目资源文件
public static void main(String[] args) { /* path中不以'/'开头表示该路径是相对路径，相对于当前类所在的目录 */ InputStream is = PropertiesUtil.class.getResourceAsStream("cfg/jdbc.properties"); // 同 InputS
2017-11-22 10:02:32
424
原创 Linux命令学习
Linux命令学习ls -l|grep ^drtree -Ld 1find / -maxdepth 1 -type dfind ./ -type d -o -type f(或者目录或者文件)find ./ -type d -and -name “filename”1．查询文件类型 以.log结尾7天以前的文件find ./ -type f -name “*.log” -mtime +7２．查找到并删
2017-08-02 16:08:19
332
转载 Java单例模式
/** * 单例模式的五种写法： * 1、懒汉 * 2、饿汉 * 3、静态内部类 * 4、枚举 * 5、双重校验锁 *//** *五、 双重校验锁，在当前的内存模型中无效 */class LockSingleton{ private volatile static LockSingleton singleton; private LockSingleton()
2017-04-14 11:15:38
245
原创 Unable to initialize any output collector(MapReduce执行到reduce过程失败抛出IO)
hadoop中mapreduce中遇到的一种IOException错误
2017-03-31 09:40:44
3545
快学 Scala
2017-09-01
akka 并发编程
2017-08-31
Hadoop实战
2017-08-31
hadoop 权威指南
2017-08-31
Wireshark网络分析实战
2017-08-21
IBM Bluemix 注册的账户登陆的时候处在占挂状态怎么回事啊
2015-11-19
如何发布网站，能让别人在自己电脑上登陆
2015-11-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人