- 博客(19)
- 收藏
- 关注
RSS订阅
转载 一生
搬运:15岁，我读了职高17岁，我高二结束，开始悔恨自己前两年幼稚的行为于是开始努力22岁我毕业了，却发现找不到一份令自己满意的工作26岁，我看着身边的人都结了婚婚礼的份子钱逐年递增春节回家，父母从带我串亲戚变成了带我去见相亲对象见了十几个姑娘我每次都觉得和那个她比差了一点28岁那年，我遇到了一个和我遭遇差不多的姑娘我们有一搭没一搭的聊着她说：我还不错我喝了一口可乐说：你也是我还不确定喜不喜欢她双...
2019-04-19 15:37:35
684
原创 ImpalaJDBCDriver 500051
使用ImpalaJDBCDriver时发现了一个bug，会报如下错误：[Cloudera][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:Impal...
2020-03-16 21:03:39
9755
原创 MySQL获取当天，昨天，本周，上周，本月，上月日期
MySQL获取当天，昨天，本周，上周，本月，上月日期日今天昨天周本周上周月本月上月日今天SELECT DATE_FORMAT(NOW(),'%Y-%m-%d') AS '今天';昨天SELECT DATE_FORMAT( DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d') AS '昨天';周本周SELECT DATE_FORMAT(...
2019-12-30 15:04:06
696
原创 CDH 5.15.1 部署及集群优化
集群部署机器要求操作系统 : CentOS 7.1以上（CentOS Linux release 7.4.1708）java版本: jdk 1.8.0_191mysql: 版本5.7.16网络和安全: 关闭防火墙和SELinux,NTP 时间同步文档参考CDHkafkamysql软件包cloudera-managercloudera-manager-centos...
2019-08-25 16:04:32
817
原创 flink DataStream returns 设置返回类型
flink map返回Tuple3时,如果不指定returns则会报错StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tEnv = TableEnvironment.getTableEnvironment(env);Prop...
2019-08-22 17:49:51
6912
1
原创 Windows 10 mvn不是内部或外部命令，也不是可运行的程序
win10新装idea，使用mvn时提示mvn不是内部或外部命令，也不是可运行的程序。根据网上找到的方法如下设置：发现并没有什么用，可能是系统或则用户权限问题，直接删除了用户变量后在Path属性后面添加一条maven的地址，重启CMD后发现mvn已经可以使用。。。...
2019-08-17 17:53:58
1640
1
原创 实时数仓架构图
图片来自 http://www.360doc.com/content/19/0129/22/58006001_812054510.shtml
2019-08-02 14:32:25
2356
翻译 Apache Flink 1.6: 表API和SQL
概述Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，例如selection, filter, 和join.Flink的SQL支持基于实现SQL标准的Apache Calcite。无论输入是批输入（DataSet）还是流输入（DataStream），...
2019-07-26 14:25:43
238
转载 人人都应该会的Elasticsearch API开发
一 概述maven项目使用java api操作ESElasticsearc是基于lucene实现,隐藏复杂性,提供了简单易用的restful-api接口 java api接口(还有其他语言)它是一个实时分布式搜索引擎.它用于全文搜素,结构化对比和分析.我们还要知道它的基本术语:Index（索引-数据库）索引包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引...
2019-07-26 14:04:16
186
原创 mysql,impala十进制转二进制
update music.class_record set tag_bit=LPAD(bin(cast(tag_bit as bigint)),32,‘0’) where length(tag_bit)!=32;update music.class_room set status_bit=LPAD(bin(cast(status_bit as bigint)),32,‘0’) where len...
2019-07-17 18:29:46
638
原创 impala+kudu (kudu的master的主机名修改之后,查询报错)
公司测试集群CDH调整,本次调整动作蛮大.修改主机名调整节点角色调整完成后,CDH的状态都是绿色,但是在使用impala查询kudu表时发现如上图中错误信息,无意中发现建表语句中有'kudu.master_addresses' = 'kudu01:7051'猜测可能是元数据需要修改,发现在mysql的hive库下的表TABLE_PARAMS需要修改.UPDATE TABLE...
2019-05-28 17:49:23
1223
原创 kudu Java API setMutationBufferSpace
往kudu写数据一般有两种方式：impala+kudu,kudu apiimpala+kudu: 更删改查很方便，但是效率不高kudu api: 相对来说会快很多，官方推荐使用 Java API和Python API完成数据写入工作kudu API 有三种FlushMode：AUTO_FLUSH_SYNC（默认）：所有的写入都只有在自动刷新到服务器后才会返回。不会发生批处理，在这种模...
2019-04-26 16:10:59
1376
1
原创 使用shell读取zookeeper中canal实例的时间戳修改canal配置
#!/bin/bash# 1、获取canal实例在zookeeper中的cursor# 2、修改canal实例的配置[canal.instance.master.timestamp]为zookeeper中的timestamp# 3、删除canal实例在zookeeper中[/otter/canal/destinations]下的节点 # 需要手动停止、启动canal# 需要手动停止...
2019-04-22 19:09:52
934
原创 canal 设置 timestamp
canal阿里巴巴开源项目，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql工作原理canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal)canal解析binary log对象(原始...
2019-04-16 19:29:36
3590
原创 kafka 常用操作
kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中常用命令：kafka-topics.shkafka-console-consumer.shkafka-console-producer.shKafka命令参考页面: kafka-0.8.x-帮助文档kafka-topicskafka-topics --list --zookeeper zkIP:2181ka...
2019-04-12 16:38:27
121
原创 csv数据导入kudu
csv文件另存为txt文件hive中建临时表create table test_table_1( id STRING, name STRING) row format delimited fields terminated by '\t'STORED AS TEXTFILE;加载txt数据load data local inpath '/home/test_table_1...
2019-04-12 11:03:47
907
转载 CSDN-markdown 编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-04-11 17:50:40
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人