- 博客(16)
- 收藏
- 关注
RSS订阅原创 google的protobuf安装
亲测1、https://github.com/protocolbuffers/protobuf/releases/tag/v2.4.1 下载protobuf-2.4.1.tar.gz2、 tar xvf protobuf-2.1.1.tar.gzcd protobuf-2.5.0./configuresudo makesudo make install注意：make时可能会报错 3 errors generated. make[2]: *** [message.lo] Er
2021-05-25 10:43:15
629
1
原创 hive乱码修改mysql元数据字符集
alter database hive character set latin1;#修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;#修改分区字段注解alter table PARTITION_KEYS m
2021-04-09 17:38:31
151
原创 解决hive表被锁的参数设置
set hive.support.concurrency=false;set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager;
2021-04-08 18:10:40
536
原创 hive将某一列拼接成json数组
刚才是用的collect_list(concat(’{’,concat(’“id_penyelenggara”:’,’“810114”’,’,’), concat('"id_pengguna":','"',a.id_pengguna,'",'), concat('"no_identitas_perwakilan":','"',no_identitas_perwakilan),'"}')) as values但是得到的结果这
2021-02-03 17:34:40
2114
原创 mysql中decimal、double和float的进位
mysql数据库的舍入模式，decimal是四舍五入，float是四舍六入五成双四舍，小于等于四舍去，六入，大于等于六则加一五成双，是五的话看前一位是双数还是单数，单则加一，双的则看5后面的大于0则进位，等于0则舍去create table testRound(num1 decimal(10,2),num2 float(10,2),num3 double(10,2));1.小数点后第二位是偶数，第三位小于5sql： INSERT INTO testRound (decimal, floa
2021-01-23 17:21:46
1071
原创 hive隐式转化的问题
hive在表关联时尽量避免隐式转化，可以使用cast强转，下面例子中tableA表的order_no是bigint类型，tableB的order_no是string类型selecta.order_no,c.order_no as c_order_no,a.order_no=c.order_nofrom tableA aleft join tableB bon a.order_no=b.order_noleft join(selectt1.order_nofrom tableA t1j
2021-01-06 18:21:33
346
转载 几个flinksql例子
一、二、在这里插入代import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.common.typeinfo.Types;impor
2021-01-04 16:43:52
812
转载 Flink 最锋利的武器：Flink SQL 入门和实战
https://blog.csdn.net/u013411339/article/details/93267838一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的
2021-01-04 16:33:43
654
转载 hive连续登陆问题
问题描述在数据仓库中存在这样一张表，记录了2019年所有用户在哪天登录了我司的网站或者app。数据如下：表名：test2字段：id string，pday string需求：统计用户在本年中连续登录天数最大是几天？如：用户A在7月1、2、3、4日连续登录了4天；6、7、8日连续3天；11、12连续2天。用户A的当年最大连续登录天数是4天用户B在6月29日，6月30日，7月1日连续登录3天。用户B的当年最大连续登录天数是3天需要的到的结果是这样的：题目刨析此题需要将连续的天数打上相同的标
2020-12-24 22:31:07
570
原创 加载udf函数
create function array_us AS ‘udf.HiveUnserializable’ USING JAR ‘hdfs://indiaAWS/user/hive/udf/udf.jar’;
2020-12-23 14:25:21
292
转载 大表join小表之mapjoin详解
在Hive调优里面，经常会问到一个很小的表和一个大表进行join，如何优化。 Shuffle 阶段代价非常昂贵，因为它需要排序和合并。减少 Shuffle 和 Reduce 阶段的代价可以提高任务性能。 MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。 Hive0.7之前，需要使用hint提示 /*+ mapjoin(
2020-12-23 09:45:50
2433
原创 hive sql优化
–一、json优化–1.使用json_tuple–优化前selectcreate_time as model_time,to_date(create_time) as model_dt,uid as user_id,is_old_user,app_name,model as model_name,get_json_object(get_json_object(regexp_replace(result, ‘NaN’, ‘""’), ‘.savevariables′),′.save_var
2020-12-11 17:40:51
105
原创 hive参数设置
–动态分区set mapreduce.job.queuename=root.risk;set hive.exec.dynamici.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions.pernode=100000;set hive.exec.max.dynamic.partitions =100000;set hive.exec.max.create
2020-12-11 17:38:09
870
1
原创 Tableau开始日期结束日期以及日期维度的设置
这里写自定义目录标题Tableau开始日期结束日期以及日期维度的设置tableau官网我的案例Tableau开始日期结束日期以及日期维度的设置tableau官网问题如何根据指定的日期级别动态更改视图。例如，按年、月或日显示销售数据。环境Tableau Desktop答案以上步骤可以在附加的工作簿 dynamically change date level.twbx 中查看。单击以展开步骤步骤 1：创建自定义日期字段创建自定义日期字段，以便您可以在现有的日期字段中隔离特定的日期级别。在
2020-12-07 19:04:06
6172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人