- 博客(6)
- 收藏
- 关注
RSS订阅转载 2021-03-02
本文章转自：https://www.cnblogs.com/importbigdata/p/12215461.htmlHive优化的十大方法Hive用的好，才能从数据中挖掘出更多的信息来。用过hive的朋友，我想或多或少都有类似的经历：一天下来，没跑几次hive，就到下班时间了。Hive在极大数据或者数据不平衡等情况下，表现往往一般，因此也出现了presto、spark-sql等替代品。这里重点讲解hive的优化方式，例如优化分组：set hive.auto.convert.join=true;优化
2021-03-02 17:03:51
140
原创 oracle 数据库存储过程编译报错PLS-00103出现符号 end-of-file在需要下列之一时问题
场景描述：1.kettle执行报表跑批任务2.需要给kettle增加依赖，等核心跑完后在执行报表的加工逻辑核心代码如下：declare V_BEGIN VARCHAR2(30); V_END VARCHAR2(30); V_DATE_EMP VARCHAR2(30); V_FLAG VARCHAR2(30); V_FLAG1 VARCHAR2(30); V_DAY VARCHAR2(30);begin V_BEGIN := 'N'; V
2021-02-07 10:29:34
11520
转载 Hive存储格式跟压缩对比
Hive存储格式跟压缩对比Hellooorld 2019-06-01 13:46:39 1182 收藏 3分类专栏： bigdata版权存储:1 TextFile2 SequenceFile3 RCFile4 OrcFile5 Parquet6 Avro6种性能测试textfile默认格式；存储方式为行存储；磁盘开销大 数据解析开销大；但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。SequenceFile二进
2021-01-28 09:21:30
633
原创 hadoop动态分区错[Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions
错误：Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and h
2021-01-26 17:41:29
905
1
原创 Hive中表的创建
*一、Hive支持的数据类型：二、Hive内部表与外部表介绍：1.在hive中表的类型：托管表（外部表）——EXTERNAL。删除表时不会删除在hdfs中的数据，只会删除元数据一般自己指定目录位置管理表——默认默认存储在/user/hive/warehouse下，也可以自己指定删除表时，会删除表数据以及元数据2.建表语句：1. CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name[(c
2021-01-26 17:39:52
244
原创 Hive基本操作介绍
Hive基本操作：1.hive登录：1).远程登录：beeline：支持嵌入模式(embedded mode)和远程模式(remote mode)。在嵌入式模式下，运行嵌入式的Hive(类似Hive CLI)，而远程模式可以通过Thrift连接到独立的HiveServer2进程上，要与HiveServer2配合使用，服务端启动hiveserver2 ，客户的通过beeline两种方式连接到hive：beeline -u jdbc:hive2://localhost:10000/default -n r
2021-01-25 15:28:06
2467
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人