- 博客(23)
- 收藏
- 关注
RSS订阅原创 Caused by: java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user ‘r
Caused by: java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user 'root '@'192.168.3.16' (using password: YES))
2022-10-26 10:28:49
1516
原创 clickhouse问题总结Caused by: com.github.housepower.jdbc.ClickHouseSQLException: DB::ExceptionDB::Excepti
clickhouse
2022-03-10 16:21:02
2061
原创 Unable to instantiate SparkSession with Hive support because Hive classes ar
报错原因：没有加入 hive 的依赖org.apache.sparkspark-hive_2.11${spark.version}把以上依赖加入就可以了
2021-10-29 11:53:23
3640
原创 Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: user； li
出现次错误的原因是创建了全局 view，改成局部 view，去掉 Global
2021-10-28 15:34:21
1581
原创 # 欢迎使用Markdown编辑器
Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: user; line 1 pos 14;'Project ± 'UnresolvedRelation [user]@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知
2021-10-28 15:30:57
55
原创 union与union all区别
union不去重，union all 去重开窗函数在最后lead函数往第几行，拿到当行时间戳：10位代表秒group by只能查询三种数据：group by 后面跟的，常量，聚合函数
2020-10-20 14:56:39
185
原创 mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.
mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused少走弯路之出现这个BUG是不是你的hdfs没有启起来。。。。。。。这个BUG很脑残，哈哈...
2020-10-08 10:32:45
4000
1
原创 DataFrame初学理解
类似于数据库的二维表（即每一列都带名称和类型）DataFrame可以从很多的数据源构建，比如：已存在的RDD，结构化文件，外部数据库，hive表
2020-09-29 19:48:08
188
原创 SparkSession初学理解
SparkSession与sc(Spark Context）类似，是SQL查询起始点，程序的入口。SparkSession内部封装了SparkContext，所以底层计算还是由SparkContext完成的，当我们使用spark-shell的时候，spark会自动创建一个叫spark的sparkSession，就像我们也可以自动获取一个sc来表示sparkContext一样。...
2020-09-29 18:58:59
350
原创 as select根据查询结果创建表，查询的结果会添加到新创建的表中
根据查询结果创建表（查询的结果会添加到新创建的表中）create table if not exists student3as select id, name from student;
2020-08-19 19:20:05
727
2
原创 insert into与insert overwrite
insert into：以追加数据的方式插入到表或分区，原有数据不会删除insert overwrite：会覆盖表中已存在的数据
2020-08-19 19:04:46
1028
原创 subString()方法的使用
substring()方法做了什么？substring(beginIndex,endIndex)方法返回一个从beginIndex到endIndex-1的字符串String x = “abcdef”;x = x.substring(1,3);System.out.println(x);输出：“bc”
2020-08-13 16:57:35
428
原创 分区之按照手机号分区
当需要将统计结果输出到不同的文件中就需要自定义分区并且设置：//8 指定自定义分区器job.setPartitionerClass(ProvincePartitioner.class); //9 同时指定相应数量的ReduceTask job.setNumReduceTasks(5);默认分区器HashPartitioner，自定义一个分区类ProvincePartitioner并且让这个类继承Partitioner，还要实现getPartition（）方法public int g
2020-08-13 16:56:52
323
原创 CombineTextInputFormat
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。2）实现过程（1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。（2）在WordcountDriver中增加如下代码，运行程序，并观察运行的切片个数为3。（a）驱动类中添加代码如下：// 如果不设置InputFormat，它默认用的是TextInputFormat.classjob.setInputFormat
2020-08-13 12:20:13
394
原创 mr向集群提交mr任务的两种方式
方式一：把IDEA中写好的程序打jar包然后托入集群中执行如下命令运行：Hadoop jar wc.jar 全类名 /输入路径 /输出路径hadoop jar wc.jarcom.atguigu.wordcount.WordCountDriver /user/atguigu/input /user/atguigu/output方式二：在Windows上向集群提交任务（1)需要在WordCountDriver添加一些配置信息设置hdfs NameNode的地址：conf.set(“fs.def
2020-08-12 19:04:52
1879
2
原创 创建TableBean目的实现序列化
自定义bean对象实现序列化接口（Writable）public class TableBean implements Writable {private String id; //订单idprivate String pid; //产品idprivate int amount; //产品数量private String pname; //产品名称private String flag; //判断是order表还是pd表的标志字段...
2020-08-12 16:36:04
211
原创 Nullwritable
NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。比如，我设置map的输出为<key,空>不能使用new NullWritable()来定义，获取空值只能NullWritable.get()来获取...
2020-08-11 20:03:41
1849
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人