- 博客(19)
- 收藏
- 关注
RSS订阅原创 ch.ethz.ssh2报错java.io.IOException: Key exchange was not finished, connection is closed.
ch.ethz.ssh2连接远程服务器报错java.io.IOException: Key exchange was not finished, connection is closed.
2023-07-18 15:40:51
1525
4
原创 Caused by: org.apache.thrift.TApplicationException: Required field ‘filesAdded‘ is unset
hive报错Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.TApplicationException: Required field ‘filesAdded’ is unset! Struct:InsertEventRequestData(filesAdded:null)这个需要更改hive-site.xml里的hive.metadata.dml.events为false完整报错如下：jav
2022-04-02 11:54:20
4363
原创 Spark dataset.mapPartitions debug到mapPartitions的函数体
Dataset dataset = null;StructType schema = dataset.schema();Dataset<Row> rowDataset = dataset.mapPartitions( new MapPartitionsFunction<Row, Row>() { @Override public Iterator<Row> call(Iterator<Row>
2022-03-19 13:38:58
2269
原创 IDEA中添加Scala插件后还是无法新增Scala类
如题，解决方法如下：1、右键点击项目名，找到Add Framework Support2、点击Add Framework Support，下拉选择Scala3、在右边自己选择Create选择自己想要的Scala版本之后在new class就有Scala类了
2022-02-28 15:10:19
1060
2
原创 Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in nexus-aliyun (h
maven打包hive-exec报如下错误：Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in nexus-aliyun (http://maven.aliyun.com/nexus/content/groups/public)网上找的好几个都是说换掉maven的仓库，说是换成</mirror> <mirror> <id>aliyun
2021-12-06 15:56:35
1271
原创 json.dumps遇到TypeError: Object of type date is not JSON serializable
从数据库读取数据然后转为json时遇到：TypeError: Object of type date is not JSON serializableTypeError: Object of type Decimal is not JSON serializable等错误，发现需要在json.dumps()时传入一个参数，如下class DateEncoder(json.JSONEncoder): def default(self, obj): # 处理返回数据中有date类
2021-04-13 09:48:08
1974
2
原创 rdd.collect()后得到的List排序问题：Exception in thread “main“ java.lang.UnsupportedOperationException
跟着视频的写了一个数据统计的demo，实现按小时统计访问量。代码如下package com.billy.test;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spar
2021-04-13 09:39:14
436
原创 Hive -e时的双引号和反斜杠问题
今天用hive -e 测试split(column, “\.”)的时候发现有个坑，记录一下。建表语句：create table movie (name string,category string)row format delimited fields terminated by "\t";数据准备movie.txt：《疑犯追踪》 悬疑.动作.科幻.剧情《Lie to me》 悬疑.警匪.动作.心理.剧情《战狼 2》 战争.动作.灾难插入语句：load data local in
2021-03-28 18:56:53
3403
原创 Hive一些常用配置【持续更新】
<!--是否以本地模式启动，默认false--><property> <name>hive.exec.mode.local.auto</name> <value>false</value></property><!--让提示符显示当前库，默认false--><property> <name>hive.cli.print.current.db</name> &l
2021-03-27 18:28:50
170
原创 Hadoop添加snappy压缩支持
启动hadoop后，使用如下命令查看压缩支持：hadoop checknative出现下列输出，snappy为false，则需要手动添加snappy支持Native library checking:hadoop: true /opt/bigdata/hadoop/hadoop-3.1.4/lib/native/libhadoop.so.1.0.0zlib: true /lib/x86_64-linux-gnu/libz.so.1zstd : true /lib/x86_64-li
2021-03-24 11:38:31
1250
1
原创 Hadoop四个配置文件
重装了下单机版的hadoop，基本配置文件忘了，这里记录一下免得以后总得找core-site.xml:<configuration> <!-- 用来指定hdfs的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <
2021-03-08 21:23:54
854
5
原创 LeetCode刷题：134. 加油站问题
134. 加油站难度：中等来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/gas-station著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。问题描述：在一条环路上有 N 个加油站，其中第 i 个加油站有汽油 gas[i] 升。你有一辆油箱容量无限的的汽车，从第 i 个加油站开往第 i+1 个加油站需要消耗汽油 cost[i] 升。你从其中的一个加油站出发，开始时油箱为空。如果你可以绕环路行驶一周，则返回出发时加油站
2021-03-01 21:27:29
155
原创 ArcGIS Server Linux 10.7压缩包
ArcGIS Server Linux 10.7压缩包链接：https://pan.baidu.com/s/1GYjElpbXZN0938_vWyWSOA提取码：nkbp
2021-02-01 10:07:58
647
3
原创 beeline连接hive报错：Error: Could not open client transport with JDBC Uri: jdbc:hive2://.....
beeline连接hive2的时候报错，报错信息为Error: Could not open client transport with JDBC Uri: jdbc:hive2://192.168.81.131:10000: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)google搜了很久试了...
2020-03-24 08:17:09
2668
2
原创 hadoop启动HDFS命令
启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
2020-03-11 14:28:06
3300
原创 JAVA, SCALA, HADOOP, SPARK里的JAVA_HOME和环境变量设置
/etc/profile里添加的内容：export JAVA_HOME=/jdkexport HADOOP_HOME=/hadoopexport SCALA_HOME=/scalaexport SPARK_HOME=/sparkexport PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:$SPARK_HOME/binexport PATH=$...
2020-03-11 09:57:16
817
原创 Windows下安装Python的Scrapy模块
Windows下Scrapy安装教程：pip install wheel(也可能不需要)pip install lxmlpip install pyOpenSSL进入官网：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，找到 Twisted-19.2.1-cp36-cp36m-win_amd64.whl ，（这里同样找到对应自己的p...
2019-08-04 22:28:25
240
原创 Python json中文显示unicode字符
Python json文件当使用json.dumps将文档转化为json格式时，文档内容里有中文，这样会导致显示成\u95f9\u949f这样，因此需要在dumps函数里设置参数ensure_ascii=False即可。...
2019-08-01 16:11:35
304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人