5 lishengping_max

尚未进行身份认证

专注大数据领域

等级
TA的排名 4w+

Spark读取--files文件

1.读取代码Propertiesproperties=newProperties();properties.load(newFileInputStream("/etc/hive/conf/test.properties"));2.–files配置spark2-submit\--classxxx\--masteryarn\--deploy-modec...

2019-08-19 16:47:45

IDEA maven provided依赖报错解决

问题maven添加provided依赖,idea运行时会报错找不到相关类解决在Run|RunConfigurations选择如下勾选框Includedependencieswith“Provided”scope。注意此选项框在IDEA2018.1版本才添加,详见:https://www.jetbrains.com/idea/whatsnew/2018-1/,版本过低需要安装高...

2019-08-13 17:05:50

hue file browser配置httpfs

配置1.在HDFS——实例——添加角色实例——选择httpFs主机2.在实例页面启动httpFs服务3.在HUE——配置webhdfs_url选择一个httpfs节点4.重启HUEhttpfs和webhdfs两种服务区别如下两者都是基于REST的HDFSAPI,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client...

2019-08-07 16:42:22

lombok使用builder的坑

使用@builder后报错如下需要:没有参数找到:java.lang.String,java.lang.String,java.lang.String,java.lang.Integer原因:实际参数列表和形式参数列表长度不同原因:由于继承的原因,我手动添加了无参构造,导致@builder自动生成全参构造失败,而查看相关资料发现@builder是使用全参数构造。所以导...

2019-08-01 11:17:03

Hive基于ES的外部表使用

一、配置依赖jar1.临时生效启动HIVECLI后,ADDJAR/path/elasticsearch-hadoop-xxx.jar;或bin/hive--auxpath=/path/elasticsearch-hadoop-xxx.jar或bin/hive-hiveconfhive.aux.jars.path=/path/elasticsearch-hadoop-xxx....

2019-07-01 15:48:10

HIVE SQL时间函数使用

SELECTCURRENT_DATE;— 2019-06-25SELECTCURRENT_TIMESTAMP;– 2019-06-2515:33:25SELECTunix_timestamp()–1561447860SELECTfrom_unixtime(unix_timestamp(),'yyyy-MM-dd')– 2019-06-25SELECTfrom_...

2019-06-25 15:35:40

Hive Sql使用注意点记录

1.单独的DISTINCT关键字只能放在开头,放在其它位置会报错;但如果是配合其它的函数使用,比如COUNT(DISTINCTa)则可以任意位置2.想要在like方法中调用函数,要用concat拼接likeCONCAT('%',from_unixtime(unix_timestamp(),'yyyy-MM-dd'),'%')...

2019-06-25 15:25:54

JDK的命令行工具-jstat命令详解

转自:https://www.cnblogs.com/boothsun/p/8127552.html官方文档:https://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html作用jstat的主要作用就是对Java应用程序的资源和性能进行实时监控的命令行工具,主要包括GC情况和HeapSize资源使用情况。jstat...

2019-06-14 14:15:02

ES的默认排序和慎用_doc排序

1.ES的默认排序ES默认的排序,是按_score的desc。如果score分数一样排序就会乱。所以需要给不打分的数据排序可以用**_uid或者自定义的字段排序**2.为什么慎用_doc排序_doc其实就是按照Lucene文件结构的当时索引时的先后顺序,那么按道理它就是最快的,可是,别忘了,ES是分布式的,也就是说,这里有很多个Lucene,这个_doc在一个shard里它是唯一...

2019-06-10 17:28:04

内存泄露的解决方法

分析内存泄露的一般步骤把Java应用程序使用的heapdump下来使用Javaheap分析工具,找出内存占用超出预期(一般是因为数量太多)的嫌疑对象必要时,需要分析嫌疑对象和其他对象的引用关系。查看程序的源代码,找出嫌疑对象数量过多的原因。一、dump文件获取jmap-dump:format=b,file=文件名[pid]二、下载Javaheap分析工具,这里使用Me...

2019-06-10 17:11:23

RocketMq使用异常解决记录

一、生产者创建报错Theproducergroup[profile-adjust-limit-producer-group]hasbeencreatedbefore,specifyanothernameplease.发送消息报错:com.alibaba.rocketmq.client.exception.MQClientException:Theproducer...

2019-04-26 11:56:11

非对称加密和对称加密的区别

在了解对称加密和非对称加密的区别之前我们先了解一下它们的定义:对称加密(SymmetricCryptography),又称私钥加密对称加密是最快速、最简单的一种加密方式,加密(encryption)与解密(decryption)用的是同样的密钥(secretkey),这种方法在密码学中叫做对称加密算法。对称加密有很多种算法,由于它效率很高,所以被广泛使用在很多加密协议的核心当中。对称加密通...

2019-03-29 17:08:51

cloudera mamager中配置hive加载第三方JAR

1.在运行HiveMetastoreServer、HiveServer2或HiveCLI的主机上手动创建和管理/data/db/hive_udf本地目录,在目录中放置需要添加的jar2.按下图配置,然后重启Hive...

2019-03-29 17:00:53

HIVE UDF永久生效方法

1、在linux用户的home目录下,创建.hiverc,默认当前用户下可以使用这个配置如路径:/home/kwu2、在hive的配置文件目录下,创建.hiverc,默认所有用户都可以使用这个配置,更改hive配置会影响此文件,配置完后需要重启Hive路径:/etc/hive/conf.hiverc示例sethive.cli.print.current.db=true;...

2019-03-29 11:14:03

git合并冲突解决

使用IDEA合并其它分支代码过程中,虽然在界面处理文件时都解决了冲突,但合并完成后还是报错冲突,状态一直为mergeing,下面记录下解决过程 Couldn'tchecktheworkingtreeforunmergedfilesbecauseofanerror. error:Committingisnotpossiblebecauseyouhaveun...

2019-03-22 14:16:13

hive分页查询

一、生成自增IDhttps://blog.csdn.net/wzy0623/article/details/53893174二、利用自增ID和limit分页假设分页传参:pageNum--页数pageSize--每页数量则perId=(pageNum-1)*pageSize+1分页sql为:select*fromtablewhereid>=perId...

2019-03-06 14:28:49

查看jar包的JDK版本

方法一:通过IDEA等开发工具查看导入jar包后,直接查看class类,文件上面就会显示字节码版本方法二:通过反编译.class文件来查看。解压jar包,得到.class文件。用JDK自带的javap反编译.class文件,用如下命令:javap-vJavaSource.class  查看得到的信息中,majorversion属性的内容,如下:majorversion:52...

2019-01-04 16:18:59

CDH Can't scan a pre-transactional edit log,Timed out waiting 120000ms ,JournalNode数据文件破坏集群恢复方法

简介:CDH5.11集群,由于停电或者磁盘满了造成节点全部挂掉,重启后HDFS报错,同时由于HDFS报错,引起其他基于HDFS的应用如HBASE等也报错,恢复方法如下。报错介绍:我这里的错误,摘录部分日志如下:在namenode中的报错如下2017-07-0313:53:10,377FATALorg.apache.hadoop.hdfs.server.namenode.FSEdit...

2018-11-23 16:20:16

MySQL 乐观锁与悲观锁

悲观锁悲观锁(PessimisticLock),顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。悲观锁:假定会发生并发冲突,屏蔽一切可能违反数据完整性的操作。Javasynchronized就属于悲观锁的一种实现,每次线程要修改数据时都先获得锁,保证同一时刻只有一个线程能操作数据,其他线程则会被b...

2018-11-20 11:01:22

hbase shell操作

进入hbaseshellconsole$HBASE_HOME/bin/hbaseshell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbaseshell进入可以使用whoami命令可查看当前用户hbase(main)>whoami一、表的管理1)查看有哪些表hbase(main)>list...

2018-11-02 14:10:27

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。