qq_22195987的博客

原创 flink-yarn-session

nohup ./bin/yarn-session.sh -n 2 -s 2 -jm 2048m -tm 2048m > ./logs/test_`date +\%Y\%m\%d`.log 2>&1 &nohup ./bin/flink run -yid application12233455 ./jars/xxx.jar xxx参数 >> ./logs/...

转载 maven使用日志出现:No appenders could be found for logger

原文链接：https://blog.csdn.net/qq_37502106/article/details/86659947打开官网：http://logging.apache.org/log4j/1.2/faq.html#noconfig翻译出来大概就是：当找不到默认配置文件log4j.properties和log4j.xml，并且应用程序不执行显式配置时，就会发生这...

原创 mysql8.0.11修改密码及用navicat连接时出现1251

mysql的密码忘记了，登陆被拒绝，需要修改密码。版本：mysql8.0.11vim /etc/my.cnf 配置文件中加入skip-grant-table；/etc/init.d/mysqld restart；mysql -u root -p 1qaz@WSX 正常登陆；查询用户密码命令：mysql> select host,user,authentication_st...

原创 常见地址

https://github.com/gotoworld/hsd-cipher-sm  下载源码后会报错，原因缺少依赖：添加相应的bcpkix，比如  <dependency>        <groupId>org.bouncycastle</groupId>        <artifactId>bcpkix-jdk15on</...

原创 恢复生产集群索引快照到测试集群

第一：生产环境索引打快照 在head上执行http://192.168.0.12:9200/_snapshot/my_backup/lwx_top4_kz/put{  "indices": "lwx_top4"}查看快照 在head上http://192.168.0.12:9200/_snapshot/my_backup/lwx_top4_kz/get第二：复制快照数据复制生产环境快照仓库所在机器...

原创 cannot change ownership to uid 500,gid 500:Invalid argument

cannot change ownership to uid 500,gid 500:Invalid argument查看了https://blog.csdn.net/feiyangyongran/article/details/46441137问了下领导，当前解压文件的目录是从别的机器上挂载过来的去原来的机器上解压吧...

原创 linux shell脚本监控进程崩溃自动重启

转载 Cannot obtain block length for LocatedBlock故障分析和解决

转载1https://www.cnblogs.com/cssdongl/p/6700512.html这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常，get也一样，这样无法访问hdfs文件的问题必须解决，Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop集群维护的时候，基...

转载 hive 时间函数 总结

大数据，算法qq交流群：397173819做数据挖掘的，离不开使用各种时间函数。 为了避免遗忘，以及后续各种抓瞎到处乱找，特意总结了hive中大部分常用的时间函数，方便自己也方便他们。1.unix_timestamp()返回当前时区的unix时间戳 返回类型：bigint hive (tmp)> select unix_timestamp() from hive_sum limit 1; 1...

原创 elasticsearch-2.3.5简单安装

1、安装jdk1.82、下载es安装包：https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3.5.tar.gz3、通过crt复制到虚拟机 /opt下4、解压：tar -zxvf elasticsearch-2...

原创 ElasticSearch reindex报错：the final mapping would have more than 1 type

ES版本是6.1.3：在Elasticsearch 6.0.0或更高版本中创建的索引只包含一个mapping type。 在5.x中使用multiple mapping types创建的索引将继续像以前一样在Elasticsearch 6.x中运行。 Mapping types将在Elasticsearch 7.0.0中完全删除。Indices created in Elasticsearch 6...

原创 hive parquet table 配置压缩

最近用hivecontext 向hive parquet表中插入数据，发现了一个问题：总量700M的数据在parquet表中竟然有600M。百度，发现了这个：https://blog.csdn.net/xiao_jun_0820/article/details/76893331再看看自己的建表语句，确实没有指定压缩。指定一下：得到结果：gzip、文本形式的、snappy、默认parquet 的大小...

原创 spark-sql小错

在本地跑各种顺畅：到集群上就不行了，各种报错：解决：将中的provided去掉，然后编译打包在集群上再次跑。又报错：将配上，编译打包在集群上再次跑接着报错：真是完蛋了！然后想起来我们测试集群有两个版本的spark（有hive和没hive的）查看环境变量配置的是没hive的：使用有hive的spark再次提交，发现还是哪些错（啊啊）突然看到：意味着我就是用有hive的spark版本他还是会用你的环境...

原创 JDK安装1.8

下载jdk：http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz?AuthParam=1525153044_865063e7ce6d78fe53d34f8ec9843fea解压tar包：tar -zxvf jdk-8u171-...

原创 spark读取lzo文件并指定日志记录起始标识符

1、读取文件是LzoTextInputFormat.class2、设置JavaSparkContext jsc = new JavaSparkContext(conf);Configuration hconf = jsc.hadoopConfiguration();hconf.set("textinputformat.record.delimiter", "[*&^%]");     hc...

原创 lzo-lzop

编译环境生成 linux机器上执行yum -y install lzo-devel zlib-devel gcc autoconf automake libtool下载lzohttp://www.oberhumer.com/opensource/lzo/download/lzo安装tar -zxvf lzo-2.10.tar.gz -C /opt/cd /opt/lzo-2.10export CF...

转载 Cloudera的CDH和Apache的Hadoop的区别

目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本

原创 hadoop完全分布式搭建

我有四台服务器分别是 hadoop1、hadoop2、hadoop3、hadoop4hadoop1是namenodehadoop2/3/4是DataNodesecondarynamenode也在hadoop2上hadoop版本为：hadoop-1.2.1-bin.tar.gzjdk版本为：jdk-7u71-linux-x64.tar.gz1. 设置ip地址 修改网卡