- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hive insert数据后，HDFS目录增加-ext-10000目录处理
hive insert数据后，hdfs目录增加了-ext-10000目录经排查发现执行用户非集群管理用户，使用集群管理用户可以正常。hdfs 查看目录权限为集群管理用户。怀疑权限问题，不想手动修改hdfs权限，开启ranger 权限管控hive，赋权后正常使用。...
2021-10-29 20:33:48
2020
原创 mysql主主同步失败，恢复主备
mysql重新HA1、两库 stop slave;2、主库锁表 flush tables with read lock; 锁定为只读状态3、主库备份：导出所有数据库mysqldump -uroot -p*** --all-databases>all100.sql导出db1、db2两个数据库的所有数据mysqldump -uroot -p*** --set-gtid-purged=OFF --databases ambari hive ranger --triggers --routine
2021-07-29 20:41:01
164
原创 ranger用户同步问题--rangerusersync
access_log.log报错：POST /service/xusers/users/userinfo HTTP/1.1" 401catalina.out报错：org.springframework.security.access.AccessDeniedException: Access is denied修改：ranger用户同步问题 是 rangerusersync 这个用户的角色问题select * from x_user_module_perm where user_id in (se
2021-07-29 20:38:01
1330
原创 mysql主备切换导致hive主键冲突问题
问题描述：问题解决：hive主键冲突，增加相关值的大小，跳过冲突解决：update SEQUENCE_TABLE set NEXT_VAL=‘71000000’ where SEQUENCE_NAME=‘org.apache.hadoop.hive.metastore.model.MPartitionColumnStatistics’;update SEQUENCE_TABLE set NEXT_VAL=‘43100825’ where SEQUENCE_NAME=‘org.apache.had
2021-07-29 15:23:25
238
原创 yarn日志聚合historyserver参数汇总
1）yarn.log-aggregation-enable：是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志，并将这些日志移动到文件系统中，例如 HDFS。 用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。 用户可以通过Application Timeline Server访问日志。 yarn.log-aggregation-en
2021-07-21 18:06:36
678
原创 HDFS 查询目录报错 OutOfMemoryError: GC overhead limit exceeded
1、现象HDFS查询yarn日志目录，报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded2、解决问题检测发现这个目录下有大量文件，hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。将hdfs客户端的heap大小调大,执行成功:HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /app-logs/ocdp
2021-07-21 17:20:14
803
Hadoop权威指南
2017-09-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人