- 博客(231)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 关于jmx三个端口介绍
JMX(Java Management Extensions)是一个为应用程序提供管理功能的框架。也就是应用程序暴露一个端口，可以通过这个端口，查看程序的状态，修改程序的配置。网上关于程序员四个层次，很形象说明JMX的功能。程序新手，配置是写死在程序中，修要修改时就去改代码，然后重新编译发布。 程序熟手，配置在文件中（JAVA一般都是properties文件），修要修改时就去修改配置文件，但还是必须重启系统，以便读取配置文件里最新的值。 程序好手，则会写一段代码，把配置值缓存起来，系统在获取的.
2020-09-03 17:01:07
10098
2
原创 cloudera manager修改mysql端口后，cm service服务报错解决
1.在修改完cm的元数据库mysql的端口为3318后，会发现cloudera manager service服务无法使用，并且日志报错无法打开链接2.可以这样做（1）首先备份cm数据库，备份后删除cm数据库,并停掉cm server服务： mysqldump -uroot -pmima --databases cm > backdb.sql（2）修改/cm-5.16.1...
2020-01-15 18:39:13
1322
原创 kafka java api 入数据报错：Error: MESSAGE_TOO_LARGE
1.kafka版本：kafka_2.11-2.1.0-kafka-4.0.0.jar 2.server.properties：所有调优参数都是默认 3.topic ：null，所有参数默认 4.入库1G txt文件，只加三个参数：acks：allbatch.size：1048576linger.ms：10引用：http://www.mamicode.com/info-detai...
2019-12-18 17:09:37
3199
转载 hbase 2.1 api入库刷新方式
转自：https://www.cnblogs.com/swordfall/p/10527423.html继承RichSinkFunction重写父类方法：package cn.swordfall.hbaseOnFlinkimport org.apache.flink.configuration.Configurationimport org.apache.flink.strea...
2019-12-17 10:49:49
562
原创 linux下复制软连接指向的文件
参考：https://www.cnblogs.com/macrored/p/11753862.html1.指令: cp -rL /opt/cloudera/parcels/CDH/lib/hbase /home/hadoop/2.测试cd /opt/cloudera/parcels/CDH/lib/hbase && ll发现大量软连接文件若直接cp ...
2019-12-11 17:21:30
6662
转载 如何解决Cloudera Manager主机页面出现重复主机异常
问题重现通过Cloudera Manager主页访问“主机”页面，发现其中一台主机有2条重复的记录，一条有角色相关信息但是心跳明显超时很久了，另外一台有心跳但是没有主机角色信息，而且所有主机都是未知状态，如下：回到Cloudera Manager主页也发现无论是Cloudera Management Service还是集群的Hadoop服务都是未知状态。...
2019-12-10 18:09:26
974
2
原创 租户.hiverc的作用
The hiverc FileThe CLI when invoked without the-ioption will attempt to load $HIVE_HOME/bin/.hiverc and $HOME/.hiverc as initialization files.在不带-i选项的情况下调用CLI时，将尝试加载$HIVE_HOME/bin/.hiverc和$HOME/...
2019-12-09 11:33:28
219
原创 flink配置historyserver
flink版本1.9.11.编辑flink/conf/flink-conf.yaml ，搜索history，主要编辑如下#==============================================================================# HistoryServer#======================================...
2019-12-05 18:02:18
3847
转载 hbase 查看hfile的内容
1.指令hbase hfile -v -p -m -f hdfs://localhost:9000/hbase/data/default/test/782d9564125bae4e0037e367626186b4/t1/44bd781271ef445ea5056ca632569611
2019-12-03 09:46:17
555
原创 hadoop resourcemanager webui端口修改后客户端配置是否需要修改？
1.cm上修改yarn web ui端口为8089：2.提示重启yarn和hive3.重新yarn和hive后，直接在客户端提交job，此时客户端配置如下：尝试提交job：发现直接提交成功，同时我们发现，客户端是线连接ResourceManager的8032端口，然后再去有RM转发job到对应的web ui地址，不走客户端配置。4.hive也正常5.结论...
2019-11-29 16:56:38
2645
转载 fio命令不要在系统盘下执行
fio 命令入门到跑路（千万不能在系统所在的分区测试硬盘性能）xitaotao关注6人评论10009人阅读2018-11-20 10:32:29fio是一种I / O工具，用于基准测试和压力/硬件验证。它支持19种不同类型的I / O引擎（sync，mmap，libaio，posixaio，SG v3，splice，null，network，syslet，guasi，...
2019-11-29 10:42:07
2000
转载 大数据组件开启审计日志
hdfs审计 log4j.properties 中配置（缺省就包含）hdfs.audit.logger=INFO,NullAppenderhdfs.audit.log.maxfilesize=256MBhdfs.audit.log.maxbackupindex=20log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesys...
2019-11-27 11:28:02
1283
转载 大内存也是否需要关闭
搭建hadoop集群时是否需要关闭大内存页，仅以实时响应来说，是需要的。具体如下问：hbase集群搭建是否需要关闭透明最大页hbase版本号：1.2.0+cdh5.13.0+411操作系统版本centos 7.5.1804HBASE 需要关闭透明最大页吗？答1：要关掉，否则GC时的Object copy耗时明显增加，对吞吐有显著影响。或者在hbase-env.sh添加-XX:+A...
2019-11-26 09:46:22
283
转载 hive的metadata、metastore 、hiveserver2、beeline 之间的关系
1 先解释一下几个名词：（1）metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。（2）metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。（3）hiveserver2：hive服务端。提供hive服...
2019-11-22 12:02:36
4918
3
转载 Slow ReadProcessor&Error Slow BlockReceiver错误日志分析
1.总结"Slow ReadProcessor" 和"Slow BlockReceiver"往往是因为集群负载比较高或者某些节点不健康导致的，本文主要是帮助你确认是因为集群负载高导致的还是因为某些节点的硬件问题。2.症状1.作业比以前运行的时间变长2.Job的日志中有以下WARN的信息2018-04-18 00:16:11,632 WARN [ResponseProcesso...
2019-11-14 09:28:08
553
转载 hadoop core-site.xml参数fs.trash.interval
1.官网释义 fs.trash.interval Number of minutes after which the checkpoint gets deleted. If zero, the trash feature is disabled. This option may be configured both on the server and the client. If ...
2019-11-13 09:51:57
466
转载 group by 使用规则
第一，凡是在group by后面出现的字段，必须同时在select后面出现；第二，凡是在select后面出现的、同时未在聚合函数中出现的字段，必须同时出现在group by后面. ...
2019-11-08 17:37:49
2672
1
转载 Linux sar 查看网卡流量 网络io
1 常用指令sar -n DEV 1 5每秒钟查看1次，共查看5次#sar -n DEVIFACE 表示设备名称rxpck/s 每秒接收的包的数量txpck/s 每秒发出的包的数量rxKB/s每秒接收的数据量，单位KByte 1KB=1000byte=8000bittxKB/s每秒发出的数据量，单位KByte若服务器丢包非常严重，需要查看网卡流量是否异常。接...
2019-11-07 14:42:49
585
原创 hive多个源表同时插入目标表会不会出现并发写报错？
1.业务上有需求需要并发读取多个来源表，然后插入到目标表，询问是否会有啥报错？2.第一感觉是可能会发生并发写报错，然后进行测试。3.准备数据1G（太少看不到过程），按行划分4.建立三张表test1.，test2，test3create table test1(id string);create table test2(id string);create table test3...
2019-10-23 17:40:44
5466
转载 hadoop benchmark测试
主要用的TeraSortxx2集群1.5cpuhadoop jar /opt/beh/core/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-*.jar teragen -D mapred.map.tasks=1975 -D dfs.block.size=1073741824 19750000...
2019-10-16 14:39:10
233
原创 获取hive所有数据库的所有表的建表方式
1.第一种保留所有表到各自文件#!/bin/bashhive -e "show databases ;" > databases.txti=1cat databases.txt |while read dbdohive -e "use $db;show tables;" > $i.txtsleep 3cat $i.txt |while read eachline...
2019-10-12 11:17:26
1378
1
转载 lvs调度算法详解
LVS调度算法分为静态类型和动态类型，共计10种:rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq常用的调度算法：固定调度算法：rr，wrr，dh，sh动态调度算法：wlc，lc，lblc，lblcr 算法 说明 rr 轮询算法，它将请求依次分配给不同的rs节点，也就是R...
2019-09-27 17:00:11
985
转载 xfs文件系统操作实践
XFS不仅仅是文件系统，它也提供一系列的工具来控制其工作状态、参数等，本文就其使用过程中的经验做一总结，希望能有些帮助。有多个相关的管理工具：xfs_admin、xfs_check、xfs_db、xfs_freeze、xfs_growfs、xfs_io、xfs_mdrestore、xfs_mkfile、xfs_quota、xfs_rtcp、xfs_bmap、xfs_copy、xfs_estimat...
2019-09-20 14:27:23
5249
转载 JVM GC日志设置滚动输出
假笨说参数-GC日志其实也支持滚动输出的2017-08-11 09:12概述上篇文章分享了一个在群里分享的参数，昨天晚上回到家在群里又做了一次分享，主要分享了四个和GC日志相关的参数，因为我并没有将每次分享的内容都分享出来，所以如果你也想听分享可以通过下面的方式加入进来QQ群号：462563010GC是JVM的一大特性，JVM调优绝大部分也是调优GC，所以GC...
2019-09-20 14:25:34
3442
转载 jvm 分析工具使用
推荐看这个网址：https://mingshan.fun/2018/10/21/monitoring-diagnostic-tools-for-jvm-cmd/1. 查看JVM堆中对象详细占用情况 jmap -histo [pid]eg1： jmap -histo 1234 查找进程号为1234的java程序的jvm堆中对象详细占用情况eg2：可以看出，其中有两个类的实例比较...
2019-09-20 14:25:10
125
转载 mkfs.xfs指令详解
XFS格式化: 块设备分割成八个或以上相等的线性区域(region,或块chunk)-->称为“分配组”.分配组是唯一的，独立管理自己的inode节点和空闭空间(类似文件子系统，使用高效的B+树来跟踪主要数据)，分配组机制给XFS提供了可伸缩和并行特性(多个线程和进程可以同时在同一个文件系统上执行IO操作)。XFS:数据段(数据，元数据)，日志段，实时段.(默认mkfs.xfs下：实...
2019-09-16 18:45:22
24290
转载 nn gc日志GC(Allocation Failure)详解及cms jvm 知识梳理
1.线上使用的是jdk1.8的cms 垃圾回收算法2.nn gc 日志如下，不了解啥意思3.在最作者的博文介绍了，懂了不少，这里感谢下作者大大==================================================================================日前查看某个程序的日志，发现一直在报GC相关的信息，不确定这样的信息是代表...
2019-09-10 17:59:57
1784
原创 -XX:ReservedCodeCacheSize设置太大导致regionserve无法启动
1.hbase master和hbase regionserver的设置如下：export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xmx10g -Xms10g -XX:PermSize=1g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=2g"export HBASE_REGIONSERVER_OPTS=...
2019-09-10 15:50:43
3583
原创 hive默认权限管理
1 hive cli手动输入这三个设置开启hive aclset hive.security.authorization.enabled=true;set hive.security.authorization.createtable.owner.grants=ALL;set hive.security.authorization.task.factory=org.apache.hado...
2019-09-02 11:34:35
562
转载 安装 aconda 后Linux的终端界面前部出现（base）字样
安装anaconda以后突然间发现了一个问题，那就是Linux终端变样了，无端的在终端前部分出现了（base）字样，如下图：这突然要我感觉是十分的神奇又有些不爽， 凭感觉打开了 ～/.bashrc 文件， 发现如下：export PATH=/home/devil/anaconda3/bin:$PATH# added by Anaconda3 2018.12 ...
2019-08-29 10:57:04
5470
转载 JVM CMS配置
一个性能较好的web服务器jvm参数配置：-server//服务器模式-Xmx2g //JVM***允许分配的堆内存，按需分配-Xms2g //JVM初始分配的堆内存，一般和Xmx配置成一样以避免每次gc后JVM重新分配内存。-Xmn256m //年轻代内存大小，整个JVM内存=年轻代 + 年老代 + 持久代-XX:PermSize=128m //持久代内存大小-Xss256k //...
2019-08-01 17:14:40
1909
转载 linux监控打开文件数
在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制（这是因为系统为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄）。查看当前系统打开的文件数量lsof | wc -lwatch "lsof | wc -l"查看某一进程的打开文件数量lsof ...
2019-08-01 11:48:15
1431
转载 Java JVM内存中的年轻代，老年代
转载来自：https://blog.csdn.net/a754112602/article/details/81194373参考链接如下：1.https://blog.csdn.net/joeyon1985/article/details/786067482.https://study.163.com/course/courseMain.htm?courseId=1209430821&...
2019-07-30 18:13:41
603
转载 ftp 无法解压下载后的gz文件
1.从ftp上下载之前上传的gz文件，解压时报错如下：gzip: 000249_0.gz: invalid compressed data--format violated参考链接：https://www.cnblogs.com/xiaojianblogs/p/6895235.html?utm_source=itdadao&utm_medium=referral2.尝试...
2019-07-29 18:21:42
1507
1
转载 cm zookeeper 143 退出异常
（1）cm zk异常宕掉，而且全部同时宕掉。差找不到任何有效日志，只有在supervisord里面发现一点异常如下：2019-07-23 14:40:24,373 INFO exited: 514-zookeeper-server (exit status 143; not expected)（2）该异常具体出现场景复现如下：1. ps -fe | grep zookeeper...
2019-07-23 14:51:37
593
转载 ftp-over-hdfs客户端命令详解
转载来自：https://blog.csdn.net/indexman/article/details/46387561可以输入help或者?查看所有ftp命令命令概览·!-执行本地命令·?-显示FTP命令的说明·append-向远程服务器追加本地文件·ascii-设置文件传输类型为ASCII，默认类型·bell-...
2019-07-19 15:57:01
1317
转载 hbase shell 附加gc参数启动
$HBASE_SHELL_OPTS="-verbose:gc -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$HBASE_HOME/logs/gc-hbase.log" ./bin/hbase shell
2019-07-09 14:45:03
277
转载 jvm 大小配置
Mon Jul 08 08:55:16 GMT 2019 Created by: Zach Zhang 您好 GC 10秒的话可能会暂时引起访问问题。 从您到而heap来说，有两个建议： 1） 建议将heap 调整到31 G，避免使用32G。您如果稍微搜一下就能看到有很多文章都提示过Java 指针和压缩空间问题。 使用32G是不推荐的。要么31G，要么38G以上。 ...
2019-07-08 17:05:28
492
原创 hbase查看建表时间
1.到zk中去找，主要看znode创建的时间2.去zk这个路径去找:get /hbase/table/要找的表名字eg：看ctime3.get信息一些解释https://www.cnblogs.com/yunxizhujing/articles/9381315.html...
2019-07-04 17:53:17
2506
转载 hive查看表创建时间
执行命令descformatted <database>.<table_name>在hivecli.它将显示类似于的详细表信息desc formatted wkz;
2019-07-04 17:23:39
11581
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人