4 王小禾

尚未进行身份认证

武汉理工大学

等级
TA的排名 2w+

HDFS await()和interrupt()引起的死循环问题分析

1.背景hdfs短路读利用UNIX域套接字,可以让客户端和DataNode通信(客户端与dn是同一台机器)。需要在datanode和客户端的配置中都配置一个套接字路径,并且开启短路读特性。官方链接hdfs在短路读时, 2.7版本的代码中DomainSocketWatcher(linux机器进程的socket通信的监听)类中有个bug需要修复。分析如下://DomainSocketWatcher#add相关代码public void add(DomainSocket sock, Handler han

2020-05-28 16:01:01

hdfs quota物理空间转逻辑空间

1.现有quota的设置与使用 1.setQuota客户端到NN的主要流程 2.count -q / -u 查看quota 2.quota在hadoop中的限制作用 2.SpaceQuota改逻辑空间 1.改动 2.测试 put mv setrep du rm 重启后查看 cp 子目录测试 EC测试 进一步测试 4.可能的问题1.现有quota的设置与使用1.setQuota客户端到NN的主要流程s...

2020-05-22 17:09:41

HDFS块恢复流程初级版

1.先看几个线程栈1.没有修改代码时走localRack -> nextRack -> Random时的流程"RedundancyMonitor" #48 daemon prio=5 os_prio=0 tid=0x00007f925ec14800 nid=0x10544 runnable [0x00007f5a2491d000] java.lang.Thread.State...

2020-04-26 10:32:16

springBoot(1)截图版

demo:1.从springmvc引入:

2020-04-22 20:48:28

ProcessBuilder开启shell进程中乱码问题

shell子进程中默认继承当前环境的环境变量。当不需要父进程的环境变量时,使用一下代码:public static List<String> exe(String cmds, boolean fromParentEnv) throws IOException, InterruptedException { List<String> res = Lists...

2020-04-07 09:32:09

DataNode生命线消息

转载链接:DataNode生命线消息

2020-04-05 16:09:23

dn心跳-临时

https://blog.csdn.net/Androidlushangderen/article/details/47945597心跳逻辑BPServiceActor时间太长如:2020-03-26 18:07:55,372 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Took 5675ms to process 1 com...

2020-03-30 22:31:33

shell中的并发实现

参考:1. shell队列实现线程并发控制2. shell队列实现线程并发控制(转)测试

2020-03-15 22:36:40

hadoop mvn test环境

hadoop mvn test的时候机器必须的环境有:* Unix System* JDK 1.8* Maven 3.3 or later* ProtocolBuffer 2.5.0* CMake 3.1 or newer (if compiling native code)其中 ProtocolBuffer 必须是2.5.0版本。必须root用户:cmake-install....

2020-03-15 14:24:39

namenode动态刷新配置

动态刷新配置:bin/hdfs dfsadmin –refreshSuperUserGroupsConfigurationbin/yarn rmadmin –refreshSuperUserGroupsConfiguration如果集群配置了HA,需要在为主备namenode(node000和node001)同时加载这两个属性(只加载一个不行),命令如下:bin/hadoop dfsad...

2020-03-13 15:50:12

RECEIVED SIGNAL 15

DFSRouter: RECEIVED SIGNAL 15: SIGTERMERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM二、分析1、signal 15含意是使用不带参数的kill命令时终止进程,初步判断,由于文件数据块的原因造成datanode失联,手动执行如下命令had...

2020-03-10 11:31:40

XAttr设置调试版

[hadoop@hadoop1 ~]$ hadoop fs -setfattr -n name -v value /xattr2020-03-10 10:52:16,636 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classe...

2020-03-10 11:30:33

hdfs oiv分析调试篇

public class FsimageOIV { @Test public void oiv() throws Exception{ String[] args = {"-p","Delimited", "-i", "/Users/didi/Work/test/fsimage_0000000000000029436", "-o","/Users/didi/Work/test/fs...

2020-03-09 15:16:00

FSShell-EC-du

client端du的调用:public static class Du extends FsUsagepublic ContentSummary getContentSummary(Path f) throws IOException { FileStatus status = getFileStatus(f); if (status.isFile()) { //...

2020-03-06 18:17:48

SET EC调试版

断点调试[hadoop@hadoop1 hadoop]$ hdfs ec -setPolicy -path /ec1 -policy RS-3-2-1024k通过path获得INodeInPath:iipINodesInPath: path = /ec1 inodes = [, ec1], length=2 isSnapshot = false snapshot...

2020-03-04 22:20:43

JVM_4调优

方法区:之前称为永久代,后来又称为Metaspace。

2020-02-28 20:12:47

JVM_3工具

如tomcat中这样改:方法区即Metaspace也可以OOMjava死锁的例子:排查堆详情工具:会有重合,推荐jvisualvm工具。可以下载一个visual gc的插件。 在jvisualvm中选择【工具-插件】即可。可以连接到远程看liunx上的。第三方工具阿里的:arthas点开怀疑的:右键可以看到更多功...

2020-02-27 23:29:54

dn临时1

BlockPool

2020-02-27 09:54:27

JVM_2 内存模型和GC种类

上述设计不合理,会有碎片问题。怎么知道对象的年龄呢? 对象头中会有记录的(见前文的图片)young存满了,又会young gc,又有碎片问题。young会gc,没有eden或s0 S1 gc的概念。一旦 OLD区都没有空间了,就会OOM。算法:【标记-清除】 会扫描整个堆,比较耗时。会产生大量不连续的空间。【标记-整理】:比较耗时【标记-复制】像s...

2020-02-26 20:58:56

JVM_1

jdk: 有编译器帮我们javac进行编译了。javac Person.java 编译 生成Person.class文件sublime可以查看2进制或16进制,查看 编码。oracle官网会有说明。16进制,u2表示两位数。开头都是cafe babe反编译 :javap -c XXX.class > XXX.java...

2020-02-25 20:32:19

查看更多

勋章 我的勋章
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。