4 王小禾

尚未进行身份认证

我要认证

武汉理工大学

等级
TA的排名 2w+

SparkCore-1-RDD

1.RDD(ResilientDistributedDataset)• 五大特性:– A list of partitions– A function for computing each partition– A list of dependencies on other RDDs– Optionally, a Partitioner for key-value RDDs • shuffle的时候– Optionally, a list of preferred locations to co

2020-07-02 20:47:53

JVM参数列表

本文将对JVM常见调优作总结,包括JVM的参数

2020-06-27 15:49:53

并发截图版2

先找L1缓存,再找L2缓存,再找L3缓存。缓存是按块来读的。缓存块的大小叫做缓存行,固定大小64字节。缓存一致性:缓存行在其他核更新时,本缓存如何更新?缓存行的4中状态。英特尔CPU使用MESI缓存一致性协议。花3s时间。对比:只花了1.2s。说明:两个值非常近时,多线程访问速度可能低。加入填充后,x不可能与其他变量在同一个缓存行。因此改变时不需要通知其他缓存行。有的源码如下:添加了无效字段的填充。volatile:1.线程可见性2.禁止重排序。cp..

2020-06-26 21:41:07

并发截图版

1.进程:操作系统分配资源(空间、文件、接口等)的基本单位线程:CPU执行的基本单位。2.1个cpu在一个时间点只执行一个线程。能执行多个线程是因为线程切换(上下文切换)3.ALU:计算使用Registers:存储PC:记录位置线程切换时要【保护现场】,下次切回来再使用。切换线程也有线程开销的,线程个数经验:cpu 密集型n+1 非cpu密集型 2n+1重量级:操作系统来管理的;轻量级:不需要操作系统来管理的,都是轻量级。调用了汇编指令的cmpx..

2020-06-25 21:58:36

离线架构HADOOP/HIVE/SPARK服务端环境

hadoop离线服务端

2020-06-21 16:25:41

top/ps查看高内存进程/查看机器核数

说明本文主题:1.使用ps命令查看使用内存或CPU最多的10个进程2.top 或 ps 相关命令常见使用:toptop -c: 显示全命令top 交互 M :以内存排序top 交互 P :以CPU排序top 交互 H :线程也显示出来psps -aux | head -1; ps -aux | sort -k4rn | headps -aux 和 ps -ef 都显示进程信息不过aux能显示内存和cpu上述top和ps都能查看进程使用情况。下文是详细解释。headhe

2020-06-20 17:29:09

EC写文件hang住分析

第一次申请块: java.lang.Thread.State: WAITING (on object monitor) at java.lang.Object.wait(Native Method) - waiting on <0x00000000e6183fc8> (a org.apache.hadoop.ipc.Client$Call) at java.lang.Object.wait(Object.java:502) a

2020-06-04 17:06:55

iftop

iftop链接:每天学习一个命令:iftop 流量监控

2020-06-02 22:09:58

nethogs查看每个进程流量

sudo nethogs找到每个进程消耗流量的pid通过ps -ef | grep pid 来查看对应的任务。

2020-06-02 21:53:57

rpm

使用yum安装sudo yum clean allsudo yum update -y --enablerepo=xx_hadoop xx-hadoop-xx使用rpm包安装sudo rpm -ivh http://xxx.rpmfile /usr/local/x-2.7.2/share/xxxhadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/classes/httpfs.properties from install of xxx-2.7.2-xx

2020-06-02 17:01:44

proto类型与java类型的转化

proto协议ECpublic final class ECSchema implements Serializable { private static final long serialVersionUID = 0x10953aa0; public static final String NUM_DATA_UNITS_KEY = "numDataUnits"; public static final String NUM_PARITY_UNITS_KEY = "numParityUn

2020-06-01 11:31:13

netstat -anp查看端口

常见参数-a (all)显示所有选项,默认不显示LISTEN相关-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名,能显示数字的全部转化成数字。-l 仅列出有在 Listen (监听) 的服務状态-p 显示建立相关链接的程序名-r 显示路由信息,路由表-e 显示扩展信息,例如uid等-s 按各个协议进行统计-c 每隔一个固定时间,执行该netstat命令。提示:LISTEN和LISTENING的状态只有用-a或者-l才能看到因此,简单来使用最常

2020-05-31 19:44:38

HDFS await()和interrupt()引起的死循环问题分析

1.背景hdfs短路读利用UNIX域套接字,可以让客户端和DataNode通信(客户端与dn是同一台机器)。需要在datanode和客户端的配置中都配置一个套接字路径,并且开启短路读特性。官方链接hdfs在短路读时, 2.7版本的代码中DomainSocketWatcher(linux机器进程的socket通信的监听)类中有个bug需要修复。分析如下://DomainSocketWatcher#add相关代码public void add(DomainSocket sock, Handler han

2020-05-28 16:01:01

hdfs quota物理空间转逻辑空间

1.现有quota的设置与使用 1.setQuota客户端到NN的主要流程 2.count -q / -u 查看quota 2.quota在hadoop中的限制作用 2.SpaceQuota改逻辑空间 1.改动 2.测试 put mv setrep du rm 重启后查看 cp 子目录测试 EC测试 进一步测试 4.可能的问题1.现有quota的设置与使用1.setQuota客户端到NN的主要流程s...

2020-05-22 17:09:41

HDFS块恢复流程初级版

1.先看几个线程栈1.没有修改代码时走localRack -> nextRack -> Random时的流程"RedundancyMonitor" #48 daemon prio=5 os_prio=0 tid=0x00007f925ec14800 nid=0x10544 runnable [0x00007f5a2491d000] java.lang.Thread.State...

2020-04-26 10:32:16

springBoot(1)截图版

demo:1.从springmvc引入:

2020-04-22 20:48:28

ProcessBuilder开启shell进程中乱码问题

shell子进程中默认继承当前环境的环境变量。当不需要父进程的环境变量时,使用一下代码:public static List<String> exe(String cmds, boolean fromParentEnv) throws IOException, InterruptedException { List<String> res = Lists...

2020-04-07 09:32:09

DataNode生命线消息

转载链接:DataNode生命线消息

2020-04-05 16:09:23

dn心跳-临时

https://blog.csdn.net/Androidlushangderen/article/details/47945597心跳逻辑BPServiceActor时间太长如:2020-03-26 18:07:55,372 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Took 5675ms to process 1 com...

2020-03-30 22:31:33

shell中的并发实现

参考:1. shell队列实现线程并发控制2. shell队列实现线程并发控制(转)测试

2020-03-15 22:36:40

查看更多

勋章 我的勋章
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。