4 ccflyfly

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 27w+

MapReduce中mapTask和reduceTask任务数

MapReduce分为map阶段和reduce阶段,两个阶段都是多个任务并行处理map阶段:MapTask个数为number of splits(输入文件的切分数)reduce阶段:ReduceTask个数为number ofpartition (分区数,有几个分区就会最终输出几个文件)...

2020-07-04 19:18:00

Hadoop之HDFS小文件存档

HDFS是按块存储,每个块的元数据存储在namenode内存中,因此大量的小文件会耗尽namenode内存。HDFS通过文件存档来解决这个问题归档是需要启动YARN归档文件把/user/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/output路径下。hadoop archive -archiveName input.har –p /user/input /user/output查看归档hadoop fs -lsr...

2020-07-02 10:42:09

Hadoop之HDFS上传下载

上传至HDFS简化流程:数据是存储在datanode上,因此客户端上传时需要知道往哪个datanode传输数据,而namenode的作用就是根据一定策略向客户端分配datanode。上传时,客户端向datanode请求上传,然后namenode会将datanode的地址发送给客户端,客户端根据地址来上传副本。从HDFS下载简化流程:下载时,客户端向datanode请求下载,然后nameNode通过查询元数据,找到文件块所在的DataNode地址,发送给客户端,客户端会挑选一台DataN.

2020-07-01 18:18:24

Hadoop之HDFS Shell命令

(1)-help:输出这个命令参数 hadoop fs -help rm(2)-ls: 显示目录信息 hadoop fs -ls /(3)-mkdir:在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo(4)-moveFromLocal:从本地剪切粘贴到HDFS touch kongming.txt hadoop fs -moveFromLocal ...

2020-06-30 20:13:32

yarn 8088 页面无法打开:拒绝连接请求

防火墙已关闭yarn-site.xml配置:<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.hostname</name...

2020-06-28 20:59:02

Linux常用指令之进程管理

每个进程都可能以两种前台与后台方式存在的一般系统的服务都是以后台进程的方式存在,而且都会常驻在系统中。直到关机才才结束显示系统执行的进程ps -aux // 显示所有的进程ps -aux | grep sshd //查看sshd进程终止进程kill [选项] 进程号 (通过进程号杀死进程 -9 强制终止)killall 进程名称 (通过进程名称杀死进程,也支持通配符,这在系统因负载过大而变得很慢时很有用)服务(service)管理ser...

2020-06-26 20:11:56

Linux常用指令之磁盘管理

查看设备(光驱 /media,u盘, 硬盘)挂载情况lsblk 或者 lsblk -f查询系统整体磁盘使用情况df -h查询指定目录的磁盘占用情况du -h /目录 ( 查询指定目录的磁盘占用情况,默认为当前目录) -s 指定目录占用大小汇总 -h 带计量单位 -a 含文件 --max-depth=1 子目录深度 -c 列出明细的同时,增加汇总值实例:查询 /usr目录的磁盘占用情况,深度为1du -ach...

2020-06-26 20:03:28

Linux常用指令之定时任务调度

crond 任务调度crontab [选项]输入调度文件说明如:*/1 * * * * ls –l /etc/ > /tmp/to.txt 意思说每小时的每分钟执行 ls –l /etc/ > /tmp/to.txt命令实例

2020-06-24 21:02:36

Linux常用指令之组管理和权限管理

Linux中的每个用户必须属于一个组。Linux每个文件都有所有者、所在组、其它组的概念。查看文件的所有者指令:ls –ahl修改文件所有者指令:chown 用户名 文件名修改文件所在的组指令:chgrp 组名 文件名修改用户所在组指令:usermod –g 组名 用户名权限介绍修改权限...

2020-06-24 20:56:55

Linux常用指令之压缩和解压

gzip/gunzip 指令gzip 文件 (压缩文件,只能将文件压缩为*.gz文件)gunzip 文件.gz (解压缩文件命令)zip/unzip 指令zip[选项] XXX.zip 需要压缩的内容 (压缩文件和目录的命令)常用选项 -r:递归压缩,即压缩目录 zip -r mypackage.zip /home/unzip [选项] XXX.zip (解压缩文件)常用选...

2020-06-24 20:44:55

Linux常用指令之搜索查找

find (从指定目录向下递归地遍历其各个子目录,将满足条件的文件或者目录显示在终端)find [搜索范围] [选项] 搜索内容locate (无需遍历整个文件系统,查询速度较快。为了保证查询结果的准确度,管理员必须定期更新locate时刻)使用updatedb指令创建locate数据库grep (过滤查找,查找文件中内容)grep [选项] 查找内容 源文件管道符“|”,表示将前一个命令的处理结果输出传递给后面的命令处理与grep搭配使用,...

2020-06-19 19:38:57

Linux常用指令之时间日期

​​​​​​date (显示当前日期)date (功能描述:显示当前时间)date +%Y (功能描述:显示当前年份)date +%m (功能描述:显示当前月份)date +%d (功能描述:显示当前是哪一天)date "+%Y-%m-%d %H:%M:%S"(功能描述:显示年月日时分秒)cal (查看日历)...

2020-06-19 19:32:19

Linux常用指令之文件目录

如果命令参数太多不好记忆,可使用man查询,如manlspwd (显示当前工作目录的绝对路径)ls [选项] [目录或是文件] (列出目录内容) 选项 功能 -a 全部的文件,连同隐藏档( 开头为 . 的文件) 一起列出来(常用) -l 长数据串列出,包含文件的属性与权限等等数据;(常用) ...

2020-06-18 18:28:07

Linux用户和用户组管理

每个用户都有一个用户组,系统可以对一个用户组中的所有用户进行集中管理。查看所有用户:vim /etc/passwd查看所有用户组:vim /etc/group用户管理命令useradd 用户名 (添加新用户)useradd -g 组名 用户名 (添加新用户到某个组)注:添加用户后,会在/home下生成一个同名目录passwd 用户名 (设置用户密码)id 用户名 (查看用户是否存在)su用...

2020-06-18 16:02:34

Linux目录结构

树状目录结构,最上层是根目录“/”在Linux世界里,一切皆文件。具体目录结构:

2020-06-16 13:02:13

skiing

skiing时间限制:3000 ms  |  内存限制:65535 KB难度:5描述Michael喜欢滑雪百这并不奇怪, 因为滑雪的确很刺激。可是为了获得速度,滑的区域必须向下倾斜,而且当你滑到坡底,你不得不再次走上坡或者等待升降机来载你。Michael想知道载一个区域中最长底滑坡。区域由一个二维数组给出。数组的每个数字代表点的高度。下面是一个例子 1 2 3

2017-05-25 22:01:55

迷宫寻宝(一)

迷宫寻宝(一)时间限制:1000 ms  |  内存限制:65535 KB难度:4描述一个叫ACM的寻宝者找到了一个藏宝图,它根据藏宝图找到了一个迷宫,这是一个很特别的迷宫,迷宫里有N个编过号的门(N 输入输入可能会有多组测试数据(不超过10组)。每组测试数据的第一行包含了两个整数M,N(1.表示可以走的路S:表示ACM的出发

2017-05-25 17:09:29

最少步数

最少步数时间限制:3000 ms  |  内存限制:65535 KB难度:4描述这有一个迷宫,有0~8行和0~8列: 1,1,1,1,1,1,1,1,1 1,0,0,1,0,0,1,0,1 1,0,0,1,1,0,0,0,1 1,0,1,0,1,1,0,1,1 1,0,0,0,0,1,0,0,1 1,1,0,1,0,1,0,0,1

2017-05-25 17:06:22

一笔画问题

一笔画问题时间限制:3000 ms  |  内存限制:65535 KB难度:4描述zyc从小就比较喜欢玩一些小游戏,其中就包括画一笔画,他想请你帮他写一个程序,判断一个图是否能够用一笔画下来。规定,所有的边都只能画一次,不能重复画。 输入第一行只有一个正整数N(N每组测试数据的第一行有两个正整数P,Q(P随后的Q行,每行有

2017-05-25 17:03:25

组合数

组合数时间限制:3000 ms  |  内存限制:65535 KB难度:3描述找出从自然数1、2、... 、n(0输入输入n、r。输出按特定顺序输出所有组合。特定顺序:每一个组合中的值从大到小排列,组合之间按逆字典序排列。样例输入5 3样例输出543542541532531521432431421321

2017-05-25 16:32:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。