- 博客(29)
- 收藏
- 关注
RSS订阅原创 MapReduce中mapTask和reduceTask任务数
MapReduce分为map阶段和reduce阶段，两个阶段都是多个任务并行处理map阶段：MapTask个数为number of splits（输入文件的切分数）reduce阶段：ReduceTask个数为number ofpartition （分区数，有几个分区就会最终输出几个文件）...
2020-07-04 19:18:00
951
原创 Hadoop之HDFS小文件存档
HDFS是按块存储，每个块的元数据存储在namenode内存中，因此大量的小文件会耗尽namenode内存。HDFS通过文件存档来解决这个问题归档是需要启动YARN归档文件把/user/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/output路径下。hadoop archive -archiveName input.har –p /user/input /user/output查看归档hadoop fs -lsr...
2020-07-02 10:42:09
168
原创 Hadoop之HDFS上传下载
上传至HDFS简化流程：数据是存储在datanode上，因此客户端上传时需要知道往哪个datanode传输数据，而namenode的作用就是根据一定策略向客户端分配datanode。上传时，客户端向datanode请求上传，然后namenode会将datanode的地址发送给客户端，客户端根据地址来上传副本。从HDFS下载简化流程：下载时，客户端向datanode请求下载，然后nameNode通过查询元数据，找到文件块所在的DataNode地址，发送给客户端，客户端会挑选一台DataN.
2020-07-01 18:18:24
175
1
原创 Hadoop之HDFS Shell命令
（1）-help：输出这个命令参数 hadoop fs -help rm（2）-ls: 显示目录信息 hadoop fs -ls /（3）-mkdir：在HDFS上创建目录 hadoop fs -mkdir -p /sanguo/shuguo（4）-moveFromLocal：从本地剪切粘贴到HDFS touch kongming.txt hadoop fs -moveFromLocal ...
2020-06-30 20:13:32
162
原创 yarn 8088 页面无法打开：拒绝连接请求
防火墙已关闭yarn-site.xml配置：<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.hostname</name...
2020-06-28 20:59:02
1397
原创 Linux常用指令之进程管理
每个进程都可能以两种前台与后台方式存在的一般系统的服务都是以后台进程的方式存在，而且都会常驻在系统中。直到关机才才结束显示系统执行的进程ps -aux // 显示所有的进程ps -aux | grep sshd //查看sshd进程终止进程kill [选项] 进程号 （通过进程号杀死进程 -9 强制终止）killall 进程名称 （通过进程名称杀死进程，也支持通配符，这在系统因负载过大而变得很慢时很有用）服务(service)管理ser...
2020-06-26 20:11:56
126
原创 Linux常用指令之磁盘管理
查看设备(光驱 /media，u盘， 硬盘)挂载情况lsblk 或者 lsblk -f查询系统整体磁盘使用情况df -h查询指定目录的磁盘占用情况du -h /目录 （ 查询指定目录的磁盘占用情况，默认为当前目录） -s 指定目录占用大小汇总 -h 带计量单位 -a 含文件 --max-depth=1 子目录深度 -c 列出明细的同时，增加汇总值实例：查询 /usr目录的磁盘占用情况，深度为1du -ach...
2020-06-26 20:03:28
133
原创 Linux常用指令之定时任务调度
crond 任务调度crontab [选项]输入调度文件说明如：*/1 * * * * ls –l /etc/ > /tmp/to.txt 意思说每小时的每分钟执行 ls –l /etc/ > /tmp/to.txt命令实例
2020-06-24 21:02:36
408
原创 Linux常用指令之组管理和权限管理
Linux中的每个用户必须属于一个组。Linux每个文件都有所有者、所在组、其它组的概念。查看文件的所有者指令：ls –ahl修改文件所有者指令：chown 用户名 文件名修改文件所在的组指令：chgrp 组名 文件名修改用户所在组指令：usermod –g 组名 用户名权限介绍修改权限...
2020-06-24 20:56:55
132
原创 Linux常用指令之压缩和解压
gzip/gunzip 指令gzip 文件 （压缩文件，只能将文件压缩为*.gz文件）gunzip 文件.gz （解压缩文件命令）zip/unzip 指令zip[选项] XXX.zip 需要压缩的内容 （压缩文件和目录的命令）常用选项 -r：递归压缩，即压缩目录 zip -r mypackage.zip /home/unzip [选项] XXX.zip （解压缩文件）常用选...
2020-06-24 20:44:55
115
原创 Linux常用指令之搜索查找
find （从指定目录向下递归地遍历其各个子目录，将满足条件的文件或者目录显示在终端）find [搜索范围] [选项] 搜索内容locate （无需遍历整个文件系统，查询速度较快。为了保证查询结果的准确度，管理员必须定期更新locate时刻）使用updatedb指令创建locate数据库grep （过滤查找，查找文件中内容）grep [选项] 查找内容 源文件管道符“|”，表示将前一个命令的处理结果输出传递给后面的命令处理与grep搭配使用，...
2020-06-19 19:38:57
129
原创 Linux常用指令之时间日期
date （显示当前日期）date （功能描述：显示当前时间）date +%Y （功能描述：显示当前年份）date +%m （功能描述：显示当前月份）date +%d （功能描述：显示当前是哪一天）date "+%Y-%m-%d %H:%M:%S"（功能描述：显示年月日时分秒）cal （查看日历）...
2020-06-19 19:32:19
192
原创 Linux常用指令之文件目录
如果命令参数太多不好记忆，可使用man查询，如manlspwd (显示当前工作目录的绝对路径）ls [选项] [目录或是文件] (列出目录内容) 选项 功能 -a 全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用) -l 长数据串列出，包含文件的属性与权限等等数据；(常用) ...
2020-06-18 18:28:07
134
原创 Linux用户和用户组管理
每个用户都有一个用户组，系统可以对一个用户组中的所有用户进行集中管理。查看所有用户：vim /etc/passwd查看所有用户组：vim /etc/group用户管理命令useradd 用户名 （添加新用户）useradd -g 组名 用户名 （添加新用户到某个组）注：添加用户后，会在/home下生成一个同名目录passwd 用户名 （设置用户密码）id 用户名 （查看用户是否存在）su用...
2020-06-18 16:02:34
123
1
原创 skiing
skiing时间限制：3000 ms | 内存限制：65535 KB难度：5描述Michael喜欢滑雪百这并不奇怪， 因为滑雪的确很刺激。可是为了获得速度，滑的区域必须向下倾斜，而且当你滑到坡底，你不得不再次走上坡或者等待升降机来载你。Michael想知道载一个区域中最长底滑坡。区域由一个二维数组给出。数组的每个数字代表点的高度。下面是一个例子 1 2 3
2017-05-25 22:01:55
304
原创 迷宫寻宝（一）
迷宫寻宝（一）时间限制：1000 ms | 内存限制：65535 KB难度：4描述一个叫ACM的寻宝者找到了一个藏宝图，它根据藏宝图找到了一个迷宫，这是一个很特别的迷宫，迷宫里有N个编过号的门（N 输入输入可能会有多组测试数据（不超过10组）。每组测试数据的第一行包含了两个整数M,N(1.表示可以走的路S:表示ACM的出发
2017-05-25 17:09:29
410
原创 最少步数
最少步数时间限制：3000 ms | 内存限制：65535 KB难度：4描述这有一个迷宫，有0~8行和0~8列： 1,1,1,1,1,1,1,1,1 1,0,0,1,0,0,1,0,1 1,0,0,1,1,0,0,0,1 1,0,1,0,1,1,0,1,1 1,0,0,0,0,1,0,0,1 1,1,0,1,0,1,0,0,1
2017-05-25 17:06:22
291
原创 一笔画问题
一笔画问题时间限制：3000 ms | 内存限制：65535 KB难度：4描述zyc从小就比较喜欢玩一些小游戏，其中就包括画一笔画，他想请你帮他写一个程序，判断一个图是否能够用一笔画下来。规定，所有的边都只能画一次，不能重复画。 输入第一行只有一个正整数N(N每组测试数据的第一行有两个正整数P,Q(P随后的Q行，每行有
2017-05-25 17:03:25
436
原创 组合数
组合数时间限制：3000 ms | 内存限制：65535 KB难度：3描述找出从自然数1、2、... 、n（0输入输入n、r。输出按特定顺序输出所有组合。特定顺序：每一个组合中的值从大到小排列，组合之间按逆字典序排列。样例输入5 3样例输出543542541532531521432431421321
2017-05-25 16:32:21
294
原创 三个水杯
三个水杯时间限制：1000 ms | 内存限制：65535 KB难度：4描述给出三个水杯，大小不一，并且只有最大的水杯的水是装满的，其余两个为空杯子。三个水杯之间相互倒水，并且水杯没有标识，只能根据给出的水杯体积来计算。现在要求你写出一个程序，使其输出使初始状态到达目标状态的最少次数。输入第一行一个整数N(0接下来每组测试数据有两行，第一行给出三
2017-05-25 15:05:54
287
原创 吝啬的国度
吝啬的国度时间限制：1000 ms | 内存限制：65535 KB难度：3描述在一个吝啬的国度里有N个城市，这N个城市间只有N-1条路把这个N个城市连接起来。现在，Tom在第S号城市，他有张该国地图，他想知道如果自己要去参观第T号城市，必须经过的前一个城市是几号城市（假设你不走重复的路）。输入第一行输入一个整数M表示测试数据共有M(1每组测试数据
2017-05-25 14:44:43
202
原创 背包问题
背包问题时间限制：3000 ms | 内存限制：65535 KB难度：3描述现在有很多物品（它们是可以分割的），我们知道它们每个物品的单位重量的价值v和重量w（1输入第一行输入一个正整数n（1随后有n测试数据，每组测试数据的第一行有两个正整数s，m（1输出输出每组测试数据中背包内的物品的价值和，每次输出占一行。样例输入13 155 102 8
2017-05-24 22:53:09
254
原创 阶乘之和
阶乘之和时间限制：3000 ms | 内存限制：65535 KB难度：3描述给你一个非负数整数n，判断n是不是一些数（这些数不允许重复使用，且为正数）的阶乘之和，如9=1！+2!+3!，如果是，则输出Yes，否则输出No；输入第一行有一个整数0每组测试数据有一个正整数n输出如果符合条件，输出Yes，否则输出No;样例输入2910样例输出Y
2017-05-24 22:41:52
230
原创 独木舟上的旅行
独木舟上的旅行时间限制：3000 ms | 内存限制：65535 KB难度：2描述进行一次独木舟的旅行活动，独木舟可以在港口租到，并且之间没有区别。一条独木舟最多只能乘坐两个人，且乘客的总重量不能超过独木舟的最大承载量。我们要尽量减少这次活动中的花销，所以要找出可以安置所有旅客的最少的独木舟条数。现在请写一个程序，读入独木舟的最大承载量、旅客数目和每位旅客的重量。根据给出的规则，计
2017-05-24 22:31:08
206
原创 过河问题
过河问题时间限制：1000 ms | 内存限制：65535 KB难度：5描述在漆黑的夜里，N位旅行者来到了一座狭窄而且没有护栏的桥边。如果不借助手电筒的话，大家是无论如何也不敢过桥去的。不幸的是，N个人一共只带了一只手电筒，而桥窄得只够让两个人同时过。如果各自单独过桥的话，N人所需要的时间已知；而如果两人同时过桥，所需要的时间就是走得比较慢的那个人单独行动时
2017-05-24 21:57:28
523
原创 会场安排问题
会场安排问题时间限制：3000 ms | 内存限制：65535 KB难度：4描述学校的小礼堂每天都会有许多活动，有时间这些活动的计划时间会发生冲突，需要选择出一些活动进行举办。小刘的工作就是安排学校小礼堂的活动，每个时间最多安排一个活动。现在小刘有一些活动计划的时间表，他想尽可能的安排更多的活动，请问他该如何安排。输入第一行是一个整型数m(m
2017-05-24 21:46:57
157
原创 喷水装置（一）
喷水装置（一）时间限制：3000 ms | 内存限制：65535 KB难度：3描述现有一块草坪，长为20米，宽为2米，要在横中心线上放置半径为Ri的喷水装置，每个喷水装置的效果都会让以它为中心的半径为实数Ri(0<Ri<15)的圆被湿润，这有充足的喷水装置i（1<i<600)个，并且一定能把草坪全部湿润，你要做的是：选择尽量少的喷水装置，把整个草坪的全部湿润。
2017-05-24 21:24:32
321
转载 java中静态初始化块、初始化块和构造方法的理解
在Java中,有两种初始化块:静态初始化块和非静态初始化块。它们都是定义在类中，用大括号{}括起来，静态代码块在大括号外还要加上static关键字。非静态初始化块（构造代码块）：作用：给对象进行初始化。对象一建立就运行，且优先于构造函数的运行。与构造函数的区别：非静态初始化块给所有对象进行统一初始化，构造函数只给对应对象初始化。应用：将所有构造函数共性的东西定义在构造代码块中。
2016-04-12 15:10:30
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人