- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mapreduce实现排序
近几次的分享都是关于mapreduce的，下面就排序进行讲解package DemoSort;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import or
2020-09-19 19:29:48
809
原创 使用MapReduce在集群上进行分区操作
在mapreduce道路上的同志，或许以下代码能带来启发1、需要将数据上传到hdfs（集群上面）2、将idea中的代码打包上传到集群3、在集群上执行hadoop jar 名字.jar DemoParter.PartitionMapper /in /out代码如下：package DemoParter;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;impor
2020-09-17 19:39:26
224
原创 MapReduce编程实现WordCount
在学习MapReduce的路上的伙伴，wordCount是入门了解map和reduce的工作原理。接下来总结一下MapReduce的实验基本过程map过程：1、map读取输入文件内容，按行解析成key1、value1键值对，key为每行首字母在文件中的偏移量，value为行的内容，每个键值对调用一次map函数；2、map根据自己逻辑，对输入的key1、value1处理，转换成新的key2、value2输出；3、对输出的key2、value2进行分区；4、对不同分区的数据，按照key2进行排序、
2020-09-15 20:06:17
1182
原创 面试运维工程师的面试题（亲身经历）
这是我前几天面试时面试官问的问题 后来查找的答案，若有错误希望提出，也希望帮知道要面试的你。1、shell脚本如何定义变量name=‘dsd’echo =$name2、对export的用法的理解（1） export 用于声明一个环境变量： export variable=value（2） 该环境变量只在本进程和其子进程中可以访问。（3） 如果是在系统级的配置文件中，如 /etc/profile中 export 一个变量，那么这个变量就会在整个系统运行期间都起作用。即使新开shell会话连接
2020-09-13 22:06:23
5404
1
原创 重定向输出流实现程序日志
1、String的成员方法out是被final修饰的变量，所以是不能修改的，但是可以利用setout()方法来设置新的输出流2、下面实例将将输出到日志文件3、PrintStream ps =new PrintStream("./log.txt") PrintStream可以创建文件的输出流package com.qst.T004;import java.io.FileNotFoundException;import java.io.PrintStream;public class Redi
2020-09-13 20:04:10
107
原创 了解hashCode的作用、switch case的基本语法
1、hashCode用于输出一段字符串的哈希码2、hashCode在使用过程中可以用来判断连个对象是否相等，但值得注意的是当两个hashCode的哈希码相等时表示有可能是指同一个对象，但hashCode的值不相等时一定指的是不同的对象。package com.qst.T003;import java.util.Scanner;public class Exanple { public static void main(String[] args) {// Scanner scan=new
2020-09-13 18:46:00
425
原创 输入一个年份判断是否是闰年
package com.qst.T001;import java.util.Scanner;public class LeapYear {public static void main(String[] args) {//考察的Java基础主要考察公式的编写 Scanner scan =new Scanner(System.in);System.out.println(“请输入一个年份”);//输入一个值要使用Scannerlong year = scan.nextLong();//判断
2020-09-13 11:06:42
1703
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
2020-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人