- 博客(17)
- 收藏
- 关注
RSS订阅转载 IDEA无法创建java class文件，提示Unable to parse template "Class"
在class右边框里添加下面的代码，就好了，原因是没有模版了，不能自动生成#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != "")package ${PACKAGE_NAME};#end#parse("File Header.java")public class ${NAME} {}转载网址：https://blog.csdn.net/xia...
2018-04-16 21:05:26
11224
1
转载 MapReduce中的分区Partitioner，如何将拥有同一属性的数据放入同一个分区
MapReduce中的分区Partitioner，如何将拥有同一属性的数据放入同一个分区
2017-06-22 10:17:33
862
转载 MapReduce 2 的工作机制
原地址：MapReduce 工作机制运行流程当你在MapReduce程序中调用了Job实例的Submit()或者waitForCompletion()方法，该程序将会被提交到Yarn中运行 其中的过程大部分被Hadoop隐藏起来了，对开发者来说是透明的 程序运行的过程涉及到个概念：1.Client：提交程序的客户端 2.ResourceManager：集群中
2017-05-18 15:42:00
656
转载 HDFS读书笔记-了解NameNode
hadoop hdfs namenode 所包含的信息，filename->block，block->ddatanode list的对应关系
2017-04-06 20:51:50
566
原创 java interrupt()方法
Thread.interrupt()并不会中断一个正在运行的线程。但是，如果线程被阻塞，就会抛出一个中断信号，这样线程就得以退出阻塞的状态，使阻塞状态的线程逃离阻塞状态
2016-11-21 16:48:37
993
1
原创 shell脚本报错：-bash: xxx: /bin/sh^M: bad interpreter: No such file or directory
主要原因是test.sh是我在windows下编辑然后上传到linux系统里执行的。.sh文件的格式为dos格式。而linux只能执行格式为unix格式的脚本。我们可以通过vi编辑器来查看文件的format格式。步骤如下：vi test.sh使用：set ff可以查看是文件是dos格式使用命令:set ff
2016-08-10 17:48:28
406
1
原创 yarn模式运行spark
yarn上启动spark有二种模式：yarn-client模式 和 yarn-cluster模式yarn-cluster模式：框架在集群中启动Driver程序yarn-client模式:框架在client中启动Driver程序master 参数可以简单配置成yarn-client 或者 yarn-cluster./bin/spark-submit --class 类名 --mast
2016-07-05 15:09:33
340
原创 在mvn项目里添加spark_sql依赖
需要在pom.xml文件里添加如下代码 org.apache.spark spark-sql_2.10 1.5.0
2016-07-05 15:08:28
1933
原创 maven项目打包依赖的jar包
需要在pom.xml文件里添加代码 org.apache.maven.plugins maven-compiler-plugin 2.3.2 1.6
2016-07-05 15:06:18
439
原创 hadoop 里常用命令
netstat -tunlp |grep 端口号 查看端口号是否被占用hadoop dfsadmin -report 看datanodesps aux|grep hadoop|grep NodeManager 查看NodeManager进程bin/yarn node -list 查看yarn节点hadoop fs -mkdir /filename 在
2016-07-05 15:05:01
461
原创 linux下常用命令
常用的命令：vi filename 编辑文件shift+g 文件的最尾L 光标直接跳转到最后一行Ctrl+f 向文件尾翻一屏 Ctrl＋b 向文件首翻一屏 :$s/p1/p2/g：将文件中所有p1均用p2替代 :n1,n2s/p1/p2/g：将第n1至n2行中所有p1均用p2替代 :set nu 显示行号:q
2016-07-05 15:04:28
280
转载 MapReduce运行机制
1.客户端要编写好mapreduce程序，配置好mapreduce的作业2.提交job即提交给JobTracker上3.JobTracker构建job,具体就是分配一个新的job任务的ID值4.检查输出目录是否已经存在，如果已经存在则抛出错误，如果不存在，执行第5步5.检查输入目录 是否存在，如果不存在，则抛出错误，如果存在，执行第6步6.JobTracker会根据输入计算
2016-06-22 18:17:27
555
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人