2 大数据AIRDE

尚未进行身份认证

我要认证

如果博客有任何形式的侵权行为,请立刻私信我删除。 努力学习!加油!奥里给,干了兄弟们!

等级
TA的排名 1w+

Oozie学习笔记01

文章目录Oozie官方手册Oozie目录结构Oozie是hadoop的工作流引擎Oozie的QuickStart快速上手教程Oozie的开发者文档Action的扩展Job状态和SLA监控Oozie管理员手册Oozie其它东西Oozie官方手册Oozie4.1.0是我目前在学习的版本,下面的内容是对官方文档的目录做一个整体的认识,方便理清思路,再学习单独的模块http://oozie.apache.org/docs/4.1.0/index.htmlOozie目录结构Oozie是hadoop的工作流

2020-10-21 08:32:29

Oozie 任务调度,定时任务执行,常用命令

使用oozie调度shell脚本oozie安装好了之后,需要测试oozie的功能是否完整好使,官方已经给我们带了各种测试案例,我们可以通过官方提供的各种案例来对oozie进行调度第一步:解压官方提供的调度案例oozie自带了各种案例,我们可以使用oozie自带的各种案例来作为模板,所以我们这里先把官方提供的各种案例给解压出来cd /export/servers/oozie-4.1.0-cdh5.14.0tar -zxf oozie-examples.tar.gz第二步:创建工作目录在.

2020-10-21 08:07:55

Oozie 任务串联

文章目录第一步:准备工作目录第二步:准备调度文件第三步:开发调度的配置文件第四步:上传资源文件夹到hdfs对应路径第五步:执行调度任务在实际工作当中,肯定会存在多个任务需要执行,并且存在上一个任务的输出结果作为下一个任务的输入数据这样的情况,所以我们需要在workflow.xml配置文件当中配置多个action,实现多个任务之间的相互依赖关系需求:首先执行一个shell脚本,执行完了之后再执行一个MR的程序,最后再执行一个hive的程序第一步:准备工作目录cd /export/servers/ooz

2020-10-21 08:03:57

Oozie使用03 使用oozie调度MR任务

文章目录第一步:准备MR执行的数据第二步:执行官方测试案例第三步:准备调度的资源第四步:拷贝的jar包到对应目录第五步:修改配置文件第六步:上传调度任务到hdfs对应目录第七步:执行调度任务第一步:准备MR执行的数据我们这里通过oozie调度一个MR的程序的执行,MR的程序可以是自己写的,也可以是hadoop工程自带的,我们这里就选用hadoop工程自带的MR程序来运行wordcount的示例准备以下数据上传到HDFS的/oozie/input路径hdfs dfs -mkdir -p /oozie/

2020-10-20 20:49:31

Oozie使用02 使用oozie调度hive

文章目录第一步:拷贝hive的案例模板第二步:编辑hive模板第三步:上传工作文件到hdfs第四步:执行oozie的调度第五步:查看调度结果第一步:拷贝hive的案例模板cd /export/servers/oozie-4.1.0-cdh5.14.0cp -ra examples/apps/hive2/ oozie_works/第二步:编辑hive模板这里使用的是hiveserver2来进行提交任务,需要注意我们要将hiveserver2的服务给启动起来hive --service hives

2020-10-20 20:18:46

Oozie使用01 使用oozie调度shell脚本

文章目录使用oozie调度shell脚本第一步:解压官方提供的调度案例第二步:创建工作目录第三步:拷贝任务模板到工作目录当中去第四步:随意准备一个shell脚本第五步:修改模板下的配置文件第六步:上传调度任务到hdfs上面去第七步:执行调度任务使用oozie调度shell脚本oozie安装好了之后,需要测试oozie的功能是否完整好使,官方已经给我们带了各种测试案例,我们可以通过官方提供的各种案例来对oozie进行调度第一步:解压官方提供的调度案例oozie自带了各种案例,我们可以使用oozie自带

2020-10-20 17:29:50

Win10自动脚本:Maven下载失败后,清理下载失败的.lastUpdate文件

set REPOSITORY_PATH=D:\dev\apache-maven-3.3.9\repositoryrem 正在搜索...for /f "delims=" %%i in ('dir /b /s "%REPOSITORY_PATH%\*lastUpdated*"') do ( del /s /q %%i)rem 搜索完毕pause上面的D:\dev\apache-maven-3.3.9\repository改为你自己的maven路径,以上内容保存为.bat结尾的文件,双击运行

2020-10-17 17:14:06

《Scala 技术栈》 (又名《学习scala需要了解的知识点》《scala的相关信息》《scala学习计划》)

如何学习scala?这是我总结的一些经验,在此记录以便复习。1,Scala官网(1)官网https://www.scala-lang.org/从官网上几乎可以了解到关于scala的大部分信息2,SBT(simple build tool)https://www.scala-sbt.org/index.html大部分人构建scala项目使用的工具SBT的操作手册,学习SBT就靠它https://www.scala-sbt.org/1.x/docs/index.htmlSBT的API文档h

2020-10-07 20:55:23

POM文件报错的通用解决办法

1,版本报红这种情况是groupId可以找到,但是版本报红那可能是网络的问题,换个源,开个加速器实在不行把maven里关于这个groupID的所有jar包全删了重新下载2,整个报红这种情况就很难受,这个bug还没解决,但是解决的思路已经有了就是直接打开官网把它下载了,然后安装到仓库里也有可能根本不存在这个文件等我找到解决办法再补充把!...

2020-09-20 10:06:05

MAVEN安装

MAVEN安装笔记总结超详细!

2020-09-20 09:30:11

AWS SDK for JAVA 基础部署方法(v2)

AWS SDK For JAVA v2AWS SDK就是让您用代码开发AWS组件的一些包,当然这是对于java来说。这篇博客适用于V2版本,也就是新一代的SDK版本。Github地址https://github.com/aws/aws-sdk-java-v2第一次使用AWS SDK使用MAVEN构建AWS项目,在第一次使用前,导入如下依赖<dependency> <groupId>software.amazon.awssdk</groupId> &l

2020-09-04 14:01:58

Linux route命令 总结

Linux查看命令方法:manmanual上面两个命令可以查询一个命令的用法命令后边加上 --help,也可以查看一个命令的用法route命令 man route[root@ip-172-31-42-6 ~]# man routeROUTE(8) Linux System Administrator's Manual ROUTE(8)NAME route - sho

2020-08-28 14:10:30

Linux ~/.bash_profile 总结

在~/.bash_profile里添加如下内容后alias ssh_cl="/bin/ssh -i /root/key/key.pem root@121.121.121.121"直接输入ssh_cl即可自动登录另一个客户端

2020-08-28 09:41:56

JNI,JNA,JNR 学习笔记001

文章目录参考链接:名称缩写JNI?JNA?JNR?参考链接:看看这些示例,对学习Jna帮助很大。https://blog.csdn.net/weixin_41649320/article/details/105169131https://blog.csdn.net/li1028414652/article/details/85250128名称缩写Java Native Interface(JNI)Java Native Access(JNA)Java Native Runtime(JNR)

2020-08-28 09:27:57

BUG记录 新建的AWS EC2有ip地址,但是ping不通,ssh连不上,telnet连不通

# 问题描述:你新建了一台AWS的EC2实例,并且创建完之后自动分配了公网IP,这时你使用SSH连接,发现就是连不上去,ping不通,telnet 也连不通。# 解决方案:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200828090221704.png#pic_center)创建VPC,创建子网,创建网关,创建路由,网关附加到子网,弹性ip关联到你的这台ec2实例,最后测试是否连通,发现连通了!总之,搞懂VPC是使用EC2的前提条件

2020-08-27 09:36:59

什么是网卡bonding?

本文内容同时参考了多篇博客,细心整理而成:参考链接:https://blog.csdn.net/weixin_34391445/article/details/92679863https://blog.csdn.net/Terry8000/article/details/88741276网卡bonding通过把多个物理网卡绑定成一个逻辑网卡,实现网卡主动备份,提高宽带,实现网络的高性能。网卡bond是通过多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余,带宽扩容和负载均衡,在生产场景中是一种常用

2020-08-25 16:38:50

Java WorkStealingPool 笔记

文章目录前言什么是WorkStealingPoolWorkStealingPool 并行处理特性前言此笔记内容来源于网络,仅供我作为学习笔记使用,侵删!持续更新中。什么是WorkStealingPoolWorkStealingPool(n):Java 8 新增创建线程池的方法,创建时如果不设置任何参数,则以当前机器处理器个数作为线程个数,此线程池会并行处理任务,不能保证执行顺序。JDK 8 新增的线程池是 newWorkStealingPool(n),如果不指定并发数(也就是不指定 n),new

2020-08-25 16:36:31

Java 多线程与线程池学习笔记(2)

文章目录参考资料LinkedBlockingQueue介绍LinkedBlockingQueue原理和数据结构LinkedBlockingQueue函数列表LinkedBlockingQueue示例参考资料本笔记内容整理自互联网,并参考了以下多篇内容,抽取精华部分整理而成,有任何形式的侵权请联系我删除,我这篇只是学习笔记!请支持原版!https://www.jianshu.com/p/9394b257fddeLinkedBlockingQueue介绍LinkedBlockingQueue是一个单向

2020-08-25 16:35:17

Java-JWT 深入研究 第一层 应用思路层

文章目录环境准备所有的包每个包下的类常用API分析环境准备jdk11 或 jdk8mavenIdea 或 Eclipsejava-jwt v3.10.3(当前版本3.10.3,仅供参考)此博客参考了java-jwt API文档:https://javadoc.io/doc/com.auth0/java-jwt/latest/index.html看完这篇能大概了解java-jwt的初步使用,本文只涉及API调用思路,以及大体的使用逻辑分析,只关注如何使用,调用逻辑,不关注每个API的详细结

2020-08-25 16:31:10

linux Screen 命令简单总结

文章目录安装Screen开启Screen窗口关闭Screen窗口回到进入Screen之前的窗口查看正在运行的Screen窗口进入指定screen session终端窗口应用案例:Screen Session下的命令常用screen参数Screen -helpScreen使用场景安装Screenyum -y install screen开启Screen窗口screen关闭Screen窗口exit回到进入Screen之前的窗口Ctrl-A + D查看正在运行的Screen窗口scre

2020-08-25 16:28:21

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。