3 留歌36

尚未进行身份认证

只要最后那个人是你,晚一点也没关系

等级
TA的排名 2w+

Yarn的监控

写在前面这是群里的一个小伙伴抛出的一个问题,因为确实我所了解的,很多小伙伴公司都是将作业跑在Yarn上的。那么这就是大家都会要做的一个 需求了吧。我所预期的,最好是能配一个图形展示的+报警功能。未完待续。。。...

2020-03-23 20:54:16

Sqoop 导入数据异常处理

写在前面我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz解压使用会出现几个bug,之前也是出现了,然后也没有来记录一下。现在记录一下.问题1. 第一个,你要把mysql驱动包放在lib目录下。不然会报找不到驱动包的错误问题2. Exception in thread “main” java.l...

2020-02-15 20:38:15

Docker 网络相关 (系统学习Docker04)

写在前面/////基于数据包的传输方式网络的分层路由的概念路由器进行路由选路IP地址和路由:公有IP和私有IP私有IP:A类:10.0.0.0–10.255.255.255 (10.0.0.0/8)B类:172.16.0.0–172.31.255.255 (172.16.0.0/12)C类:192.168.0.0–192.168.255.255 (192.168.0.0/16...

2020-02-12 00:48:51

Docker 的镜像和容器(系统学习Docker03)

写在前面最为基础重要的两大概念:镜像和容器Docker 底层技术支持:Namespaces : 做隔离pid/net/ipc/mnt/utsControl Groups : 做资源限制Union file systems: Container 和 image 的分层镜像ImageImage的获取方式(1):(1)Build from DockerfileDockerfile 有...

2020-02-12 00:46:14

Docker 环境的各种搭建方法 (系统学习Docker02)

写在前面工欲善其事必先利其器看官网:https://docs.docker.com/install/Dcoker 在MAC Windows10 CentOS VartualBox Vagrant 之间能够擦出什么样的火花呢?2.1 Docker for Mac :https://docs.docker.com/docker-for-mac/install/MAC 安装之后包含:Th...

2020-02-12 00:37:38

Docker 容器数据 持久化(系统学习Docker05)

写在前面本来是可以将数据存储在 容器内部 的。但是存在容器内部,一旦容器被删除掉或者容器毁坏(我亲身经历的痛,当时我们的大数据平台就是运行在docker容器内,有次停电后,不管怎样容器都起不来。以前的同事也没有将数据映射到外面 。搞得最后我们重新导的数据,痛的领悟啊~~)。再就是如果不将数据映射出来 ,比如要想使用容器内部的web日志,也是比较难搞,反正不就是其它容器/服务不是很方便。大体上...

2020-02-12 00:25:38

Liunx操作的一些技巧【生产感悟】

写在前面本文主要是自己在操作类Linux机器的时候,一些我本来不太会不太熟悉的操作。然后在这里记录一下。每一条都是经典。哈哈哈~当服务器上没有vim/vi等,也不太好安装时,要想替换某个文件的内容语法:sed -i “s/搜索内容/替换内容/g” 文件名sed -i "s/upload_max_filesize = 2M/upload_max_filesize = 64M/g" php.i...

2020-02-10 21:31:06

容器技术和Docker的简单介绍(系统学习Docker01)

写在前面后面来不~先来一张经典的图:虚拟机技术 VS 容器技术(docker就是典型代表实现)可以看出:docker不需要我们提供OS的支持,它已经将OS集成在了自己的Docker Engine中。Docker + Kubernets(生产中可能是有上千个容器)k8s:对容器的创建 管理 调度 运维Docker 基础篇第一章:容器技术 与Docker简介第二章:Docker...

2020-02-09 14:03:13

windows上Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tm

Caused by: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-参照这个开始解决:You will also notice that ...

2020-02-08 22:56:22

Linux Root 用户无敌?

场景引入:[root@spark001 ~]# chmod 755 /etc/hostschmod: changing permissions of ‘/etc/hosts’: Operation not permitted[root@spark001 ~]#或想要对文件进行修改时候,都是提示无法操作的,尽管你是root~what? linux 中还有文件是我root不能操作的!解...

2020-01-14 22:39:46

安装Cloudera Manager 和 CDH

欢迎使⽤Cloudera Manager–最终⽤户许可条款与条件。勾选欢迎使⽤Cloudera Manager–您想要部署哪个版本?选择Cloudera Express免费版本感谢您选择Cloudera Manager和CDH为CDH集群安装指导主机。选择[当前管理的主机],全部勾选选择存储库集群安装–正在安装选定Parcel假如本地parcel离线源配置正确,则"下载"...

2020-01-10 16:56:29

数据库设计那些事儿

逻辑设计一行数据中的每个属性值都叫做分量基于上面几个实体。画出他们的ER图:一对一一对多多对多逻辑设计中使用的一些规范:数据库操作异常与数据冗余第一范式:第二范式:说白了,就是 联合主键中的某一关键字,决定着非关键字的值 ,就不符合二范式第三范式:BC范式:物理设计:选择哪种数据库?大的事务性操作推荐Oracle,Ora...

2020-01-02 10:35:23

调度平台Rundeck + 配置邮件告警

写在前面常用的调度平台:crontab/azkaban/rundeck/xxl_job/oozie…这些是比较常用的一些调度工具,选择合适自己的即可。Rundeck官网:https://www.rundeck.com/open-sourceGitHub地址: https://github.com/rundeck/rundeck部署安装:前置条件:安装好JDK:比较简单,下载解压,...

2019-12-30 17:36:44

Kettle开发流程

前置安装1.安装jdk2.下载kettle,解压,然后运行spoon.bat/spoon.sh 这个文件,一些jdbc驱动包放置在解压后的lib目录下即可。Kettle 开发流程1.创建Kettle资料库(MySQL即可)回到启动界面:admin/admin同时,也是会发现,我们的资料库里面有很多数据库已经创建好了最后保证:...

2019-12-30 09:41:44

PyCharm 开发pyspark 应用程序

创建新的空项目:测试一下环境是否ok同时,也是为了配置一下spark环境添加如下两个环境变量:接下来:达到这样,就okIDE开发环境就配置ok了,开始Coding…...

2019-12-26 17:18:21

权限管理系统!功能权限?数据权限?

2019-12-26 11:43:58

Spark 中 job stage task 关系

写在前面之前在面试的过程中有面到过这个问题,然后在这里简单记录一下。WordCount为例直接执行这个段代码,根据执行结果,进行分析object WCApp { def main(args:Array[String]) = { val conf = new SparkConf().setMaster("local[2]").setAppName("WCApp") va...

2019-12-24 16:52:24

企业级生产监控预警平台(实战简介)

写在前面学习这个实战项目也已经过去很久了,本来一直也想以文字的方式将项目中的 点 进行记录下来。有什么问题,欢迎大家一起留言讨论。关于这个系列的 所有文章,有新的想法,我也会及时做更新项目效果主要是想监控生产上的实时日志,日志可以是Linux的系统日志,MySQL数据库的日志,也可以是我们生产项目的业务日志,比如:SpringBoot 项目中打的日志。这些日志都可以作为本项目的原始日志。...

2019-12-17 17:07:34

枚举实现单例模式

写在前面单例模式定义: 一个类 只能创建一个实例。使用一个对象来做就不用实例化多个对象!这就能减少我们空间和内存的开销~我们使用静态类.doSomething()和使用单例对象调用方法的效果是一样的啊。没错,效果就是一样的。使用静态类.doSomething()体现的是基于对象,而使用单例设计模式体现的是面向对象。编写单例模式的代码其实很简单,就分了三步:将构造函数私有化在类的内部...

2019-12-11 11:19:37

Kafka系列四 之 多分区如何保证数据的有序性

Apache Kafka 消息怎么写?kafka是一个分布式的流消息队列生产者将消息发布到某个主题broker 进行存储消费者 订阅+读数据 从该主题中消息(记录)以序列化字节存储,消费者负责反序列化消息,消息可以具有任何格式,最常见的是字符串,JSON和Avro。JSON 格式的好处与坏处!? √1....

2019-12-09 17:29:56

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。