7 toto1297488504

尚未进行身份认证

To do what I want to do!

等级
TA的排名 115

通过yarn上的applicationId杀死hadoop中的任务,或通过hadoop job命令停止任务

示例:$ yarn application -kill application_Idhadoop命令行 与job相关的:命令行工具 •1.查看 Job 信息:hadoop job -list2.杀掉 Job:hadoop job –kill job_id3.指定路径下查看历史日志汇总:hadoop job -history output-dir4.作业的更多细节:hado...

2019-11-26 14:53:22

Hadoop动态扩容,增加节点

转载:https://www.cnblogs.com/mengzj233/p/9759457.html基础准备在基础准备部分,主要是设置hadoop运行的系统环境修改系统hostname(通过hostname和/etc/sysconfig/network进行修改)修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一)设置NameNode(两台HA均需...

2019-11-21 13:51:19

python安装、anaconda安装、pycharm安装(学习笔记,自己重新整理后的内容,最新版本工具安装)

1 认识python官网:https://www.python.org/中文社区:http://www.pythontab.com/1.1 What is Python 面向对象的解释型语言 简单易学 丰富的库 强制使用制表符作为语句缩进(white space)1.2 Python的优缺点1.2.1 优点 简单、易学 免费、开源 可扩展、可嵌入性 丰富的...

2019-11-14 14:08:25

Impala介绍,Impala架构,Impala安装,impala Shell ,分区创建,refresh,load数据,获取数据的元数据

1 ImpalaImpala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBASE中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Impala到底是什么?Impala是用...

2019-10-17 14:22:46

datax安装+配置+使用文档

1 DataX离线同步工具DataX3.0介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址:https://github.com/a...

2019-10-17 10:56:21

Apache Tez介绍,术语,安装,监控等

目录1 Apache Tez 11.1 Apache Tez介绍 11.2 术语介绍 11.3 软件准备 21.4 设置tez-ui 31.4.1 找到war包 31.4.2 将tez-ui部署在tomcat 41.4.3 配置timelineserver 51.4.4 启动hadoop 61.4.5 5.启动timelineserver 61.4.6 启动tomcat 7...

2019-10-17 10:42:43

Elasticsearch和Hive整合,将hive数据同步到ES中

1 Elasticsearch整合Hive1.1 软件环境Hadoop软件环境Hive软件环境ES软件环境1.2 ES-Hadoop介绍1.2.1 官网https://www.elastic.co/cn/products/hadoop1.2.2 对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统,但是要想提供实时结果则颇具挑战。为了实现真正的交互式数据探索,...

2019-10-17 10:39:59

VMware虚拟机启动后出现黑屏,不能显示界面,无论安装的是ubuntu、kali还是centos

以管理员身份运行cmd控制台程序,输入命令 netsh winsock reset,作用是重置winsock网络规范,然后重启电脑,再打开VMware就可以了。

2019-09-17 17:02:04

设计模式大全

https://www.runoob.com/design-pattern/chain-of-responsibility-pattern.html

2019-05-06 12:17:37

Error: recoverUnfinalizedSegments failed for required journal

转自:https://blog.csdn.net/dudefu011/article/details/78463207#一、问题描述HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候 jps 看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。但是测试之后,发现下面2种情况:1)先启动JournalNode,再启动Hdfs,NameNode可以启动并...

2019-04-28 19:18:22

架构相关资料

国际化环境下系统架构演化微服务架构设计视频直播平台的系统架构演化微服务与Docker介绍Docker与CI持续集成/CD互联网电商购物车架构演变案例互联网业务场景下消息队列架构互联网高效研发团队管理演进之一消息系统架构设计演进互联网电商搜索架构演化之一企业信息化与软件工程的迷思企业项目化管理介绍软件项目成功之要素人际沟通风格介绍一精益IT组织与分享式领导学习型组织与企...

2019-03-19 13:22:51

docker虚拟化技术文档(自己总结最全版本)

目录1 使用Docker虚拟化出一个Centos7操作系统(140、141机器上执行) 21.1 Docker安装 31.1.1 支持的操作系统 31.1.2 前提条件 31.1.3 使用yum安装(CentOS7下) 31.1.4 使用脚本安装Docker(Centos7下) 31.1.5 Docker卸载 41.1.6 使用Centos7.5.1804 docker镜像虚拟一个...

2019-03-19 12:00:11

腾讯云下使用docker一步步虚拟出可运行的线上环境

1 腾讯云磁盘挂载和格式化Linux下磁盘挂载(腾讯云挂载方式)https://www.cnblogs.com/stulzq/p/7610100.html格式化分区:https://blog.csdn.net/nahancy/article/details/52201121最终挂载磁盘信息其中磁盘大小:/dev/vdb1 /data/disk-one/ 1024G/...

2019-03-19 10:50:25

phoenix+hbase+Spark整合,Spark处理数据操作phoenix入hbase,Spring Cloud整合phoenix

1 版本要求Spark版本:spark-2.3.0-bin-hadoop2.7Phoenix版本:apache-phoenix-4.14.1-HBase-1.4-binHBASE版本:hbase-1.4.2上面的版本必须是对应的,否则会报错2 Phoenix+HBase+Spark整合A:安装HBASE,这里略,默认都会B:Phoenix+HBASE整合,参考:ht...

2019-03-19 09:53:31

hive表,hive视图,spark处理数据入mysql,shell获取url数据下载json,Spark sql处理json,shell脚本执行kylin,azkaban任务调度

1 Spark获取json数据,并将json数据存hive库hive表建立Demo--如果存在hive表,直接删除这个hive表。drop table if EXISTS tb_trade_info;--创建hive表(第一次全量,后续增量)CREATE TABLE IF NOT EXISTS tb_trade_info (salesmanId VARCHAR(40) comment ...

2019-03-19 09:32:29

rap2搭建,mysql,redis,nginx安装,node环境安装,rap2安装

1、所需环境1、rap22、mysqlmysql安装CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-e...

2019-03-17 23:32:24

最简单的kafka demo案例

1、kafka版本:kafka_2.11-1.0.12、配置pom.xml<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...

2019-02-27 11:52:27

SpringCloud Finchley基础教程:3,spring cloud gateway网关

转:https://blog.csdn.net/ifrozen/article/details/80016566

2019-02-15 13:47:20

rocketmq官网和其它资料

rocketmq官网:http://rocketmq.apache.org/rocketmq的其它项目https://github.com/apache/rocketmq-externals

2019-01-31 14:41:52

kylin调优,项目中错误总结,知识点总结,kylin jdbc driver + 数据库连接池druid + Mybatis项目中的整合,shell脚本执行kylin restapi 案例

关于本篇文章的说明:本篇文章为笔者辛苦劳作用了一整天总结出来的文档,大家阅读转发的时候请不要吝啬写上笔者:涂作权 和 原文地址。由于笔者所在环境没有人用过kylin,笔者也是自学官网,阅读书籍 将kylin用于实际项目,期间遇到了很多很多关于kylin使用的问题。为了让后面的人在使用kylin实践的时候能够少走弯路,在此生成kylin的调优,错误总结,知识点文档,这篇文档应该是目前网上最全的k...

2018-12-20 22:27:40

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。