8 toto1297488504
尚未进行身份认证
To do what I want to do!
转载:https://jingyan.baidu.com/article/86f4a73ec5a78c37d652692a.html (图自己重画)系统逻辑架构图根据系统组成绘制,不同类型的系统,逻辑架构图会有些许差异,本文以软件系统为例,介绍如何绘制系统逻辑架构图。绘制工具:PPT 或 VISIO ,当然也可以使用其他工具。工具/原料VISIOPPT方法/步骤本文使用PPT绘...
示例:$ yarn application -kill application_Idhadoop命令行 与job相关的:命令行工具 •1.查看 Job 信息:hadoop job -list2.杀掉 Job:hadoop job –kill job_id3.指定路径下查看历史日志汇总:hadoop job -history output-dir4.作业的更多细节:hado...
转载:https://www.cnblogs.com/mengzj233/p/9759457.html基础准备在基础准备部分,主要是设置hadoop运行的系统环境修改系统hostname(通过hostname和/etc/sysconfig/network进行修改)修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一)设置NameNode(两台HA均需...
1 认识python官网:https://www.python.org/中文社区:http://www.pythontab.com/1.1 What is Python 面向对象的解释型语言 简单易学 丰富的库 强制使用制表符作为语句缩进(white space)1.2 Python的优缺点1.2.1 优点 简单、易学 免费、开源 可扩展、可嵌入性 丰富的...
1 ImpalaImpala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBASE中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。Impala到底是什么?Impala是用...
1 DataX离线同步工具DataX3.0介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址:https://github.com/a...
目录1 Apache Tez 11.1 Apache Tez介绍 11.2 术语介绍 11.3 软件准备 21.4 设置tez-ui 31.4.1 找到war包 31.4.2 将tez-ui部署在tomcat 41.4.3 配置timelineserver 51.4.4 启动hadoop 61.4.5 5.启动timelineserver 61.4.6 启动tomcat 7...
1 Elasticsearch整合Hive1.1 软件环境Hadoop软件环境Hive软件环境ES软件环境1.2 ES-Hadoop介绍1.2.1 官网https://www.elastic.co/cn/products/hadoop1.2.2 对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统,但是要想提供实时结果则颇具挑战。为了实现真正的交互式数据探索,...
以管理员身份运行cmd控制台程序,输入命令 netsh winsock reset,作用是重置winsock网络规范,然后重启电脑,再打开VMware就可以了。
https://www.runoob.com/design-pattern/chain-of-responsibility-pattern.html
转自:https://blog.csdn.net/dudefu011/article/details/78463207#一、问题描述HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候 jps 看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。但是测试之后,发现下面2种情况:1)先启动JournalNode,再启动Hdfs,NameNode可以启动并...
国际化环境下系统架构演化微服务架构设计视频直播平台的系统架构演化微服务与Docker介绍Docker与CI持续集成/CD互联网电商购物车架构演变案例互联网业务场景下消息队列架构互联网高效研发团队管理演进之一消息系统架构设计演进互联网电商搜索架构演化之一企业信息化与软件工程的迷思企业项目化管理介绍软件项目成功之要素人际沟通风格介绍一精益IT组织与分享式领导学习型组织与企...
目录1 使用Docker虚拟化出一个Centos7操作系统(140、141机器上执行) 21.1 Docker安装 31.1.1 支持的操作系统 31.1.2 前提条件 31.1.3 使用yum安装(CentOS7下) 31.1.4 使用脚本安装Docker(Centos7下) 31.1.5 Docker卸载 41.1.6 使用Centos7.5.1804 docker镜像虚拟一个...
1 腾讯云磁盘挂载和格式化Linux下磁盘挂载(腾讯云挂载方式)https://www.cnblogs.com/stulzq/p/7610100.html格式化分区:https://blog.csdn.net/nahancy/article/details/52201121最终挂载磁盘信息其中磁盘大小:/dev/vdb1 /data/disk-one/ 1024G/...
1 版本要求Spark版本:spark-2.3.0-bin-hadoop2.7Phoenix版本:apache-phoenix-4.14.1-HBase-1.4-binHBASE版本:hbase-1.4.2上面的版本必须是对应的,否则会报错2 Phoenix+HBase+Spark整合A:安装HBASE,这里略,默认都会B:Phoenix+HBASE整合,参考:ht...
1 Spark获取json数据,并将json数据存hive库hive表建立Demo--如果存在hive表,直接删除这个hive表。drop table if EXISTS tb_trade_info;--创建hive表(第一次全量,后续增量)CREATE TABLE IF NOT EXISTS tb_trade_info (salesmanId VARCHAR(40) comment ...
1、所需环境1、rap22、mysqlmysql安装CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-e...
1、kafka版本:kafka_2.11-1.0.12、配置pom.xml<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...
转:https://blog.csdn.net/ifrozen/article/details/80016566
rocketmq官网:http://rocketmq.apache.org/rocketmq的其它项目https://github.com/apache/rocketmq-externals