系统逻辑架构图怎么画

转载：https://jingyan.baidu.com/article/86f4a73ec5a78c37d652692a.html （图自己重画）系统逻辑架构图根据系统组成绘制，不同类型的系统，逻辑架构图会有些许差异，本文以软件系统为例，介绍如何绘制系统逻辑架构图。绘制工具：PPT 或 VISIO ，当然也可以使用其他工具。工具/原料VISIOPPT方法/步骤本文使用PPT绘...

6次阅读

2019-12-11 12:35:09

通过yarn上的applicationId杀死hadoop中的任务，或通过hadoop job命令停止任务

示例：$ yarn application -kill application_Idhadoop命令行 与job相关的：命令行工具 •1.查看 Job 信息：hadoop job -list2.杀掉 Job：hadoop job –kill job_id3.指定路径下查看历史日志汇总：hadoop job -history output-dir4.作业的更多细节：hado...

7次阅读

2019-11-26 14:53:22

Hadoop动态扩容,增加节点

转载：https://www.cnblogs.com/mengzj233/p/9759457.html基础准备在基础准备部分，主要是设置hadoop运行的系统环境修改系统hostname（通过hostname和/etc/sysconfig/network进行修改）修改hosts文件，将集群所有节点hosts配置进去（集群所有节点保持hosts文件统一）设置NameNode（两台HA均需...

13次阅读

2019-11-21 13:51:19

python安装、anaconda安装、pycharm安装（学习笔记，自己重新整理后的内容，最新版本工具安装）

1 认识python官网：https://www.python.org/中文社区：http://www.pythontab.com/1.1 What is Python 面向对象的解释型语言 简单易学 丰富的库 强制使用制表符作为语句缩进(white space)1.2 Python的优缺点1.2.1 优点 简单、易学 免费、开源 可扩展、可嵌入性 丰富的...

45次阅读

2019-11-14 14:08:25

Impala介绍，Impala架构，Impala安装，impala Shell ，分区创建，refresh,load数据，获取数据的元数据

1 ImpalaImpala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBASE中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala到底是什么？Impala是用...

43次阅读

2019-10-17 14:22:46

datax安装+配置+使用文档

1 DataX离线同步工具DataX3.0介绍DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址：https://github.com/a...

188次阅读

2019-10-17 10:56:21

Apache Tez介绍，术语，安装，监控等

目录1 Apache Tez 11.1 Apache Tez介绍 11.2 术语介绍 11.3 软件准备 21.4 设置tez-ui 31.4.1 找到war包 31.4.2 将tez-ui部署在tomcat 41.4.3 配置timelineserver 51.4.4 启动hadoop 61.4.5 5.启动timelineserver 61.4.6 启动tomcat 7...

26次阅读

2019-10-17 10:42:43

Elasticsearch和Hive整合，将hive数据同步到ES中

1 Elasticsearch整合Hive1.1 软件环境Hadoop软件环境Hive软件环境ES软件环境1.2 ES-Hadoop介绍1.2.1 官网https://www.elastic.co/cn/products/hadoop1.2.2 对 Hadoop 数据进行交互分析Hadoop 是出色的批量处理系统，但是要想提供实时结果则颇具挑战。为了实现真正的交互式数据探索，...

138次阅读

2019-10-17 10:39:59

VMware虚拟机启动后出现黑屏，不能显示界面，无论安装的是ubuntu、kali还是centos

以管理员身份运行cmd控制台程序，输入命令 netsh winsock reset，作用是重置winsock网络规范，然后重启电脑，再打开VMware就可以了。

244次阅读

2019-09-17 17:02:04

设计模式大全

https://www.runoob.com/design-pattern/chain-of-responsibility-pattern.html

454次阅读

2019-05-06 12:17:37

Error: recoverUnfinalizedSegments failed for required journal

转自：https://blog.csdn.net/dudefu011/article/details/78463207#一、问题描述HA按照规划配置好，启动后，NameNode不能正常启动。刚启动的时候 jps 看到了NameNode，但是隔了一两分钟，再看NameNode就不见了。但是测试之后，发现下面2种情况：1）先启动JournalNode，再启动Hdfs，NameNode可以启动并...

573次阅读

2019-04-28 19:18:22

架构相关资料

国际化环境下系统架构演化微服务架构设计视频直播平台的系统架构演化微服务与Docker介绍Docker与CI持续集成/CD互联网电商购物车架构演变案例互联网业务场景下消息队列架构互联网高效研发团队管理演进之一消息系统架构设计演进互联网电商搜索架构演化之一企业信息化与软件工程的迷思企业项目化管理介绍软件项目成功之要素人际沟通风格介绍一精益IT组织与分享式领导学习型组织与企...

525次阅读

2019-03-19 13:22:51

docker虚拟化技术文档（自己总结最全版本）

目录1 使用Docker虚拟化出一个Centos7操作系统（140、141机器上执行） 21.1 Docker安装 31.1.1 支持的操作系统 31.1.2 前提条件 31.1.3 使用yum安装（CentOS7下） 31.1.4 使用脚本安装Docker（Centos7下） 31.1.5 Docker卸载 41.1.6 使用Centos7.5.1804 docker镜像虚拟一个...

767次阅读

2019-03-19 12:00:11

腾讯云下使用docker一步步虚拟出可运行的线上环境

1 腾讯云磁盘挂载和格式化Linux下磁盘挂载（腾讯云挂载方式）https://www.cnblogs.com/stulzq/p/7610100.html格式化分区：https://blog.csdn.net/nahancy/article/details/52201121最终挂载磁盘信息其中磁盘大小：/dev/vdb1 /data/disk-one/ 1024G/...

635次阅读

2019-03-19 10:50:25

phoenix+hbase+Spark整合，Spark处理数据操作phoenix入hbase，Spring Cloud整合phoenix

1 版本要求Spark版本：spark-2.3.0-bin-hadoop2.7Phoenix版本：apache-phoenix-4.14.1-HBase-1.4-binHBASE版本：hbase-1.4.2上面的版本必须是对应的，否则会报错2 Phoenix+HBase+Spark整合A:安装HBASE,这里略，默认都会B:Phoenix+HBASE整合，参考：ht...

1335次阅读

2019-03-19 09:53:31

hive表，hive视图，spark处理数据入mysql，shell获取url数据下载json,Spark sql处理json,shell脚本执行kylin,azkaban任务调度

1 Spark获取json数据，并将json数据存hive库hive表建立Demo--如果存在hive表，直接删除这个hive表。drop table if EXISTS tb_trade_info;--创建hive表(第一次全量，后续增量)CREATE TABLE IF NOT EXISTS tb_trade_info (salesmanId VARCHAR(40) comment ...

3313次阅读

2019-03-19 09:32:29

rap2搭建，mysql,redis,nginx安装，node环境安装，rap2安装

1、所需环境1、rap22、mysqlmysql安装CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源。下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-e...

711次阅读

2019-03-17 23:32:24

最简单的kafka demo案例

1、kafka版本:kafka_2.11-1.0.12、配置pom.xml<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...

5459次阅读

2019-02-27 11:52:27

SpringCloud Finchley基础教程：3，spring cloud gateway网关

转：https://blog.csdn.net/ifrozen/article/details/80016566

4676次阅读

2019-02-15 13:47:20

rocketmq官网和其它资料

rocketmq官网：http://rocketmq.apache.org/rocketmq的其它项目https://github.com/apache/rocketmq-externals

6761次阅读

2019-01-31 14:41:52

查看更多