- 博客(92)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 二十三种设计模式-外观模式
1、外观模式介绍1）、外观模式（Facade），也叫“过程模式：外观模式为子系统中的一组接口提供一个一致的界面，此模式定义了一个高层接口，这个接口使得这一子系统更加容易使用2）、外观模式通过定义一个一致的接口，用以屏蔽内部子系统的细节，使得调用端只需跟这个接口发生调用，而无需关心这个子系统的内部细节2、外观模式原理类图对类图说明(分类外观模式的角色)1)、外观类(Facade): 为调用端提供统一的调用接口, 外观类知道哪些子系统负责处理请求,从而将调用端的请求代理给适当子系统对象
2021-03-29 23:08:46
247
2
原创 二十三种设计模式-组合模式
1、组合模式介绍1）、组合模式（CompositePattern），又叫部分整体模式，它创建了对象组的树形结构，将对象组合成树状结构以表示“整体-部分”的层次关系2）、组合模式依据树形结构来组合对象，用来表示部分以及整体层次3）、这种类型的设计模式属于结构型模式4）、组合模式使得用户对单个对象和组合对象的访问具有一致性，即：组合能让客户以一致的方式处理个别对象以及组合对象2、组合模式类图原理对原理结构图的说明-即(组合模式的角色及职责)1）、Component:这是组合中..
2021-03-24 22:12:48
256
原创 二十三种设计模式-装饰者模式
1、装饰者模式定义1）、装饰者模式：动态的将新功能附加到对象上。在对象功能扩展方面，它比继承更有弹性，装饰者模式也体现了开闭原则(ocp)2）、这里提到的动态的将新功能附加到对象和 ocp原则，在后面的应用实例上会以代码的形式体现，请同学们注意体会。2、装饰者模式原理1）、装饰者模式就像打包一个快递主体：比如：陶瓷、衣服 (Component) // 被装饰者包装：比如：报纸填充、塑料泡沫、纸板、木板(Decorator)2）、Component主体：比如类似前面的 Dri...
2021-03-21 15:08:16
261
2
原创 二十三种设计模式-桥接模式
1、手机操作问题现在对不同手机类型的不同品牌实现操作编程(比如:开机、关机、上网，打电话等)，如图:2、传统方案解决手机操作问题类图如下图所示：3、传统方案解决手机操作问题分析 扩展性问题(类爆炸)，如果我们再增加手机的样式(旋转式)，就需要增加各个品牌手机的类，同样如果我们增加一个手机品牌，也要在各个手机样式类下增加。 违反了单一职责原则，当我们增加手机样式时，要同时增加所有品牌的手机，这样增加了代码维护成本 解决方案-使用桥接模式4、桥接模式(Bridge
2021-03-17 23:08:06
116
原创 二十三种设计模式-适配器设计模式
1、现实生活中适配器例子泰国插座用的是两孔的（欧标），可以买个多功能转换插头 (适配器) ，这样就可以使用了，如下图所示：2、适配器模式基本介绍 适配器模式(AdapterPattern)将某个类的接口转换成客户端期望的另一个接口表示，主的目的是兼容性，让原本因接口不匹配不能一起工作的两个类可以协同工作。其别名为包装器(Wrapper) 适配器模式属于结构型模式 主要分为三类：类适配器模式、对象适配器模式、接口适配器模式 3、适配器工作原理 适配器模式：将一.
2021-03-15 21:50:44
94
原创 二十三种设计模式-建造者模式
1、建造者模式定义建造者模式（BuilderPattern）又叫生成器模式，是一种对象构建模式。它可以将复杂对象的建造过程抽象出来（抽象类别），使这个抽象过程的不同实现方法可以构造出不同表现（属性）的对象。建造者模式 是一步一步创建一个复杂的对象，它允许用户只通过指定复杂对象的类型和内容就可以构建它们， 用户不需要知道内部的具体构建细节。2、建造者模式的四个角色 Product（产品角色）： 一个具体的产品对象 Builder（抽象建造者）：创建一个 Product对象的各个...
2021-03-14 10:36:29
94
原创 二十三种设计模式-原型模式
1、原型模式定义 不通过 new 关键字来产生一个对象，而是通过对象复制来实现的模式就叫做原型模式。原型模式的核心是一个clone方法，通过该方法进行对象的拷贝，Java中提供了一个Cloneable接口来标示该对象是可拷贝的。原型模式是一种创建型设计模式，允许一个对象再创建另外一个可定制的对象，无需知道如何创建的细节下面就以一个克隆羊的问题来说明原型模式2、克隆羊问题假如现在有一只羊 tom，姓名为: tom, 年龄为：1，颜色为：白色，请编写程序创建和 tom 羊 属性完全相同...
2021-03-11 21:24:12
76
原创 二十三种设计模式-工厂模式
1、工厂模式介绍工厂模式，从字面意思我们可以很快想到我们日常生活中工厂生产产品的场景。在工厂里我们只需要关心用户所需要那种产品，不需要关心生产的过程，你往工厂里投放什么产品，最终就能得到什么产品，产品生产的过程都是由工厂在处理。这里我找了网上的一个定义，站在类的角度去定义这工厂模式：在基类中定义创建对象的一个接口，让子类决定实例化哪个类。工厂方法让一个类的实例化延迟到子类中进行。2、实际案例分析工厂模式看一个披萨的项目：要便于披萨种类的扩展，要便于维护披萨的种类很多(比如 GreekPizz
2021-03-10 22:19:42
117
1
原创 二十三种设计模式-单例模式
好久没更新我的博客了，自己也懒了，有时还是觉得要好好静下心来沉淀沉淀自己，这样总结学习的东西才是自己的，废话不多说下面开始进入主题设计模式最简单一种模式，也是很常见的一种设计模式，单例模式1、单例模式介绍单例模式是一种常用的软件设计模式，其定义是单例对象的类只能允许一个实例存在。许多时候整个系统只需要拥有一个的全局对象，这样有利于我们协调系统整体的行为。比如在某个服务器程序中，该服务器的配置信息存放在一个文件中，这些配置数据由一个单例对象统一读取，然后服务进程中的其他对象再通过这个单例对象获
2021-03-09 22:22:13
119
1
原创 docker命令大全详细总结
docker镜像加速器修改/etc/default/docker/etc/systemd/system/multi-user.target.wants/docker.servicesystemctl daemon-reloadservice docker restartdocker images -a 显示所有镜像信息docker images -qdocker images --digests --no-truncdocker infodocker search 镜像名字docker
2020-12-22 19:44:32
105
原创 Java Spark Rdd详解
说明：掌握spark的一个关键，就是要深刻理解掌握RDD各个函数的使用场景，这样我们在写业务逻辑的时候就知道在什么时候用什么样的函数去实现，得心应手，本文将逐步收集整理各种函数原理及示例代码，持续更新，方便大家学习掌握。函数列表：1、join的使用2、cogroup的使用3、GroupByKey的使用4、map的使用5、flatmap的使用6、mapPartitions的使用7...
2020-03-28 18:17:50
2724
3
转载 Spark + MongoDB数据解决方案架构
Spark介绍按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。 快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于内存的运算方式。当需要处理的...
2020-03-28 13:18:59
695
原创 AWS EC2可用区理解
区域的概念(Region) 近期经常实施部署AWS的多个实施项目，经常与项目人员探讨各种AWS的部署场景，但是在实际情况中发现，我们经常对AWS两个非常重要的概念不太好理解，区域（Region）和可用区（Availability Zone，AZ）。更不太好理解他们跟我们日常接触到的的数据中心(IDC)有什么样的分别和联系。然而区域(Region)和可用区（Availabil...
2019-11-20 16:14:58
1461
原创 在AWS EC2上搭建jenkins并且整合git+maven+docker自动化部署环境(三)
前面几小节我们成功在AWS EC2上部署安装好了jenkins,这小节就来说下jenkins的一些基本配置以及如何与我们的git,maven还有docker一块串联起来构建我们的一键部署自动化构建的环境。jenkins初始化配置在前两节的基础之上，我们可以通过我们的浏览器去访问我们的jenkins,访问路径一般是http://ip:8080,如果你安装jenkins的时候这些都...
2019-11-17 21:42:59
1151
原创 在jenkins上添加AWS EC2实例从节点
踩了好多坑终于在AWS EC2上添加上了jenkins从节点，不知道为何通过原来的SSH方式添加，一直出现未授权的问题，换一种方式添加发现从节点添加上了，于是先简单介绍下这种操作方式。1、首要条件带有jenkins安装的AWS EC2实例，该实例就是你的jenkins主节点 再新建一个AWS EC2实例，这就是你的从节点 确保两个实例都打开了端口8080 在从实例上，创建一个jenk...
2019-11-15 18:10:22
919
原创 在AWS EC2上搭建jenkins并且整合git+maven+docker自动化部署环境(二)
这篇介绍如何在EC2上搭建jenkins构建化工具,安装工具其实就是跟普通我们用到的linux上安装方式差不多，这里我简单介绍下自动化构建和jenkins的一些概念CI/CD介绍CI/CD的全称为Continuous Integration(持续集成)/Continuous Deployment(持续部署),随着现在互联网的兴起和发展，互联网软件的开发和发布已经形成一套完整的体系，并且定...
2019-11-15 15:19:24
1510
原创 在AWS EC2上搭建jenkins并且整合git+maven+docker自动化部署环境(一)
日以继日这套环境终于搭建好了，并且能够一键打包部署服务，这个环境我打算分成几个章节来说明，本章节介绍如何在AWS配置搭建EC2服务AWS上部署搭建EC2实例aws是一个云平台，里面有很多组件，比如各种网关服务、负载均衡服务、数据存储服务、大数据服务等，基本上是要啥有啥，只是收费有点贵，这次玩免费的AWS时没仔细注意免费的规则，白白花了18多美刀，这里小伙伴们还是详细去阅读下AWS的免费服务...
2019-11-15 13:38:02
1318
原创 AWS EMR 搭建数据处理集群
最近boss让去研究aws,未来公司业务可能要通过aws的一套生态进行数据处理和分析，在网上看了不少资料和文档，也顺利运行了aws的大数据集群组件，下面自己总结了一下在部署步骤以及自己所遇到的一些问题。AWS介绍官方：Amazon Web Services (AWS) 是一个安全的服务平台，提供计算能力、数据库存储、内容交付以及其他功能来帮助实现业务扩展和增长。其实AWS就是一个云...
2019-11-12 11:32:47
1825
转载 AWS EC2 上安装 Docker
在 AWS EC2 安装 Docker参见：Amazon ECS 的 Docker 基本知识我们在主机 18.222.176.214 和 52.14.52.46 都安装 Docker。安装最新的 Docker Community Edition 程序包：sudo yum install -y docker启动 Docker 服务：sudo service docker start...
2019-11-10 22:39:13
1293
转载 Spring Cloud on ECS
来到新公司，准备使用AWS服务运行微服务，spark等大数据组件，找了不少资料，简单总结下spring cloud 在ECS上如何运行背景如果只是在一台主机或者虚拟机上面运行一个容器，那么Docker命令行就足够了，e.g: docker run xxximage。 但是如果需要管理一个100X的容器集群，就比较有挑战了。在AWS众多服务中，就有提供集群资源管理和服务调度的服务，比如EK...
2019-11-07 10:47:09
371
原创 Exception和Error区别个人小结
典型回答Exception和Error都是继承了Throwable类，在Java中只有Throwable类型的实例才可以被抛出（throw）或者捕获（catch），它是异常处理机制的基本组成类型。Exception和Error体现了Java平台设计者对不同异常情况的分类。 Exception是程序正常运行中，可以预料的意外情况，可能并且应该被捕获，进行相应处理。Error是指在正常情况下，不...
2019-10-21 14:41:21
155
原创 springboot定时任务介绍
一：@Scheduled介绍@Scheduled为设置定时任务周期的注解，参数常用的为两种：第一种就是fixedRate，他表示以一种固定频率去执行，单位为毫秒，例如@Scheduled(fixedRate = 5000) 表示为每五秒执行一次第二种为cron，他可以表达某种特定频率，例如每天晚上三点执行，每个星期三中午十二点等具体cron表达式用法大家可以百度，这里列出几个常用...
2019-10-14 13:47:31
256
原创 HBase性能优化常用
1.1、高可用在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 Hmaster 的高可用配置。1）、关闭 HBase 集群（如果没有开启则跳过此步）bin/stop-hbase....
2019-10-14 12:54:37
152
原创 Hbase Shell命令介绍
HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面HBase介绍HBase简介HBase的名字的来源于Hadoop database，即hadoop数据库，不同于一般的关系数据库，它是...
2019-10-12 15:11:15
312
转载 Spark on Yarn作业运行架构原理解析
1 、Client模式说明如下：Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClusterScheduler和YarnClientSch...
2019-08-28 17:33:40
172
原创 elasticsearch性能优化个人小结
公司数据存储用的最多的就是ES了，大概每天会产生1T的数据，这个数据量还是挺大的，公司用的ES集群有12个节点，后期可能还要扩展，于是便看些博客再结合自己工作，总结了一些ES的调优第一部分：调优索引速度1、使用批量请求批量请求将产生比单文档索引请求好得多的性能。为了知道批量请求的最佳大小，您应该在具有单个分片的单个节点上运行基准测试。首先尝试索引100个文件，然后是200，然后是...
2019-08-19 16:11:43
4446
转载 mysql 行列相互转换
一、行转列即将原本同一列下多行的不同内容作为多个字段，输出对应内容。建表语句DROP TABLE IF EXISTS tb_score;CREATE TABLE tb_score( id INT(11) NOT NULL auto_increment, userid VARCHAR(20) NOT NULL COMMENT '用户id', subject ...
2019-08-15 19:56:40
155
原创 ES提高查询效率
公司主打的数据存储就是ElasticSearch,数据存储方便快捷，最近想改造一下公司的存储，想让查询效率更加快捷。要想提升es查询效率，必须先去了解es存储以及查询的原理，这里就不一一赘述了，我们就开门见山来分析吧。1、性能优化的杀手锏——filesystem cache你往 es 里写的数据，实际上都写到磁盘文件里去了，查询的时候，操作系统会将磁盘文件里的数据自动缓存到 filesys...
2019-08-01 23:01:44
2159
原创 消息队列的比较与分析
最近开始总结消息队列的一些特点，公司中现在用到的消息队列是kafka,于是顺带结合下其他几个消息队列来比较一下1、Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ...
2019-08-01 17:02:52
572
原创 Flink 配置文件详解
这两天正好在看现在比较火的大数据流处理框架flink,熟悉了flink的搭建过程，还是比较简单的，于是便了解了一下flink的配置文件安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。1、flink-conf.yaml （1）、基础配置# jobManager 的IP地址jobmanager.rpc...
2019-07-18 13:03:36
6703
原创 Elasticsearch数据迁移工具elasticdump工具
这两天公司要把一部分es数据导入到新的es中，于是就找到了这样一个方便快捷的工具，自己总结了一下使用方法：1. 工具安装wget https://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xztar xf node-v8.11.2-linux-x64.tar.xzmv node-v8.11.2-linux-x64 /us...
2019-07-15 22:28:28
304
原创 CDH环境搭建
1.CDH安装前配置1.1 HOSTS配置1.1.1 hostname修改修改配置文件/etc/sysconfig/networkroot@hadoop01~# vim /etc/sysconfig/network NETWORKING=yesHOSTNAME=hadoop01修改完成后需要重启服务器使其生效。修改集群所有节...
2019-07-14 22:50:38
519
原创 Hive运行SQL报错
在安装完hive之后，为了测试hive，在执行select count(*) from score时，出现以下错误:解决方案如下：失败原因经查发现发现/tmp/hadoop/.log提示java.lang.OutOfMemoryError: Java heap space，原因是namenode内存空间不够，jvm不够新job启动导致。解决方法将你的hive可以设置成本地模式来...
2019-07-13 20:09:47
661
原创 JVM的垃圾回收机制
一、 技术背景 说起垃圾回收（GC），大部分人都把这项技术当做Java语言的伴生产物。事实上，GC的历史比Java久远，早在1960年Lisp这门语言中就使用了内存动态分配和垃圾回收技术。二、 哪些内存需要回收？ 我们都知道JVM的内存结构包括五大区域：程序计数器、虚拟机栈、本地方法栈、堆区、方法区。其中程序计数器、虚拟机栈、本地方法栈3个区域随线程而生、随线程而...
2019-07-04 12:01:55
150
原创 Kafka参数调优
自己公司用到了kafka作为MQ,在使用的时候需要设置很多参数，这里便来总结一下Kafka参数的一些配置1、一段Kafka生产端的示例代码Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apach...
2019-07-04 10:46:58
3901
转载 HBase Rowkey 设计
1、RowKey 到底是什么我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下： 类似于 MySQL、Oracle中的主键，用于标示唯一的行； 完全是由用户指定的一串不重复的字符串； HBase 中的数据永远是根据 Rowkey 的字典...
2019-07-03 21:10:27
193
原创 POM文件的Scope行为总结
今天在公司弄spark机器学习时，发现spark的mllib包下载下来了，但到自己的scala文件中一直引入不进去，后来一点一点排查这问题，发现在pom文件中引入spark-mllib包的时候，多加了一个scope runtime属性，导致包引用不进去，于是便上网查询了scope的这几种行为，总结如下，希望以后再也不要踩这个坑了：官网的解释如下：compile - this is the...
2019-07-01 18:37:57
828
原创 ShardingSphere分库分表实战
一. 项目需求 我们做项目的时候，数据量比较大,单表千万级别的,需要分库分表，于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比较容易上手。二. 简介sharding-sphere官网地址: https://shardingsphere.apache.org/ShardingSphere是一套开源的分布...
2019-06-28 15:44:03
40303
30
转载 Spring Cloud底层原理
概述毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对Spring Cloud功能使用的层面，其底层的很多原理，很多人可能并不知晓。因此本文将通过大量的手绘图，给大家谈谈Spring Cloud微服务架构的底层原理。实际上，Spring Cloud是一个全家桶式的技术栈，包含了很多组件。本文先从其最核心的几个组件入手，来剖...
2019-06-26 16:17:19
186
1
学生宿舍管理系统的设计与实现文档
2016-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人