- 博客(281)
- 收藏
- 关注
RSS订阅原创 Hive高可用配置
Hive 高可用1. HiveServer2高可用及Metastore高可用使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和portMetastore高可用原理：Hive Metastore客户端始终使用第一个url连接到metastore服务器，如果Metastore服务器变得无法访问，则客户端从列表中随机选取一个url并尝
2022-03-31 19:09:00
5066
原创 cdh6.3.2安装
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2022-01-30 17:30:44
5157
1
原创 15. SpringCloudAlibaba Sentinel实现熔断与限流
1.sentinel概述1.1 官网https://github.com/alibaba/Sentinel1.2 是什么一句话解释，之前我们用过的Hystrix1.3 去哪下https://github.com/alibaba/Sentinel/releases1.4 能干嘛1.5 怎么玩https://spring-cloud-alibaba-group.github.io/github-pages/greenwich/spring-cloud-alibaba.html#_spr.
2020-06-21 23:00:19
590
1
原创 13. SpringCloud Alibaba 入门简介
1. 为什么会出现SpringCloud alibaba?1.1 SpringCloud Netflix项目进入维护模式https://spring.io/blog/2018/12/12/spring-cloud-greenwich-rc1-available-now1.2 什么是维护模式将模块置于维护模式，意味着Spring Cloud团队将不会再向模块添加新功能，我们将恢复block级别的bug以及安全问题，我们也会考虑并审查社区的小型pull request我们打算继续支持这些模块，直.
2020-06-21 21:27:18
246
原创 12. SpringCloud Sleuth分布式链路跟踪
1. 概述1.1 为什么会出现这个技术？需要解决哪些问题？在微服务框架中，一个客户端发起的请求在后端系统中会经过多个不同的服务节点调用来协同产生最后的请求结果，每一个前段请求都会形成一条复杂的分布式服务调用链路，链路中的任何一环出现高延时或错误都会引起整个请求最后的失败。解决什么问题？假设现在产品调库存模块，发送了链路数据后，谁调谁zipkin会记录下来，以网页的形式展示出来1.2 是什么https://github.com/spring-cloud/spring-cloud-sleuth.
2020-06-21 21:10:31
295
原创 11.SpringCloud Stream消息驱动
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P8g7T1A0-1592733065300)(https://user-gold-cdn.xitu.io/2020/6/21/172d6493b5014750?w=480&h=270&f=jpeg&s=25208)]1. 概述1.1 是什么官方定义SpringCloud Stream是一个构建消息驱动微服务的框架应用程序通过inputs或者outputs来与Spring Cloud Stream中
2020-06-21 17:52:10
260
原创 10. SpringCloud Bus消息总线
1. 概述1.1 是什么Bus支持两种消息代理 : RabbitMQ和Kafka1.2 能干嘛SpringCloud Bus能管理和传播分布式系统间的消息，就像一个分布式执行器，可用于广播状态更改、事件推送等，也可以当作微服务间的通信通道1.3 为何被称为总线什么是总线？在微服务架构的系统中，通常会使用轻量级的消息代理来构建一个共用的消息主题，并让系统中所有微服务实例都连接上来。由...
2020-04-22 10:19:45
257
原创 9. SpringCloud Config 分布式配置中心
1. 概述1.1分布式系统面临的—配置问题微服务意味着要将单体应用中的业务拆分成一个个子服务，每个服务的粒度相对较小，因此系统中会出现大量的服务。由于每个服务都需要必要的配置信息才能运行，所以一套集中式的、动态的配置管理设施是必不可少的。SpringCloud提供了ConfigServer来解决这个问题，我们每一个微服务自己带着一个application.yml，上百个配置文件的管理…1....
2020-04-20 16:12:46
203
原创 11. Flink状态一致性
1. 状态一致性有状态的流处理，内部每个算子任务都可以有自己的状态；对于流处理器内部（没有接入sink）来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确；一条数据不应该丢失，也不应该重复计算；在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正常的；1.1 状态一致性分类：AT_MOST_ONCE（最多一次），当任务故障时最简单做法是什么都不干，既不恢复丢...
2020-04-03 12:26:08
467
原创 12. Flink窗口模型
Flink Windows1、窗口概述在大多数场景下，我们需要统计的数据流都是无界的，因此我们无法等待整个数据流终止后才进行统计。通常情况下，可以把无限的数据流进行切分，得到有限的数据集进行处理----也就是得到有界流，我们只需要对某个时间范围或者数量范围内的数据进行统计分析：如每隔五分钟统计一次过去一小时内所有商品的点击量；或者每发生1000次点击后，都去统计一下每个商品点击率的占比。在 ...
2020-04-01 20:38:17
276
原创 10. Flink 状态管理与检查点机制
1. Flink 状态管理什么是有状态的计算？首先输入数据源源不断输入到Task里面当计算的时候通过Getstate 从State容器里读取历史的状态经过一系列处理又更新到State容器里面将处理后的结果发送到下游1.1 状态分类相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用：state一般...
2020-04-01 11:31:29
851
1
原创 9.Flink 分布式缓存
1.分布式缓存1.1 介绍1.1.1 技术细节1.分布式文件缓存的作用与广播变量类似，也是为了避免出现join 操作发生数据倾斜而设计出来的2.与广播变量不同之处在于： 广播变量中封装的数据类型是: DataSet, DataStream 分布式文件缓存中封装的数据类型是File3.分布式文件缓存底层如何运作？ 将分布式文件系统上的资源文件装载到TaskManager进程所...
2020-03-30 21:15:58
568
原创 8.Flink 广播变量\累加器
1. 广播变量1.1 介绍在Flink中，同一个算子可能存在若干个不同的并行实例，计算过程可能不在同一个Slot中进行，不同算子之间更是如此，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，而广播变量Broadcast便是解决这种情况的. 在 flink 中,针对某一个算子需要使用公共变量的情况下,就可以把对应的数据给广播出去，这样在所有的节点中都可以使用了注意点：广播...
2020-03-30 15:22:38
504
原创 7. Flink流处理API之Data Sink
1. sink概述在使用 Flink 进行数据处理时，数据经 Data Source 流入，然后通过系列 Transformations 的转化，最终可以通过 Sink 将计算结果进行输出，Flink Data Sinks 就是用于定义数据流最终的输出位置。Flink 提供了几个较为简单的 Sink API 用于日常的开发，具体如下：1.1 writeAsTextwriteAsText()...
2020-03-29 16:43:28
2206
原创 2.Flink开发环境搭建及wordCount
1. Flink 介绍Flink是对无界和有界流数据进行处理的分布式计算框架1.1 如何学习Flink官网https://flink.apache.org/官方的案例国内关于flink的权威平台https://ververica.cn/源码https://github.com/apache/flink1.2 Flink1.9 跟之前的版本有什么区别？之前离...
2020-03-28 10:25:30
596
原创 1.Flink 核心概念概述
1、Flink 简介Apache Flink 诞生于柏林工业大学的一个研究性项目，原名 StratoSphere 。2014 年，由 StratoSphere 项目孵化出 Flink，并于同年捐赠 Apache，之后成为 Apache 的顶级项目。2019 年 1 年，阿里巴巴收购了 Flink 的母公司 Data Artisans，并宣布开源内部的 Blink，Blink 是阿里巴巴基于 Fl...
2020-03-27 23:52:26
456
原创 7. Hystrix断路器
1. 概述1.1 是什么Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，Hystrix能够保证在一个依赖出问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。“断路器”本身是一种开关装置，当Hystrix监控到某个服务发生故障之后熔断器会开启，将此服务链路断开，不过hystrix不会将该服务的...
2020-03-27 11:41:19
304
原创 6.Flink流处理API之Transformation
1.Flink流处理API1.1 Transformation1.1.1 介绍source算子之fromElements，参数是可变长的，类型可以是:基础数据类型，样例类，POJO, 元组source算子之fromCollection, 参数类型是集合，集合既可以是java中的集合类型，也可以是scala中的集合类型，将Java中的集合类型自动转换为scala中对应的集合类型，必须导入:...
2020-03-26 23:56:01
482
原创 5.Flink流处理API之Data Source
1. 在flink中，有界流是无界流中的一个特例1.1 需求使用flink无界流的api，计算特定目录下所有离线的日志文件1.2 源码object UnboundedFlowTest { def main(args: Array[String]): Unit = { //执行环境 val env = StreamExecutionEnvironment.getExe...
2020-03-23 00:08:15
391
原创 4.Yarn模式高可用配置
1.Yarn模式下的高可用配置1.1 yarn session方式中的JobManager HA1.1.1 说明针对于session方式才有JobManager的HA因为Flink集群启动后一直驻留在yarn中，针对于JobManager进程，需要其HA，否则集群没有leader，就瘫痪了per job方式，不需要配置JobManager的HA，内部复用的是standalone JobM...
2020-03-22 17:49:17
1098
原创 3. Flink的部署
1. Flink的部署模式1.1 本地模式1.1.1 介绍1）包含: linux环境 windows环境或mac os环境2）适用场景: 开发阶段，通过本地模式验证程序的正确性1.1.2 效果演示1.1.2.1 配置flink_home[robin@node01 module]$ sudo vi /etc/profileexport FLINK_HOME=/op...
2020-03-21 16:45:11
1423
原创 14. SpringCloud Alibaba Nacos服务注册和配置中心
项目地址: https://github.com/coderTomato/mscloud_H1. Nacos简介1.1 为什么叫Nacos？前四个字母分别为Naming和Configuration的前两个字母，最后的s为Service1.2 是什么一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台Nacos就是注册中心+配置中心的组合1.3 能干嘛替代Eureka作服...
2020-03-20 15:11:23
519
原创 8.Gateway新一代网关
1. 概述1.1 官网上一代zuul https://github.com/Netflix/zuul/wiki当前gateway https://cloud.spring.io/spring-cloud-static/spring-cloud-gateway/2.2.1.RELEASE/reference/html/1.2 是什么Gateway是SpringCloud的一个全新项目，基...
2020-03-20 11:42:37
436
原创 6.OpenFeign服务接口调用
1. 概述1.1 OpenFeign 是什么https://cloud.spring.io/spring-cloud-static/Hoxton.SR1/reference/htmlsingle/#spring-cloud-openfeignFeign是一个声明式Web Service客户端。使用Feign能让编写Web Service客户端更加简单, 它的使用方法是定义一个接口，然后在...
2020-03-19 20:54:20
1467
原创 5.Ribbon负载均衡服务调用
1. 概述1.1 Ribbon是什么Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端 负载均衡的工具简单的说Ribbon是Netflix发布的开源项目，主要功能是提供客户端的软件负载均衡算法和服务调用。Ribbon客户端组件提供一系列完善的配置项如连接超时，重试等。简单的说，就是在配置文件中列出Load Balancer后面所有的机器，Ribbon会自...
2020-03-19 20:32:07
272
原创 调用链跟踪 Spring Cloud Sleuth
源码地址： https://github.com/coderTomato/microservicecloud1 Sleuth 简介打开官网就可以看到对 Sleuth 的一个简单功能介绍。(Spring Cloud Sleuth可以实现)针对Spring Cloud应用程序的分布式跟踪，兼容Zipkin、 HTrace 和基于日志的(如 Elk)跟踪。Spring Cloud Sleut...
2020-03-19 11:30:57
450
原创 4.Consul服务注册与发现
1. Consul简介1.1 Consul是什么官网https://www.consul.io/intro/index.htmlConsul 是一套开源的分布式服务发现和配置管理系统，由HashiCorp公司用Go语言开发的提供了微服务系统中的服务治理、配置中心、控制总线等功能。这些功能中的每个都可以根据需要单独使用，也可以一起使用以构建全方位的服务网格，总之Consul提供了一种完整的...
2020-03-17 14:49:41
684
原创 3.Zookeeper服务注册与发现
1. 注册中心Zookeeperzookeeper是一个分布式协调工具，可以实现注册中心功能关闭Linux服务器防火墙后启动zookeeper服务器zookeeper服务器取代Eureka服务器，作为服务注册中心2. 服务提供者2.1 新建cloud-provider-payment80042.2 修改pom文件添加zookeeper依赖<!-- zookeeper--&g...
2020-03-17 11:33:00
325
原创 2.Eureka服务注册与发现
1. Eureka基础知识1.1 什么是服务治理SpringCloud封装了Netflix公司开发的Eureka模块来实现服务治理在传统的rpc远程调用框架中，管理每个服务与服务之间依赖关系比较复杂，管理比较复杂，所以需要使用服务治理，管理服务与服务之间依赖关系，可以实现服务调用、负载均衡、容错等，实现服务发现与注册1.2 什么是服务注册与发现Eureka采用了CS的设计架构，Eure...
2020-03-16 14:26:56
264
原创 1.springcloudH版简介及服务工程构建
微服务服务工程构建1. 从2.2.X和H版开始说起1.1 springboot版本选择git源码地址: https://github.com/spring-projects/spring-boot/releases/springboot2.0新特性https://github.com/spring-projects/spring-boot/wiki/Spring-Boot-2.0-Rele...
2020-03-16 13:24:55
1691
1
原创 k8s部署微服务组件config
1. spring cloud config 概述1.1 官网介绍1.2 统合说明Spring Cloud Config 就是对微服务的配置文件进行统一管理的。其工作原理是，我们首 先需要将各个微服务公共的配置信息推送到 GitHub 远程版本库。然后我们再定义一个 Spring Cloud Config Server，其会连接上这个 GitHub 远程库。这样我们就可以定义 Config...
2020-03-04 10:41:26
1194
1
原创 k8s部署微服务组件hystrix
1、Hystrix断路器概述Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，Hystrix能够保证在一个依赖出问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。“断路器”本身是一种开关装置，当Hystrix监控到某个服务发生故障之后熔断器会开启，将此服务链路断开，不过hystrix不会将该服务的...
2020-03-03 13:56:05
880
原创 k8s部署微服务组件Zuul
1、zuul路由网关概述1.1 Zuul简介网关是系统唯一对外的入口，介于客户端与服务器端之间，用于对请求进行鉴权、限流、 路由、监控等功能。其中路由功能负责将外部请求转发到具体的微服务实例上，是实现外部访问统一入口的基础而过滤器功能则负责对请求的处理过程进行干预，是实现请求校验、鉴权等处理Zuul和Eureka进行整合，将Zuul自身注册为Eureka服务治理下的应用，同时从Eureka...
2020-03-02 21:06:29
1647
原创 k8s部署微服务组件Ribbon
1、Ribbon负载均衡组件部署到K8S1.1 Ribbon是什么Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。简单的说，Ribbon是Netflix发布的开源项目，主要功能是提供客户端的软件负载均衡算法，将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时，重试等。简单的说，就是在配置文件中...
2020-03-02 11:19:51
1314
原创 4.k8s部署微服务组件Feign
1. Feign概述1.1是什么官网解释：http://projects.spring.io/spring-cloud/spring-cloud.html#spring-cloud-feignFeign是一个声明式REST客户端。使用Feign能让编写Web Service客户端更加简单, 它的使用方法是定义一个接口，然后在上面添加注解，同时也支持JAX-RS标准的注解。Feign也支持可...
2020-02-28 10:09:54
1853
2
原创 k8s部署微服务实例consumer
1、编写微服务消费者consumer并部署到K8S1.1 创建一个 Spring Initializr 工程命名为 01-consumer-8080，导入 Lombok 与 Web 依赖。pom.xml添加依赖 <parent> <groupId>org.springframework.boot</groupId> &l...
2020-02-27 14:13:44
1119
原创 k8s部署微服务之服务提供者
1、编写微服务msc-provider8081并部署到K8S1.1 创建微服务工程msc-provider8081idea创建一个 Spring Initializr 工程，并命名为 msc-provider-8081。导入 Lombok、Web、JPA 及 MySQL 驱动依赖。pom.xml添加依赖<parent><...
2020-02-26 14:51:58
555
原创 k8s部署微服务组件eureka
本文是在CentOS7环境上，搭建微服务集群系统简单样例。架构描述：k8s集群：2台master node，1台slave node，均安装maven、docker、k8s环境；k8s集群系统用来保证单个服务指定数量的微服务实例副本Pod。1、编写微服务注册中心msc-eureka8761并部署到K8S1.1 Eureka是什么Eureka是Netflix的一个子模块，也是核心模块之一。Eu...
2020-02-26 10:56:19
4889
1
原创 编译flink1.9.0 报flink-fs-hadoop-shaded找不到
编译flink1.9.0 报flink-fs-hadoop-shaded找不到1.Flink 源码下载git clone [email protected]:apache/flink.git然后你可以切换到项目的不同分支，执行下面命令将代码切换到 release-1.9 分支：git checkout release-1.92.Flink 源码编译mvn clean install -D...
2020-02-22 09:35:27
3993
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人