weixin_42305433的博客

原创 【Reactor】学习笔记-基本概念和Mono、Flux

Reactor基本概念和Mono、Flux概述Reactor的简介使用场景概述JAVA8的函数式编程我们都比较熟悉，将一段对数据的操作逻辑，通过map、reduce、group、join、foreach、limit、count等算子进行表达最终得出结果，类似于Spark中提供的算子，虽然长的一样，但原理不同，而且Hadoop中也有对应的MapReduce写法，感觉也差不多的样子，现在又有了Reactor，也是一长串函数式编程的代码风格，那区别在哪里；代码虽然看起来很像，有两点区别：1、核心实现上

原创 Zuul转发请求时出现单个服务请求卡死并大量CLOSE_WAIT的原因

Zuul转发请求时出现单个服务请求卡死并大量CLOSE_WAIT的原因背景第一次定位背景最近工作中遇到了一个问题，比较奇怪，生产环境上各个服务的请求均正常，但是有一个服务A，只要启动后，经过一段时间，再去通过浏览器访问这个服务的页面，就会一直转圈圈，此时这个服务的actuator接口是正常的，需要重启zuul就能恢复正常，但F5一会这个A服务的页面，就又会卡死，神奇的是，同样的服务A和Zuul网关版本，在不同的环境上，有时会出现，有时不出现，甚至后来问题的现象从单个服务A的不可用，变成了整个系统的无响应

原创 Zuul实现请求自定义的过滤转发

Zuul实现请求自定义的过滤转发背景实现方式一：定义一个Filter，修改servletRequest属性，绕开ZuulFilter进行自定义的转发背景最近工作中遇到一个场景，前端请求需要根据一个参数hash到固定的某个服务实例上，由于请求转发部分项目中使用的Zuul是通过Ribbon默认进行转发，在Eureka上选取的实例是不一定的，因此需要考虑如何替代Ribbon或其他方案来实现。在实现过程中发现方式比较多，将常见的几种记录一下，大体的思路都是通过filter识别匹配到请求，要么绕开Zuul，要么

原创 【LeetCode】第三次总结。

题目汇总二叉树的最大宽度节点间通路阈值距离内邻居最少的城市计划对LeetCode刷题，顺便总结一下，四个阶段：找出典型中等、困难题目，走读题目根据自己还记得的算法尝试回忆一遍对照答案，识别自己的算法弱项，巩固算法后练习一遍典型习题尝试找出同类型题目，巩固练习一遍找出算法短板，重复1/2/3算法总结题目我的算法典型算法二叉树的最大宽度链接：https://leetcode-cn.com/problems/maximum-width-of-binary-tree给定

原创 【LeetCode】第二次总结。

题目汇总建筑物的最短距离寻找峰值只出现一次的数字课程表矩阵中的最长递增路径被围绕的区域情侣牵手寻找重复子树计划对LeetCode刷题，顺便总结一下，四个阶段：找出典型中等、困难题目，走读题目根据自己还记得的算法尝试回忆一遍对照答案，识别自己的算法弱项，巩固算法后练习一遍典型习题尝试找出同类型题目，巩固练习一遍找出算法短板，重复1/2/3算法总结题目我的算法典型算法建筑物的最短距离暴力算法，挨个点计算距离和，然后得出最小的距离和寻找峰值暴力破解，遍历一次

原创 【LeetCode】第一次总结。

计划对LeetCode刷题，顺便总结一下，四个阶段：找出典型中等、困难题目，走读题目根据自己还记得的算法尝试回忆一遍对照答案，识别自己的算法弱项，巩固算法后练习一遍典型习题尝试找出同类型题目，巩固练习一遍找出算法短板，重复1/2/3收集树上所有苹果的最少时间https://leetcode-cn.com/problems/minimum-time-to-collect-all-apples-in-a-tree/给你一棵有 n 个节点的无向树，节点编号为 0 到 n-1 ，它们中有一些节点有

转载 转载一篇kafka重复消费相关的文章

背景：项目中kafka集群出现了一个现象，好早之前的消息被重复多次消费，查了一下应该是和这篇文章所说问题对应：https://blog.csdn.net/sunny05296/article/details/97029889问题一句话总结：kafka的数据存储了7天，但是offset存储了1天，当offset失效后从0开始消费，每次都是从7天前的消息开始消费，所以在7天内可能出现多次重复消费的现象关于kafka 0.10.0.0 的默认参数 offsets.retention.minutes &

原创 最近关于EurekaServer、EurekaClient以及Ingress的一些使用心得

最近关于EurekaServer、EurekaClient以及Ingress的一些使用心得要点使用Ingress的方式替代NodePort，同时支持IP白名单理解EurekaClient的心跳机制并让healthCheck生效要点最近工作中对EurekaServer、EurekaClient、Ingress又做了一些优化，主要分一下几个场景：1、集群中存在大量NodePort，项目早期比较偷懒所以就用这个方式，导致通信矩阵复杂，管理麻烦，如何解决？2、EurekaServer上实例注册后，此时请求S

原创 微观经济学读书笔记（２）供给和需求的应用

微观经济学读书笔记（２）供给和需求的应用本章的目的价格的弹性价格的弹性对市场的指导意义弹性与收益关系丰收悖论本章的目的前面部分讲到了经济组织中的基本概念，包括土地、效率、市场、供给、需求、市场价格、PPF、需求/供给和价格的关系等等，前面提到“看不见的手”其实在某些场景下存在一些无法解决的问题， 外部性、外溢性等等，本章将介绍一个基本的价格弹性概念，这个概念可以帮助我们在平时的经济活动中，提高组织的经济效率，指导政府、生产组织进行更有效率的经济活动和生产活动。价格的弹性价格弹性分两说：需求的价格

原创 HDFS Router based基本概念

HDFS Router based基本概念背景整体架构关于Router关于Quota关于State Store关于安全关于部署关于挂载表如何增加一个挂载表Quotas的使用多个子集群的场景disable掉一个NameServiceRouter的一般刷新方式客户端配置Router的配置描述背景近期项目考虑解决HDFS节点的上限问题，HDFS单个的NameNode对存储、计算资源的限制，主要原因在单个NameNode存在瓶颈，所有文件索引信息以及HDFS Client的请求都集中在单个节点的服务，因此需要对

原创 深入剖析Kubernetes读书笔记（一）基本概念、容器编排、kubernetes的持久化和网络

深入剖析Kubernetes读书笔记（一）基本概念和kubernetes编排调度介绍入门相关（行业发展&Docker）什么是Docker镜像实现隔离的关键容器的总结浅谈kubernetes、kubernetes部署kubernetes的编排和调度介绍kubernetes in action读的差不多了，篇幅比较大，其实是需要一开始把书读薄一些的，对kubernetes的概念讲的比较细，底层也只是大概讲了一下，不涉及源码和kubernetes的设计理念，前几天查阅资料时偶然发现一个极客时间上的教材

原创 kubernetes in action读书笔记（五）Kubernetes的运行机理、Kubernetes网络原理

kubernetes in action读书笔记（五）Kubernetes的运行机理、Kubernetes网络原理概述K8S分为哪些部分Kubernetes的网络其他关于Kubernetes的安全控制、pod安全隔离、pod安全策略、kubernetes用户/组的安全管理概述本章翻读了一下，发现也只是介绍了基本的概念和流程，把k8s中涉及的一些控制面服务介绍了，没有讲太细，比如，kube-proxy具体如何去写iptable，kube-dns如何更新resolve.conf，controller创建po

原创 kubernetes in action读书笔记（四）ConfigMap、Secret、滚动升级、downwardAPI、Deployment、Statefulset

kubernetes in action读书笔记（四）ConfigMap、Secret、滚动升级、downwardAPI、Deployment、StatefulsetConfigMapSecret如何访问pod的元数据由滚动升级引出Deployment原始的RC人工滚动升级缺陷DeploymentStatefulsetConfigMap没有太多好说的，一个用来解决服务配置的资源，可以避免硬编码...

原创 微观经济学读书笔记（1）经济学基础，经济中的市场和政府，供给和需求的基本原理

背景最近经济形势动荡，美股多次熔断，美联储触发货币量化宽松，当时看到这些消息后知道对经济形势影响很大，和生活息息相关，但是又不了解其中原理到底是啥，决定学一些基本的经济、金融、财务知识。之前其实也有读过一些书，包括微观经济学、国富论、生活中的经济学、穷爸爸富爸爸等，但基本都是过一遍没太走心，所以决定重读一遍，系统梳理一下知识点，希望能够学以致用，至少能够像阅读科技专栏文章一样阅读财经专栏的文章...

原创 解决Zuul-Eureka-Ribbon服务优雅下线

解决Eureka-Ribbon服务优雅下线背景背景为实现产品升级不中断，准备通过服务的滚动升级确保升级阶段始终有可用服务实例，但是发现滚动

原创 kubernetes in action读书笔记（三）pod中的磁盘挂载，卷/持久卷/持久卷声明

kubernetes in action读书笔记（三）pod中的磁盘挂载，卷/持久卷/持久卷声明卷（volume）持久卷（persist volume）和持久卷声明 （persist volume claim）卷（volume）volume，和pod拥有相同的生命周期，pod创建时创建 ，pod删除时删除，volume本身并不是一个独立的kubernetes资源对象，而是pod的一个属性，vo...

原创 kubernetes in action读书笔记（二）客户端与pod通信，pod与pod通信

kubernetes in action读书笔记（二）客户端与pod通信，pod与pod通信ServiceService先记一些问题：1、当创建了一个svc后，一个集群内的pod向这个svc（假设有3个pod）的IP发送了一个请求，该请求会被Kubernetes服务代理截取，并在3个pod中选一个pod，然后将请求转发给这个pod，问题：这里的服务代理是什么，负载均衡我理解是通过ipTa...

原创 kubernetes in action读书笔记（一）容器、pod以及RC/RS

kubernetes in action读书笔记（一）why kubernetes无论是和原先的计算调度集群hadoop相比，或是在早先的操作系统虚拟化技术对比，都具备一定优势，脱离了对单个虚拟机的配置和管理，同时也避免了虚拟机对操作系统的资源浪费。关于容器在环境配置方面的便利性，举个例子，一个应用只能在某个特定版本的内核上运行，通过镜像就能成本很低的管理，而如果是虚拟机就得用户自己来管理。...

原创 Spark on K8S（spark-on-kubernetes-operator）常见问题（二）

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题（二）Spark的executor/driver怎么持久化日志Spark history server怎么配置生效Spark-operator namespace下的xxxxx-webhook是做什么的Spark Demo过程中的常见问题（二）S...

原创 Spark on K8S（spark-on-kubernetes-operator）常见问题（一）

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程（二）Spark Demo过程中的常见问题Spark的executor/driver怎么持久化日志如何让Spark程序可以连接HDFS集群如何对hadoop的参数进行配置如何让executor/driver集中部署在不同的node上如何配置spark的运行参数关于kerberosSpark...

原创 Spark on K8S（spark-on-kubernetes-operator）环境搭建

Spark on K8S（spark-on-kubernetes-operator）环境搭建以及demo过程环境要求基本原理环境安装kubernetes 1.13环境安装Spark-on-kubernetes-operator环境安装关于kerberos环境要求Operator Version：最新即可 Kubernetes Version: 1.13或更高 Spark Version：2...

原创 Kafka Leader、Partition、Topic、Consumer关系

先mark一下，回头再补充。

原创 indexR 笔记

原创 使用kubeadm安装Kubernetes 1.13（2）

2.3 安装Pod Network$ kubectl apply -f “https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d ‘\n’)”去掉docker的科学上网配置docker私仓/etc/docker/daemon.json{“insecure-registries”: ...

原创 使用kubeadm安装Kubernetes 1.13（1）

使用kubeadm安装Kubernetes 1.131.准备1.1 系统配置在安装之前，需要先做如下准备。两台CentOS 7.4主机如下：cat /etc/hosts192.168.61.11 node1192.168.61.12 node2如果各个主机启用了防火墙，需要开放Kubernetes各个组件所需要的端口，可以查看Installing kubeadm中的”Check re...

原创 使用XtraBackup进行MySQL增量物理热备份

使用XtraBackup可以实现MySQL的热备份，即备份期间数据库读写自由（DDL除外），同时避免全量备份导致的高IO，备份和恢复都通过物理层进行，效率高，对比mysqldump每次全量的逻辑备份提升不少。但是有2点需要注意：1、热备份期间，DDL会锁2、MySQL版本需要支持lock tables for backup，否则无法实现热备份另外，从效率角度看主从备份和本地的binlog数...

原创 MySQL拷贝迁移记录

遇到的一些问题和解决方法：1、修改mysql数据目录权限https://blog.csdn.net/w410589502/article/details/53945499https://www.wdlinux.cn/bbs/thread-57988-1-1.html2、拷贝ibdatahttp://www.voidcn.com/article/p-hkffrrsj-wk.html3、修...

原创 配置Ingress实现产品服务降级

通过增加Ingress实现服务降级近期遇到一个问题，产品升级过程过程中实现所有服务访问定向到升级页面，升级完成后，产品所有服务恢复正常，同时，针对部分服务进行过滤（监控、告警等），升级过程中仍保持可访问状态。产品通过Nginx-ingress-controller提供http服务，通过升级前创建ingress，升级后删除ingress实现升级过程中的重定向吗，ingress yaml如下：a...

原创 SpringCloud + kubernetes集群内的HTTP请求流程

第一步，先了解一次http请求从外部到K8S集群后的分发过程：1、http请求根据域名解析到达对应的主机（途中Nginx-ingress-controller所在机器）2、该主机Nginx-ingress-controller是主机网络部署（yaml中hostnetwork=true），监听803、Nginx收到请求后，通过ingress-controller过滤K8S集群中的ingre...

原创 记一次YarnClient使用过程中遇到的问题

问题现象：yarnClient通过kerbroes认证，查询nodereport正常，但是当使用getApplications时，查询失败，日志中提示从客户端发送给RM的protobuff格式不对，在RM产生了异常信息。...

原创 记一次fastjson使用过程中的隐藏坑点

现象：服务A向服务B发请求，B服务http response很慢，10~120秒之间，在请求一段时间后，会把服务A拖垮。服务A/B均使用了组件C定位过程：看了服务B的接口代码，发现并没有很复杂的逻辑，仅仅是一次sql的insert，通过日志观察，耗时主要是在组件C内部的一个map的put过程，put前后均有log，两段log耗时很长，第二段log刚好将map打印出来了。1、put过程不应...

转载 Hadoop Yarn学习笔记（2）

Yarn的任务提交流程与状态机任务提交流程（1）来自：链接：https://www.jianshu.com/p/254d01eaf8841、job client向ResourceManager提交执行job申请。2、ResourceManager接收job请求， 生成job id， 返回job id, staging工作目录等信息给job client。3、Client把资源jar等拷...

原创 Hadoop Yarn学习笔记（1）

Yarn的基本角色概念原生的Hadoop MapReduce过程存在几个问题：1、JobTracker单节点同时管理资源、任务，负载高，导致集群节点存在上线，计算过程上下文切换成本高2、资源的slot配置，Map/Reduce的资源配比固定导致资源浪费3、代码比较负载，资源/任务一起管理4、集群的可接入性差，因为JobTracker/TaskTracker已经做了MapReduce的定制...

原创 MySQL主从同步配置过程中发现的一个问题，从库的请求周期配置应该是不存在的。

以这篇文章为例，实际对主节点产生关键影响的是binlog dump thread的执行频率，从本文中看到“i/o线程去请求主库 的binlog”，则想到这个属性应该是在从节点进行配置的，但是并没有在网上找到（Mysql官网没看），因此怀疑真实性。在本地测试过程中，发现同步的实时性比较高，观察slave status时，发现：看这句话的意思，应该是主节点触发从节点请求，因此本文中描述可能是有问...