- 博客(113)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 详解ShardingSphere新增的COSID分布式主键生成框架
雪花算法对于分布式主键不冲突的作用是无可挑剔的，但是在分库分表的场景下，雪花算法却埋着一个很多人踩过却一直被人忽视的神坑。另外，ShardingSphere5.x版本集成了一个新的主键生成框架CosId。这么个小问题为什么要搞个框架？分布式主键生成问题到底要怎么玩？花点时间，我来带你一一梳理。
2023-04-21 16:00:17
1449
1
原创 关于程序员中年危机的一个真实案例
关于中年危机，网上已经有了各种各样的解读。但是，这两天一个学员跟我简单几句聊天，却触发了对于中年危机的另一种思考。如果你曾经也有点迷茫，或许你可以稍微花几分钟看下这个故事。
2023-02-26 18:18:44
9697
23
原创 Kafka3.x核心速查手册三、服务端原理篇-3、Broker故障恢复机制
所有Follower Partition上报后，Leader Partition才能更新HW的值，然后Follower Partition在下次拉取消息时，才能更新HW值。当Leader Partition出现切换，所有的Follower Partition都按照自己的HW进行数据恢复，就会出现数据不一致的情况。所以在很多对性能要求比较高的线上环境，会选择关闭Kafka的这个Leader Partiton自平衡操作，而用其他运维的方式手动进行Leader Partiton自平衡，尽量减少自平衡过程。
2022-09-16 19:33:25
1283
原创 Kafka3.x核心速查手册三、服务端原理篇-2、Broker选举机制
而在一个Partition的众多备份中，需要选举出一个Leader Partition，负责对接所有的客户端请求，并将消息优先保存，然后再通知其他Follower Partition来同步消息。 当一个集群内的Kafka服务启动时，就会尝试往Zookeeper上创建一个/controller临时节点，并将自己的brokerid写入这个节点。 选举产生的Controller节点，就会负责监听Zookeeper中的其他一些关键节点，触发集群的相关管理工作。
2022-09-16 19:31:06
831
原创 Kafka3.x核心速查手册三、服务端原理篇-1、Zookeeper整体数据
这一部分主要是理解Kafka的服务端重要原理。但是Kafak为了保证高吞吐，高性能，很多具体实现都是相当复杂的。如果直接跳进去学习研究，很快就会晕头转向。所以，找一个简单清晰的主线就显得尤为重要。这一部分主要是从存储的角度来理解Kafka的Broker运行机制。这对于上一章节建立的简单模型，是一个很好的细节补充。 Kafka依赖很多的存储数据，但是，总体上是有划分的。Kafka会将每个服务的不同之处，也就是状态信息，保存到Zookeeper中。
2022-09-16 19:28:49
709
原创 kafka如何保证消息不丢失？半分钟的答案和半个小时的答案有点不一样。
关于Kafka保证消息不丢失的问题，就简单总结到这里，但这其实并不是结束。相反，随着你对Kafka理解得越深，你会发现这个问题会有更多的发散空间。像MQ如何保证消息不丢失？如何不重复消费？如何处理消息积压？等等，这都是一系列非常开放的面试题。对于你是否真正理解了每个MQ产品，是非常好的检验标准。所以，这么好的题目，如果只是简简单单背个八股文，那太可惜了。...
2022-08-30 19:47:54
7344
原创 Kafka3.x核心速查手册二、客户端使用篇-2、分组消费机制
Kafka的HighLevel API的重要目的就是想要简化客户端的使用方式，所以对于API的使用，尽量熟练就可以了。对于其他重要的属性，都可以通过源码中的描述去学习，并且可以设计一些场景去进行验证。其重点，是要逐步在脑海之中建立一个Message在Kafka集群中进行流转的基础模型。 其实Kafka的设计精髓，是在网络不稳定，服务也随时会崩溃的这些作死的复杂场景下，如何保证消息的高并发、高吞吐，那才是Kafka最为精妙的地方。但是要理解那些复杂的问题，都是需要建立在这个基础模型基础上的。...
2022-08-28 15:57:43
543
原创 Kafka3.x核心速查手册二客户端使用篇-1、从基础的客户端说起
这一部分主要是从客户端使用的角度来理解Kakfa的重要机制。重点依然是要建立自己脑海中的Kafka消费模型。Kafka的HighLevel API使用是非常简单的，所以梳理模型时也要尽量简单化，主线清晰，细节慢慢扩展。...
2022-08-28 15:55:05
409
原创 RocketMQ广播消费本地Offset文件丢失问题探秘
消费者端存储广播消费的本地offsets文件的默认缓存目录是 System.getProperty(“user.home”) + File.separator + “.rocketmq_offsets” ，可以通过定制 rocketmq.client.localOffsetStoreDir 系统属性进行修改。本地offsets文件在缓存目录中的具体位置与消费者的clientIp 和 instanceName有关。...
2022-08-15 17:26:43
2216
8
原创 MyCat2测试实战 -- 王者归来的故事
关于MyCat，不用做过多介绍，曾经大名鼎鼎的分库分表中间件。诞生于2013年，从MyCat1.6版本之后，陷入了一段时间的沉寂。从2021年11月低开始，重新推出新版本的MyCat2，官网地址：http://www.mycat.org.cn/ 。 重要特性一目了然，独立，是他最大的标签。然后在他的Git仓库中，对产品有一个简单的介绍： 立足于Sharding分库分表。简单、快速是MyCat2对自己最直白的声明。他的定位其实是代表了一整套基于MySQL的分布式数据处理系统，可以让MySQL拥有堪比
2022-06-22 09:25:01
2884
1
原创 大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手
大数据基石-Hadoop Hadoop3.x版本全系列教程 === 楼兰 ===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、上手总结一、关于Hadoop1、关于Hadoop产品 首先，关于Hadoop的重要性 对于Hadoop的重要性，再怎么强调也不过分。他可以说是开源大数据领域的开辟之...
2022-04-29 15:23:41
569
原创 ShardingSphere分库分表6-5.x新版本特性
文章目录一、整体理解新版本二、5.X部分新特性1、DistSQL2、可插拔内核3、数据迁移三、全部内容总结一、整体理解新版本 ShardingSphere在2021年十月份推出了5.0的第一个发布版本，并在2022年一月份推出了5.1版本。从整体来看，ShardingSphere5.x将自己的功能定位从数据库中间件升级到了DataBase Plus，数据库功能增强。核心产品定位的变化，必然会带来非常多的改变。不过从功能方面来看，目前5.X版本还只是做了一些功能增强，但是核心功能并没有太大的变动。很多规
2022-04-11 14:53:57
3403
原创 ShardingShpere分库分表5-ShardingSphere分布式事务详解
文章目录一、ShardingJDBC分布式事务快速上手LOCAL本地事务XA事务快速上手BASE柔性事务快速上手seata部署方式：客户端使用Base事务二、分布式事务原理详解XA事务Base柔性事务ShardingJDBC扩展分布式事务管理器三、ShardingProxy分布式事务示例一、ShardingJDBC分布式事务快速上手ShardingJDBC支持的分布式事务方式有三种 LOCAL, XA , BASE，这三种事务实现方式都是采用的对代码无侵入的方式实现的。具体见 TransactionTy
2022-03-02 16:09:54
3742
2
原创 大数据基石-Hadoop3.x学习教程-大数据场景介绍
大数据基石-Hadoop Hadoop3.x版本全系列教程 === 楼兰 ===文章目录一、理解大数据1、大数据的特点2、大数据的应用方向3、大数据的工作前景二、大数据课程体系介绍1、大数据前置知识2、大数据课程体系一、理解大数据1、大数据的特点 大数据这个概念已经随着互联网不断融入到了我们生活的方面面中。他即是一片新的业务场景，也代表了一系列极具挑战的技术方向。从这个课程开始，我们就将真正开始进入大数据的世界。后续将有一系列的技术课程与项目实战，带大家系...
2022-01-27 13:28:44
1412
原创 最强OLAP分析引擎-Clickhouse快速精通-下
最强OLAP分析引擎-Clickhouse快速精通二==楼兰==文章目录四、集群机制4.1 数据副本4.2 分布式表五、配置优化六、查询优化6.1 查看执行计划6.2 clickhouse内置的语法优化规则6.3 高性能查询优化1、选择合适的表引擎2、建表时不要使用Nullable3、合适的划分分区和索引4、数据变更优化5、使用Prewhere替代where6、指定列和分区7、避免构建虚拟列8、用IN代替JOIN七、生产常见问题1、Clickhouse的数据一致性问题2、多副本表，尽量固定写入的节点3、
2021-11-28 15:30:50
736
原创 最强OLAP分析引擎-Clickhouse快速精通-上
最强OLAP分析引擎-Clickhouse快速精通一==楼兰==文章目录一、Clickhouse简介1、什么是Clickhouse2、Clickhouse适用场景。二、Clickhouse环境安装1、线上快速体验2、本地快速部署3、远程连接clickhouse3.1 打开远程连接控制3.2 其他方式访问clickhouse三、Clickhouse使用篇3.1、建库3.1.1 Atomic 库引擎3.1.2 MySQL库引擎3.2、建表3.2.1 数据类型3.2.2 MergeTree 表引擎partit
2021-11-28 15:28:24
2240
原创 互联网的未来架构之道-DDD领域驱动设计
DDD真的来了。后微服务时代，软件系统越来越庞大，也越来越老化。需求越来越模糊，代码越来越混乱，测试越来越困难，技术演进也基本不可能。大型软件项目很快从充满朝气的，充满竞争力的青年，变成了不求变，不敢变的老年。如何解决系统老化的问题？DDD领域驱动设计成了业界最大的希望。各大厂都在落地DDD，还不知道DDD？那就真的OUT了。大龄程序员如何提高竞争力？靠你的技术实力吗？信息爆炸的时代，你会的技术别人分分钟就能学会，凭什么来拉开你与别人的差距？其实方法都知道，提升架构思维，设计高质量的架构，写高质量的代码
2021-11-02 16:13:20
269
原创 sqoop快速上手
ETL系列之Sqoop==楼兰==文章目录一、ETL简介1、关于ETL2、大数据与传统关系型数据库的关系3、Sqoop简介二、Sqoop下载三、Sqoop基础使用3.1 前置软件3.2 Sqoop安装3.3 Sqoop基础使用1、查看Sqoop的帮助信息2、单独连接数据库3、导入数据4、导出数据四、详细参数补充**1 常用命令列举****2 命令&参数详解****2.1 公用参数：数据库连接****2.2 公用参数：import****2.3 公用参数：export****2.4 公用参数：hi
2021-10-11 09:09:26
240
原创 Flink流式计算从入门到实战五
文章目录八、Flink项目实战1、需求背景2、数据流程设计3、应用实现4、实现效果分析Flink流式计算实战专题五==楼兰八、Flink项目实战 这一个章节，我们来找一个常见的流式计算场景，将Flink真正用起来。1、需求背景 现在网络直播平台非常火爆，在斗鱼这样的网络直播间，经常可以看到这样的总榜排名，体现了主播的活跃度。我们就以这个贡献日榜为例，来设计一个Flink的计算程序。 大家可以思考下这样的业务场景应该要如何实现？ 对于贡献日榜 这样的功能，可以理解为是一个典型的流式计
2021-10-08 10:48:27
547
原创 Flink流式计算从入门到实战 四
文章目录六、Flink Table API 和Flink SQL1、Table API和SQL是什么？2、如何使用Table API3、基础编程框架3.1 创建TableEnvironment3.2 将流数据转换成动态表 Table3.3 将Table重新转换为DataStream4、扩展编程框架4.1 临时表与永久表4.2 AppendStream和RetractStream4.3 内置函数与自定义函数4.4 基于Connector进行数据流转4.5 Flink Table API&SQL的时间语
2021-10-08 10:47:09
1056
原创 Flink流式计算从入门到实战 三
文章目录四、Flink DataStream API1、Flink程序的基础运行模型2、Environment 运行环境3、Source3.1 基于File的数据源3.2 基于Socket的数据源3.3 基于集合的数据源3.4 从Kafka读取数据3.5 自定义Source4、Sink4.1 输出到到控制台4.2 输出到文件4.3 输出到Socket4.4 输出到kafka4.5 自定义Sink5、Transformation5.1 Map5.2 FlatMap5.3 filter 过滤5.4 keyBy5
2021-10-08 10:44:02
1640
原创 Flink流式计算从入门到实战 二
文章目录三、Flink运行架构1、JobManager和TaskManager2、并发度与Slots3、开发环境搭建4、提交到集群执行5、并行度分析6、Flink整体运行流程Flink流式计算实战专题二==楼兰三、Flink运行架构这一章重点是分析清楚运行架构以及并行度与slot的分配1、JobManager和TaskManager 从之前的环境搭建过程中，也能够看到， Flink中的节点可以分为JobManager和TaskManager。 JobManager处理器也称为Maste
2021-10-08 10:40:53
629
原创 Flink流式计算从入门到实战 一
文章目录一、理解Flink与流计算1、初识Flink2、Flink的适用场景3、流式计算梳理二、Flink安装部署1、Flink的部署方式2、获取Flink3、实验环境与前置软件4、集群搭建5、Standalone模式启动6、Yarn模式提交任务6.1、首先在yarn上启动yarn-session。6.2、提交测试任务6.3 Application Mode 应用模式6.4 Per-job Cluster Mode 单任务模式6.5 Session Mode 会话模式Flink流式计算实战专题一==楼
2021-10-08 10:38:25
1924
2
原创 DDD专栏12、专栏总结 走出自己的DDD
本专栏到这里，也就进入了尾声。实际上，DDD从2004年就被提出，多年来经过很多大神的研究与分享，DDD已经从高高在上的理论空间慢慢沉淀到了我们身边。业界对于DDD的难点，也从学习理解，下沉到了落地实践。就像专栏开篇所说的，这个专栏并不是DDD的布道文，而只是作为一个载体与大家分享我对于DDD的理解。最后这一讲，就基于我自己的理解谈谈DDD落地时需要注意的几个地方。要认识到DDD的不足 DDD基于多方面的考虑，设计出非常多的设计原则。这些条条框框多了，很多人在实践时，就总是在担心或者犹豫这是不是原
2021-10-07 13:53:27
178
原创 DDD专栏11、微服务时代，单体架构淘汰了吗？
上一讲我们重新回顾了DDD在代码设计层面的指导。通过讲解DDD的多种架构模型，解决了"DDD是什么?"的问题。DDD本质上并不是一个全新的技术或者框架，他也是和MVC架构一样，对业务逻辑进行编排和重组后形成的一种逻辑结构。最后，也提出了一种比较直接的DDD代码设计指导方式，就是菱形架构。但是还只介绍了菱形架构是什么，还没有介绍菱形架构到底如何指导程序设计。这一讲，我们将通过讲解菱形架构之间如何协作的问题，来集中解决"DDD到底干什么"的问题。DDD视角下的微服务 我们这一讲是对DDD进行重新审视，
2021-10-07 13:52:37
280
原创 DDD专栏10、DDD的架构变化之道
专栏写到这里，不知道你对DDD的理解是什么样的？本专栏从一个最具体的转账功能说起，以代码推演的方式引出了DDD的三层架构，相信由此延伸出来的DDD的概念都能够帮你对于DDD有个比较清晰的概念。DDD并不是凭空产生的，他只是对代码结构进行推演的过程中沉淀下来的一种方法论。但是当DDD从一个具体的技术架构往更上层的微服务架构以及中台战略延伸的过程中，专栏又提到DDD又要不断的进行变化。这个时候你是不是又会觉得DDD有点虚无缥缈了？专栏前面好几次提到，DDD是面向变化的一种软件设计方式，DDD到底是如何来把控
2021-10-07 13:50:02
139
原创 DDD专栏9、统一数据存储中台方案演示
上一讲分享了我关于中台的理解，最后部分也给你留了个问题，怎么设计支付风控系统的统一数据存储功能。不知道你的想法是怎样的？这一讲会分享我设计的一个方案，当然，这方案并不一定是最优的，也并不是实际项目中的方案原貌，只是和本专栏中的其他示例一样，为了加深对DDD的理解而设计出来的。你在看这一讲的过程当中，不妨和我的方案做下对比，并结合专栏前面的知识点，加深对DDD的理解。问题分析 我们先回顾下这个统一存储的问题： 之前分析过，统一存储服务这一部分的难点主要有两个。一是需要与多种数据源进行对接。例如
2021-10-07 13:47:57
287
原创 DDD专栏8：如何设计支持快速交付的技术中台？
这一讲将会要讲解如何从DDD的角度来看企业的中台建设。中台，是国内互联网中，继微服务之后又一个火热的概念。从2015年阿里提出"小前台+大中台"的概念后，中台成了国内微服务实施过程中绕不开的一个目标。但是，虽然中台的实施如火如荼，但是关于中台，依然是雾里看花，一百个人会有一百种理解。关于中台的知识，即使单独拉出一个专栏出来，也不一定能说得清楚，所以这篇专栏中不会去做过多讨论。这一讲关于中台的讲解也跟这个专栏的一样，只是作为一个载体，来分享我在参与了多个中台项目建设后的一些心得与体会。 但是，在这其中
2021-09-13 09:50:33
205
Java类加载的故事-修正终结版.zip
2020-12-06
Elasticsearch权威指南
2017-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人