- 博客(116)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 如何通过CQRS架构高效解决12306的库存问题
12306主要性能问题还是出在出票和余票查询。当前通过CQRS架构结合聚合根在内存、事件回溯的手段来解决以上两个问题。 实现了买票、退票、站点最多可卖座位数限制、 站点间预留票(最低保留座位数，最多可卖座位数)、取消预留票功能。主要用到两个数据结构为跳表、位图。假设车次k41有途径4个站点分别为1，2，3，4，总共8个座位。1.初始化车次站点票信息10002 表示表示站点1到站点2, 0000 0000 表示有8个座位，下标从0-7.20003 表示表示站点2到站点3, 0000 0000 表..
2022-02-10 11:42:00
635
转载 电商购物车设计（附案例学习）
也就是说它的设计是分层的，除了基础（default）的设计之外，我们还需要叠加上一层业务的特性，它最终的呈现也与业务有着很强的关系。用户会选择多件商品放到购物车里，也会对购物车内的商品买多或减少几件，甚至后悔删除某些商品。总结：每个产品在细节处理上都有细微的不同，但商品失效管理功能的设计的核心在于提示用户购物车内的某些商品无法购买了，不因为商品突然不见或无法购买而造成困惑。例如京东的凑单设计，结合运费减免，激励用户选择更多的商品以达到免运费的总价要求，购物车就这样在无形中销售了更多的商品。
2023-04-25 10:34:56
1187
转载 思考：如何保证服务稳定性？
混沌工程是近几年比较火的名词，通过不断给系统找麻烦来验证并完善系统能力，阿里在这块花了很大的精力建设红蓝军对抗攻防，进行定期和不定期的演练，最后以打分的形式来给各个部门系统做排名，除了系统层面的故障演练外还有资金演练，篡改线上sql语句制造资损来测试业务监控纠错的能力，通过制造小错来避免大错。：起源于15年某施工队将光纤挖断带来的支付宝故障，由此出来的三地五中心和单元化架构，异地多活本身的成本比较高，然后又存在数据同步的延时问题和切流带来的脏数据问题，对于业务和技术都有比较高的要求。
2023-01-05 15:35:36
455
转载 Java中“附近的人”实现方案讨论及代码实现
1|0 前言在我们平时使用的许多app中有附近的人这一功能，像微信、qq附近的人，哈罗、街兔附近的车辆。这些功能就在我们日常生活中出现。像类似于附近的人这一类业务，在Java中是如何实现的呢？本文就简单介绍下目前的几种解决方案，并提供简单的示例代码注: 本文仅涉及附近的人这一业务场景的解决方案讨论，并未涉及到相关的技术细节和方案优化，各位看官可以放心阅读。2|0基本套路和方案目前业内的解决方案大都依据geoHash展开，考虑到不同的数据量以及不同的业务场景，本文主要讨论以下3
2022-02-07 11:17:22
758
转载 我做系统架构的一些原则
工作 20 多年了，这 20 来年看到了很多公司系统架构，也看到了很多问题，在跟这些公司进行交流和讨论的时候，包括进行实施和方案比较的时候，都有很多各种方案的比较和妥协，因为相关的经历越来越多，所以，逐渐形成了自己的逻辑和方法论。今天，想写下这篇文章，把我的这些个人的经验和想法总结下来，希望能够让更多的人可以参考和借鉴，并能够做出更好的架构来。另外，我的这些思维方式和原则都针对于现有市面上众多不合理的架构和方案，所以，也算是一种“纠正”……（注意，这篇文章所说的这些架构上的原则，一般适用于相对比较复杂的业务
2021-12-22 10:46:28
248
转载 你应该知道的计算机延迟数字
了解常见的计算机延迟，有助于架构设计和问题排查。比如互斥锁延迟，硬盘存取延迟，网络延迟等等。通过了解不同设备或环境的延迟的数量级，就很容易理解redis为什么比mysql快很多，异地多活架构有多难。本文从微观的CPU时钟延迟开始，到宏观的异地双机房网络延迟，描述各种延迟的数量级。延迟的定义如下是维基百科对延迟的定义：Latencyfrom a general point of view is a time delay between the cause and the effect of.
2021-06-17 17:08:29
653
转载 Kotlin协程原理解析
Kotlin协程实际上是所谓的stackless协程，即没有在线程之上实现类似线程栈的结构，可以认为是一种kotlin语言层面支持的 线程调度框架，使用这个框架，我们可以省去手动书写callback，使代码看上去是同步的使用了协程以后，原本需要回调实现的非阻塞功能可以用阻塞的方式去写，比如：launch { // 异步读时挂起 val bytesRead = inChannel.aRead(buf) // 读完成后才执行这一行 ... ... .
2021-03-18 11:08:21
462
原创 没有关系数据库、事务如何做一个交易系统
之前一次心签到有提到如果没有关系数据库、没有事务我们要如何做一个在线交易的系统。这个对于以往重度依赖数据库、事务机制开发的同学会一头雾水，这要如何去做？我相信也有一部分人会觉得很疑惑。这和我以往开发的方式完全不一样？很多时候在一个分布式的系统里面我们是很难做到ACID的机制的，所以又演化出BASE理论，BASE理论是允许或容忍系统出现暂时性的问题。那如何应用这个理论来解决我上面说的这个问题。那提出一个新的观念：补偿事务。我们可以通过现实生活中的例子来看看是怎么做的。比我我现在要出差，首先要请假、买机票这两.
2021-03-10 00:47:32
119
转载 JAVA 线上故障排查全套路
线上故障主要会包括 CPU、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导
2021-03-06 22:39:50
160
原创 同步调用与异步调用分析
服务与服务间的调用方式分为两种同步调用、异步调用。同步调用可以理解为A打电话给B，需要实时响应，异步调用类似A给B发送邮件，B不需要马上回复。这两种调用方式应该说都有的优缺点。但是在面对一个高并发吞吐量的系统，异步方式比同步方式可以大大增加系统的吞吐量。A,B,C,E可以同时给F发送邮件，F可以不在线，不用立即回复。对于服务化后服务与服务之间的调用也类似这样一个原理。同步调用虽然只是耦合外部接口，实时性上会高于异步调用，但是会带来很多的问题。1.调用方的吞吐量受限于被调用方的吞吐量，一旦某个服务响应特..
2021-03-05 21:58:17
1365
转载 盘点一下我用kafka两年以来踩过的一些非比寻常的坑
前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了，就可以通过该系统出菜。系统自动通知服务员上菜，如果服务员上完菜，修改菜品上菜状态，用户就知道哪些菜..
2021-03-05 14:33:15
108
转载 256变4096: 分库分表扩容如何实现平滑数据迁移?
一 背景2020年，笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统整体部署在阿里云上，服务使用阿里云ECS部署，数据库采用阿里云RDS，配置中心基于阿里云ACM自研，数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。此次进行扩分库分表的背景是，原4实例4库、每个库64张表一共256张表，部分单表已超千万量级，按当前每日单量量级，一年内单表会达到上亿条记录，单表数据量过大会带来数据库性能问题。注：[弹内弹外]弹是指弹性计算，弹内与弹外其实是指..
2021-03-05 14:29:32
184
原创 排队（顺序消费）+Group commit
阿里早期开源过一个mysql的分支alisql，他有一个特性特别吸引人，支持在mysql 引擎层对单条数据的修改进行排队的功能。这个特性能给我带来什么样的好处呢？比如我们现在有一个需求要做微博点赞量的计数器，在不用redis缓存相关技术，基于现有的技术很难做到高性能。而alisql为我们考虑的这个问题，mysql我们都知道如果一条记录存在同一个时间非常多线程去更新的时候性能非常的差。列出一个测试数据：mysql 5.6 版本，8个线程同时更新一条记录的TSP大概是4.3k，当加大512个线程去更新...
2021-03-04 22:55:34
260
1
原创 EDA事件驱动架构
事件驱动架构应该说是一种非常流行的分布式架构模式，他的经常会被用在构建一个可伸缩性的应用上，当然小型系统也同样适用。 Node用来表示一个节点，每个节点负责处理业务逻辑，Event表示这个节点处理完后产生的消息，通过通过消息中间件传递给另外一个Node。他不同于传统的SOA架构，rpc调用的方式，他是一个pub-sub的模式，节点与节点间不需要知道对方的存在，每个节点只关心自己要处理的消息，这个从耦合性上来说对比RPC调用是否非常低的，节点和节点之间不存在任何的依赖...
2021-03-03 23:12:49
970
1
原创 分库分表后如何解决不同维度查询的问题
背景大家在进行分库分表的时候应该有碰到一个问题，一个数据需要根据两种维度进行查询，但是我们在进行分库分表是只能根据一种维度进行。比如：用户购买了商品产生了订单，当用户非常多的时候，我们会选择订单根据下单用户的ID进行分库分表。但是这里面存在一个问题就是作为卖家要如何查询我卖出的所有订单呢？因为订单是根据用户id规则进行分库分表的，卖家订单查询接口物理上是无法一次查询出当前的订单的，应该他分别分布在不同的订单库或者订单表中的，有可能我查询一个订单列表，需要跨非常多的表，这个样性能是非常低效的。有没一种有效的
2021-03-02 23:55:49
1255
原创 微服务设计和拆分的原则
1.微服务的接口粒度应该多大？完成一个用例的作为服务服务接口的粒度是合理的，拆的太细面临事务问题。2.微服务到底应该如何拆分和设计？业务模型拆分：前后台业务拆分、主链路查费、领域模型拆分、用户群体拆分压力模型拆分：对于高并发量的业务，尽可能独立成微服务拆分1.压力模型拆分压力模型拆分，就是说根据用户对业务的访问量的高频进行拆分，假如存在某些服务的调用量特别巨大，我们可以将此服务独立出来单独部署。对于压力模型我们还可以细分三个维度1.高频高并发的情况。例如：商品详情页查询。他是一个高频高并发
2021-02-21 22:44:04
2551
4
原创 领域驱动设计使用中的误区
DDD的兴起的确是在微服务的流行后，才真正得到开发人员的重视。DDD的可以帮助我们更加合理的进行微服务边界划分。所以很多人的对他的认知都是DDD只适应于微服务。这个认知并不能算是合理的。单体架构也可以适用DDD的设计方法论。互联中我们有碰到很多微服务拆分过渡导致项目维护、管理难度加大，甚至失败的都有。我们一个团队可能就10个人，当我们面对一个小商城系统时，我们可能会噼里啪啦一下拆了20多个微服务出来，这个是很恐怖的。因为一旦微服务化很多问题都会接踵而来，事务、超时、熔断、限流、服务监控、排错等问题。我们有限
2021-02-19 22:54:02
159
1
原创 领域驱动设计-聚合与聚合根
聚合根一组相关对象的集合，作为一个整体被外界访问。聚合根包含：实体、值对象。聚合根作为与外部交互的协调者，负责对聚合根内的行为进行管理，对外部屏蔽实现细节。那到底什么样的一个东西是聚合根？购物系统里的订单、购物车，学生管理系统的学生都是聚合根实体。订单聚合根包含：订单明细（实体）、商品（值对象）、收货地址（值对象）、订单编号、订单id等属性。大家可能会疑惑我应该如何去识别聚合根内部应该要有什么东西呢。总结如下，封装不变性。1.一个业务应该要有什么东西组合而成才是完整的。（一个订单必须要有收货人、订单.
2021-02-08 22:52:20
729
2
原创 如何通过Java实现一个高性能API网关
先不谈论要实现的功能，API网关我觉得主要指标就是性能，性能要想上的我觉得可以通过以下两个技术栈实现。1.非阻塞基于servelt 3.1异步io技术，spring 5 webflux， netty自定义http server都是实现非阻塞请求的方案。2.协程kotlin，Quasar都提供了协程的功能，在api网关后续业务处理及消息转发时，我们可以选择协程的方式来替代线程的模型，极大能够增加并发处理数量。Kong 看着一堆lua脚本头晕，spring Gateway, zuul2 他们都是优秀的A
2021-02-07 21:56:00
1123
1
原创 协程与线程
Java程序员对于线程我想都不会陌生，协程在java语言还未被支持。协程是一个比线程更加轻量级的存在，一个线程可以拥有多个协程。轻量级大家可能会有疑惑多轻量级？比如我们普通pc机上，启动一个进程，然后启动3000个线程，然后你会发现oom了，更不用说通过这些线程处理业务，CPU的轮询就相当耗费时间。有没一种更加轻量级的解决方案呢？那就是协程，我们在一个线程下可以轻松的开始5000个协程，并不会消耗太多的资源。 举个例子：有这样一个需求，我们需要处理一个网络业务，每个网络业务...
2021-01-31 16:26:09
178
原创 面向对象与数据库的阻抗
在面向对象设计的系统中，数据存在于对象之中，而关系数据库，数据存在数据表记录中。当我们用面向对象语言进行设计时，我们需要将这两个不同领域层次的东西进行转换传输或存储。在这个过程中，我们来来回回需要建立很多的零食对象，增了不少系统的复杂性。让很多开发人员觉得用着面向对象的语言，开发速度并没有想象的那么高。这里面其实存在一个未被突破的规则，就是面向对象并没有完全占领整个应用系统。 举例来说在现实世界中，学生和老师都是人，他们有很大一部分共性的东西，当然他们之间也还是有...
2021-01-30 02:42:18
202
1
原创 Hash算法-一致性hash
什么是一致性hash一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题[2]。引用百度百科普通hash的缺陷用过memcache和redis的人一定都对一致性hash应该都不陌生。在没有一致性hash时，我们原来的选择是ha...
2021-01-28 09:13:37
223
3
原创 Hash算法-如何防止用户密码信息被脱库
背景2011年csdn明文泄密600万用户邮箱和密码出现明文泄露，很多用户对CSDN的明文存储密码的行为表示出愤怒。对于与用户关联的重要数据我们应该要如何加密存储，MD5加密能够满足需求？要解决这些问题，我们需要引入一个重要的算法-hash算法。什么是hash算法Hash，一般翻译做散列、杂凑，或音译为哈希，是把任意长度的输入（又叫做预映射pre-image）通过散列算法变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会
2021-01-20 23:40:26
456
1
原创 迪杰斯特拉(Dijkstra)算法
背景高德、百度地图出行的的时候大家一定都有用过路径规划的功能，例如我要从出发地A到目的地B，开车有两种方案可选。时间最短，但路程较远。 路程最短，耗时较长。我想作为开发人员一定有想过他到底是用了什么的算法计算出最优方案的。今天我们来说说迪杰斯特拉算法。什么是迪杰斯特拉算法迪杰斯特拉算法(Dijkstra)是由荷兰计算机科学家狄克斯特拉于1959 年提出的，因此又叫狄克斯特拉算法。是从一个顶点到其余各顶点的最短路径算法，解决的是有权图中最短路径问题。迪杰斯特拉算法主要特点是从起始点开始，采
2021-01-10 22:37:35
2807
原创 布容过滤器
使用场景1.解决缓存穿透。2.解决高效去除爬虫所抓取页面重复URL。3.计算网站用户UV。4.高效判断用户名是否唯一。5.如何判断垃圾邮件。核心设计思路：布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k。当需要判断一个key是否存在时，我们通过对当前key进行k次hash函数计算，如过K次hash计算都命中，说明key存在。当然存在hash冲突的概率，所以可以用在允许小规模误判的场景，当然这个误判的概率我们是可以通
2021-01-04 09:01:19
127
原创 算法复杂度分析：最好、最坏、平均、均摊
案例分析1public int Function(int n, int x){ int sum = 0; for (int i = 1; i <= n; ++i) { if (i == x) break; sum += i; } return sum;}1.最坏时间复杂度当x>n时，代码时间复杂度为O(n)2.最坏时间复杂度当x>=1时，代码时间复杂度为O(1)3.平均时间复杂度要查找的变量 x 在数组中...
2020-12-21 12:23:39
1608
原创 算法时间与空间复杂度
数据结构和算法本身解决的是“快”和“省”的问题，即如何让代码运行得更快，如何让代码更省存储空间?1.如何理解代码时间复杂度和空间复杂度。时间复杂度：表示执行的快慢。 公式:T(n)=O(f(n)),T(n) 表示代码执行的时间；n表示数据规模的大小；f(n) 表示每行代码执行的次数总和空间复杂度：表示内存的消耗。 公式:S(n)=O(f(n)),S(n) 表示代码所需的空间：n为问题的规模，f(n)为语句关于n的所占存储空间2.时间复杂度分析法则（2.1）O(1)复杂度int i = 8;in..
2020-12-14 04:51:43
294
转载 微服务编排之道
本文转自微信号EAWorld。扫描下方二维码，关注成功后，回复“普元方法+”，将会获得热门课堂免费学习机会！本文转自微信号EAWorld。目录：一、微服务需要编排吗？二、微服务编排的流程三、微服务编排的一致性四、微服务编排的监控工具支撑一、微服务需要编排吗？微服务是一种新的软件架构风格。在微服务体系结构中，可以将应用分解为多个较小服务, 各个服务可以由独立的团队进行开发、部署。...
2020-04-08 20:41:27
276
转载 java并发编程之Condition
在java中，对于任意一个java对象，它都拥有一组定义在java.lang.Object上监视器方法，包括wait()，wait(long timeout)，notify()，notifyAll()，这些方法配合synchronized关键字一起使用可以实现等待/通知模式。同样，Condition接口也提供了类似Object监视器的方法，通过与Lock配合来实现等待/通知模式。为了更好的...
2018-11-30 16:00:52
132
转载 缓存一致性和跨服务器查询的数据异构解决方案canal
当你的项目数据量上去了之后，通常会遇到两种情况，第一种情况应是最大可能的使用cache来对抗上层的高并发，第二种情况同样也是需要使用分库分表对抗上层的高并发。。。逼逼逼起来容易，做起来并不那么乐观，由此引入的问题，不见得你有好的解决方案，下面就具体分享下。 一：尽可能的使用Cache 比如在我们的千人千面系统中，会针对商品，订单等维度为某一个商家店铺自动化建立大约400...
2018-10-29 15:41:33
203
原创 RESTful规范
什么是RESTful一种软件架构风格、设计风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。一、URI规范1.不用大写；2.用中杠 - 不用下杠 _ ；3.参数列表要encode；4.URI中的名词表示资源集合，使用复数形式。5.在RESTful架构中，每个网址代表...
2018-09-27 18:48:51
757
转载 SOFA企业应用框架
前言从业这么多年，接触过银行的应用，Apple的应用，eBay的应用和现在阿里的应用，虽然分属于不同的公司，使用了不同的架构，但有一个共同点就是都很复杂。导致复杂性的原因有很多，如果从架构的层面看，主要有两点，一个是架构设计过于复杂，层次太多能把人绕晕。另一个是根本就没架构，ServiceImpl作为上帝类包揽一切，一杆捅到DAO（就简单场景而言，这种Transaction Script也还凑合，...
2018-04-27 11:19:04
390
转载 复杂性应对之道 - 领域建模
为什么要领域建模软件的世界里没有银弹，是用事务脚本还是领域模型没有对错之分，关键看是否合适。就像自营和平台哪个模式更好？答案是都很好，所以亚马逊可以有三方入住，阿里也可以有自建仓嘛。实际上，CQRS就是对事务脚本和领域模型两种模式的综合，因为对于Query和报表的场景，使用领域模型往往会把简单的事情弄复杂，此时完全可以用奥卡姆剃刀把领域层剃掉，直接访问Infrastructure。我个人也是坚决...
2018-04-27 11:17:56
298
转载 java应用中嵌入groovy
需求： 某高校博士录取分数线录取算法是这样的： 1、 硕博连读考生为外语45分以上（含45分，下同）, 综合成绩（初试总分*0.7+复试分数*0.3）不低于60分； 2、 普通考生（经济管理学院除外）为外语45分以上，专业课60分以上，综合成绩（初试总分/3*0.7+复试分数*0.3）不低于60分； 3、 经济管理学院(001)考生外语55分以上，专业课60分以上
2018-01-31 11:44:16
699
转载 一个故事讲清楚 NIO
http://blog.jobbole.com/88984/假设某银行只有10个职员。该银行的业务流程分为以下4个步骤：1） 顾客填申请表（5分钟）；2） 职员审核（1分钟）；3） 职员叫保安去金库取钱（3分钟）；4） 职员打印票据，并将钱和票据返回给顾客（1分钟）。我们看看银行不同的工作方式对其工作效率到底有何影响。1 BIO方式每来一个顾客，马上
2017-11-02 12:51:28
250
转载 logback高级特性使用(二)
自定义Pattern模板创建自定义格式转换符有两步：1.写一个转换器类，继承ClassicConvert示例代码：[java] view plain copypackage com.cj.log; import ch.qos.logback.classic.pattern.Clas
2017-08-30 14:18:43
318
转载 jdk8 Optional 的正确姿势
我们知道 Java 8 增加了一些很有用的 API, 其中一个就是 Optional. 如果对它不稍假探索, 只是轻描淡写的认为它可以优雅的解决 NullPointException 的问题, 于是代码就开始这么写了Optional user = ......if (user.isPresent()) {return user.getOrders();} else {ret
2017-06-04 19:38:27
549
php 记事狗微博
2011-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人