- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于营销类系统运营活动增长带来的数据库设计演进
为了支持业务数据的不断增长，在数据库层面的性能提升主要体现在几个维度：1）数据降级；2）数据主题分而治之；3）实时交易转异步；4）硬件扩容，当然网上一堆互联网系统的介绍也很多。因此，我的这篇系统发展梳理主要服务于以下两个目的：作为一个经验沉淀，用于给后续的系统设计作为一个避坑指南；另外，也是证明其实系统架构这个事情本身就是一个动态发展的过程，世界上没有完美的架构，因为架构本来就是一个平衡的艺术，需要综合平衡工期、资源、成本等各种因素。我的理念是满足当前业务需求并适度设计以保证不需要的功能能快速剥离；
2023-04-10 00:37:41
535
原创 架构范式一 - 事件驱动架构（EDA）
EDA 是一种基于发布/订阅模式的消息异步通信的架构，你可以把它理解为架构层面的观察者模式，它主要分为以下7个核心对象。大致流程为：第一，因为它是异步的，因此特别适合以下：第二，如果业务模式的整个主流程不强调强一致性且流程变化很快的，则可以适当的考虑这种架构。第三、因为它是通过管道进行异步通信，如果你的系统是那些对交易实时性要求较高的或者是跟2C端页面交互强关联的，则不太建议使用该异步架构。...
2022-07-02 19:40:25
7002
3
原创 中台建设利器-SPI插件机制
一、什么是SPI？SPI ，全称为 Service Provider Interface，是一种服务发现机制。它通过在ClassPath路径下的META-INF/services文件夹查找文件，自动加载文件里所定义的类。它实际上是“基于接口的编程＋策略模式＋配置文件”组合实现的本地化服务发现机制。系统设计的各个抽象，往往有很多不同的实现方案，在面向的对象的设计里，一般推荐模块之间基于接口编程，模块之间不对实现类进行硬编码。一旦代码里涉及具体的实现类，就违反了可拔插的原则，如果需要替换一种实现，就
2022-04-30 17:26:07
1289
原创 数字化转型中平台思维的十大要素－《数字化转型的道与术》
## 前言企业数字化转型的关键在于以平台思维构建系统，意思就是要给存在相互影响和依赖的双边和多边群体提供一个空间（或系统），满足不同群体在这个空间的利益。在这个转型过程中，以下十大要素是这个平台思维的重要组成部分。## 要素一：业务全局视角贯穿业务链首先，各个业务系统都是从系统所属业务主导方的视角构建的，缺乏全局视野，容易由于数据标准、格式不一致导致出现数据孤岛现象。另外，因为业务系统本质上还是不同业务部门从自己局部角度出发而建设的产物，因此系统间所产生的联动成本高本身也是“部门墙”的直观体
2022-01-04 22:51:05
2642
原创 如何做好技术选型和分析决策
一、前言技术人一般都喜欢研究技术，但是如果你问他一般技术选型到底怎么做，估计他一下子懵掉了。因为一般来说，技术人可能更关注于学习什么新技术，反而更少去了解怎么选择一种合适的技术手段去解决业务问题。因为平时日常工作也需要涉及到这块领域，因此心里一直想想总结一下，毕竟作为一个十几年的老司机，在做技术选型的时候如果完全都是随心所欲的话，那就真的太水了吧。首先，技术选型它会涉及到方方面面的因素，例如市场上的人员招聘难度、技术组件的社区活跃度、文档丰富程度、具体落地案例、后期运维复杂度、人员学习成本等
2021-06-27 10:03:08
1079
原创 由一张精益MVP图所浮想联翩
有感于之前听到的关于迭代开发的看法，我特意把上面这张精益MVP的图贴出来，一起看图说话。1、每个阶段的交付对用户来说都是有意义的，对吗？这个观点本文不打算详述论证或者长篇吹捧，做过精益或者碰过敏捷的同仁也知道这种方式的重要性；2、每个新的环节代表的是对部分旧模块的推倒-重建。但是这个重建是从0到1的重建吗？我跟大家罗列一下细节：第二阶段【滑板变成滑板车阶段】这里发现就多了个方向盘，目的是提升用户安全性（防摔）和用户便利性（方向控制从用身体重心控制转向用双手控制），...
2021-04-10 00:07:47
213
2
原创 中台建设落地浅谈
一、前言近一段时间有篇文章在讲阿里在拆自己的中台，反正说的是中台扼杀创新云云。刀本没有善恶？关键在于使用的人。用在厨师身上可以整出人间美味，用在杀人犯手里那当然产生悲剧啦。曾经从thoughtworks上面看过关于中台的第一性原理的文章，觉得挺在理的，文中讲到根据Cynefin认知模型，通过演绎法可以推论出：中台所代表的企业架构向平台型演进的过程，本质上就是企业在发展过程中，随着对于市场信息认知不断提升，在不确定性中寻找确定性，持续在跨业务线探索通用最佳实践（Best Practice），并以.
2021-03-07 09:44:26
662
5
原创 关于产品研发管理-《培思的力量》
一、前言之前得益于公司内部也在积极探索如何做产品研发管理，在领导的推荐下看了《培思的力量》这一本书，想结合一下PACE谈谈对产品开发管理的一些个人理解。PACE（Product And Cycle-time Excellence），中文称为“产品及周期优化法”，它是美国PRTM公司在上世纪80年代中后期提出，当时主要是受到了日本公司实行了“基于准时制（JIT）”方法而取得的竞争优势所迫使美国公司所产出的一套产品开发流程。当然后来IBM基于PACE的基础上又发展出了IPD（Integra...
2021-01-17 10:22:41
1713
原创 企业架构培训感悟
一、前言很多企业希望能够做数字化转型，但是一到具体启动做的时候又觉得两眼一抹黑，不知道如何下手。这次培训向我们阐述了如何可以通过TOGAF这种方法论把战略进行落地。二、为什么企业架构那么重要？作为软件开发工程师，我们总是习惯于努力尽责的把分配给我们的开发任务按时按质完成，再有业务导向一点的开发会在受理需求前会先向业务了解清楚具体的需求背景及想解决的业务问题，这已经很不容易了。因此，为什么需要去解决这个业务问题？背后跟企业的业务战略有什么关系？或者说企业的业务战略是如何一层层的对应上我们.
2021-01-06 22:23:59
3514
13
原创 分布式服务框架的选择-《企业IT架构转型之道-阿里巴巴中台战略思想与架构实战》
一、淘宝服务化历程截止到2007年，淘宝已经拥有超过500人的技术团队规模，整个淘宝网站是一个几百兆字节的WAR包，功能模块超过200个。几百人维护一个WAR包的模式,带来了以下几个主要问题：项目团队间协同成本高,业务响应越来越慢。应用复杂度已超出人的认知负载。各种业务互相交错，已经没有一个人能完全清楚每个功能或流程的细节，毕竟人的认知负载是有极限的；错误难于隔离。因为淘宝平台是一个WAR包，其核心功能和非核心功能的代码都运行在同一个环境（同一个JVM)中，任何一个小的问题都可能引发全局问题；
2020-12-20 15:12:28
261
原创 Bitmap为什么那么快？
目录一、Bitmap是个啥？二、Bitmap有什么优缺？三、Bitmap有啥应用场景？一、Bitmap是个啥？Bitmap实际上就是String类型的，你可以在Redis里面Help一下可以看到String是有类似bitop、bitpos等位操作。Redis中的String类型最大支持512M，因此最多可以支持512*1024*1024*8=2^32bit（比特），具体的bitmap是用于操作每个bit的值（只有1和0），如果你曾经用过IBM大型机或者学过汇编语言的话应该..
2020-12-08 09:46:20
518
原创 Redis Cluster你弄明白了吗？
目录一、前言二、Redis Cluster集群1、基本原理2、网络拓扑：3、通信协议：4、自动数据分片5、数据迁移（节点扩缩容）6、数据离散性7、应用三、后话一、前言上一篇文章我们聊到客户端分片（Redis Sharding）技术，这里我们接着聊一下Redis Cluster这种服务端分片的解决方案。我对服务端分片的理解是对1）具体数据片数如何实现；2）服务端的数据的存储、迁移；3）数据分片的高可用对客户端来说就是透明无感的。二、Red...
2020-11-01 11:14:44
637
1
原创 Redis Sharding集群跟一致性哈希有什么瓜葛？
目录一、前言二、Redis sharding集群1、概念及优劣：2、数据倾斜问题3、数据丢失问题4、应用三、后话四、参考一、前言最近在所负责的某些系统上遇到了一些Redis相关的问题，刚好在朋友圈聊到Cluster和Sharding这方面的东西，发现有些地方比较模糊，考虑到之前也整理了关于Sentinel集群模式，趁着有点力气整理一下Sharding的一些相关资料。Cluster模式后面有时间再补充吧。二、Redis sharding集群1、概..
2020-10-11 23:03:00
1055
原创 共享服务中心建设原则-《企业IT架构转型之道-阿里巴巴中台战略思想与架构实战》
一、前言今天重看了《企业IT架构转型之道-阿里巴巴中台战略思想与架构实战》的第4章-共享服务体系搭建。书中所描述的共享服务中心，提到的实际上包含两个层次。 其一，底层的PaaS能力，它用于解决企业中整体系统群的架构在分布式、可用性、高可用性、实时监控等方面上的需求； 其二，通用的业务能力，我的理解实际上就是建设SaaS，目的在于将企业核心能力下沉共享，加速企业创新速度。 这里也想针对第二个：通用的业务能力的建设聊一下对它的一个理解。二、共享服务中心建设历程...
2020-10-07 16:51:46
1801
2
原创 【读书笔记二】《企业IT架构转型之道-阿里巴巴中台战略思想与架构实战》
目录第三章分布式服务框架的选择一、淘宝服务化历程二、“中心化”与“去中心化”服务第三章分布式服务框架的选择一、淘宝服务化历程截止到2007年，淘宝已经拥有超过500人的技术团队规模，整个淘宝网站是一个几百兆字节的WAR包，功能模块超过200个。几百人维护一个WAR包的模式,带来了以下几个主要问题： 项目团队间协同成本高,业务响应越来越慢。 应用复杂度已超出人的认知负载。各种业务互相交错，已经没有一个人能完全清楚每个功能或流程的细节，毕竟人的认知...
2020-10-02 23:42:29
327
1
转载 【摘抄】波士顿咨询：中国零售银行的转型创新与未来模式
一、零售银行的数字化转型新的环境下，传统零售银行必须全面数字化，建设新能力，我们说1+3。1就是以客户旅程优化为重要的工具，每一支客户旅程就像互联网公司的产品一样，比如说信用卡、房贷等，把它端到端的旅程都做优化，这样能够提高客户体验、增长和效率。同时为了支撑这个客户旅程，我们需要塑造三大核心能力，一是生态场景布局能力，二是全渠道覆盖能力，三是超个性化的客户经营能力。72%的千禧一代认为他们喜欢网上这种感觉，85%18岁到24岁的人对第三方机构收集他们的个人信息表示信任。54%的人愿意提供..
2020-09-30 14:39:05
419
2
原创 聊一下《技术力量-一线技术团队成功启示录》
一、前言最近有幸拜读了《技术力量-一线技术团队成功启示录》的第一篇-Team Leader团队管理/组织发展，该篇从组织架构、团队管理、效能提升、敏捷转型这四个方面展示了10位来自不同行业、不同领域的专家的不同看法，貌似形态各异，实则殊途同归。二、康威定律梅尔.康威于1968年提出的“任何组织在设计一套系统时，所交付的设计方案在上都与该组织的沟通结构保持一致。”，这句话就是后来的康威定律。 从微软的Office性能团队项目经理杨珂的分享中看到之所以其性能团队能够成功，我看...
2020-09-29 12:51:18
497
原创 【读书笔记一】《企业 IT 架构转型之道 - 阿里巴巴中台战略思想与架构实战》
目录第一章阿里巴巴集团中台战略引发的思考一、思考二、共享事业部发展史三、企业信息中心发展的症结1、“烟囱式”系统建设模式2、业务支持一直是企业信息中心的组织职能第二章、构建业务中台的基础-共享服务体系一、服务需要重用和业务滋养二、共享服务体系是培育业务创新的土壤三、共享服务体系赋予业务快速创新和试错能力四、组织矩阵改变会带来组织效能的提升第一章阿里巴巴集团中台战略引发的思考一、思考Supercell这家游戏公司真的是“神奇”的公司...
2020-09-01 13:52:31
385
原创 再谈引入YAPI接口平台的好处
目录前言1、团队内形成契约关系2、方便自测，真正的前后端分离，真正的“解耦”3、每日构建（Daily build）的基础4、“与时俱进”的接口文档后话前言之前说到因为复盘到团队之前的故障很多是跟接口有关的，因此近期也在团队内部引进试用YAPI这个接口管理平台。用了大概几周吧，也找了团队的同事了解了一下具体的效果。那这类平台有个什么样的好处呢？1、团队内形成契约关系我特意画了个前后对比图（个人比较喜欢可视化还有彩色系的东西，让人心情...
2020-08-23 14:40:25
1506
原创 【DevOps】我们忽视了Daily Build（每日构建）吗？
一、什么是Daily Build？每日构建，简而言之就是每天把当前最新的代码集合拉取下来，然后进行编译构建并进行自动化的冒烟测试，然后通过某种形式把构建结果进行系统性展示给相关干系人。这是持续集成的其中一项最佳实践，最早出现在微软，我个人认为这是放之四海而皆准的一个原则，只是不同公司的实际操作会有异同。它的目的不是在于减少构建失败的次数，而是要尽早发现问题，降低解决问题的成本。二、为什么要做Daily Build？1、可以让同事从日常工作中养成质量意识。为什么会这样说呢？实际上我翻阅过.
2020-08-15 18:30:57
2218
原创 【DevOps】Jenkins持续集成流水线（中）
目录前言一、集成静态代码扫描工具（FindBugs）二、集成自动化单元测试(Jacoco)1、前置条件三、集成代码质量管理平台(SonarQube)前言承接上一篇：Jenkins持续集成流水线（上）当我们的持续构建流水线的基本骨架构建完毕后，接下来我们要集成单元测试覆盖率（Jacoco）、静态代码扫描工具、及代码质量管理平台（SonarQube），通过一键构建并生...
2020-08-01 23:22:02
867
3
原创 工程规约 - maven统一管理
目录一、前言二、一团糟三、如何利用父pom四、后话一、前言事情是这样的：最近条线内部在搞“避免重复造轮子”的整改活动。其中发生了一个事情，之前条线内部的A团队已经尝鲜使用了XXL-job，后面考虑到避免重复造轮子，就要求B团队新建的系统也统一使用XXL-job，然后通过执行器进行权限管理，最后才发现原来A团队使用的那个版本还没有支持权限管理。从这里，我发现到一个问题：我们的maven管理确实很混乱，依赖版本管理必须得统一管理起来。二、一团糟实际上，日常工作中...
2020-07-12 11:42:00
579
4
原创 16种设计思想 - Design for failure
一直在说互联网系统应该是design for failure，今天看到的这篇文介绍的虽是简单几句话，但妥妥的设计思想，还是蛮契合SRE精髓。作为一名designer或者developer，应该要对墨菲定律心存敬畏，以下讲一下我对这16中设计思想的一个大致看法吧。1、防御性设计（Defensive Design）所谓的防御性设计实际上就是“防呆”，英文叫Idiot Proofing。说白了就是用户有时候会不自觉的做一些蠢事，我们在设计的时候要尽量考虑到一些不规范的交互行为，如果你的用户是一只猴子.
2020-07-06 00:45:41
1916
1
翻译 结果【outcome】大于产出【output】
结果大于产出著者 Martin Fowler译者尘世间一个迷途小码农想象一下一个团队在编写购物网站的技术团队。如果我们在看这个团队的产出的时候，我们或许会考虑上个季度产出了多少个功能，或者一个跨功能模块的度量（如页面加载时间）。然而，一个对于结果的度量将应该考虑度量所增加的营收，或者所减少的产品支持电话数量。聚焦于结果而不是产出，将会使得团队倾向于构建那些有助于提升软件用户和客户效率的功能特性。就好像任何专业活动一样，我们这些从事软件开发的人想要了解是什么使得我们更有...
2020-05-20 11:56:56
959
原创 【设计模式第二弹】责任链模式
前言上一篇我们讲到了策略模式【设计模式第一弹】，实际上我理解是责任链模式跟策略模式在某种程度上是类似的，毕竟它们也是基于接口或者基于抽象类编程的，只是在具体的实现类的使用上面有点不太一样。策略模式：更多是通过上下文去动态决定选用哪一种策略，关键在于只选取其中一种。责任链模式：更多是通过上下文去动态决定选用一组策略，并且通过类似链表的组合方式进行具体策略的编排，关键在于组合编排。哔哩吧啦说了一通，我们还是直接进入主题吧。何为责任链某度的定义就是：它是一种设计模式，...
2020-05-16 22:41:52
217
原创 【DevOps】YAPI接口管理平台使用基础入门（一）
一、前言上篇：API接口管理平台YAPI的搭建之前已经写了一下YAPI平台的大致搭建步骤，这篇写一下大致的用户配置等功能（实际上YAPI安装完后也有个教程，它那个绝对全面），但是我看了一圈，觉得有点别扭。如果从一个团队引进来YAPI后如何在配置的角度看的话，我感觉它的脉络有点绕，因为它是基于功能点去展开的（个人看法而已）。因此，为了让自己快速了解如何帮一个团队进行配置，我这里尝试...
2020-05-03 15:22:58
1616
原创 【DevOps】API接口管理平台YAPI的搭建
一、YAPI简介二、YAPI安装要安装YAPI，需要一些前置条件，即需要安装git、nodejs（7.6+）、mongodb（2.6+）。好，接下来我们一步步进行安装。1、nodejs的安装：# 获取资源[root@centos7a justyman]# curl -sL https://rpm.nodesource.com/setup_8.x | bash...
2020-05-01 22:58:49
1663
原创 【设计模式第一弹】策略模式
前言以前一直就想整理一下以前使用过的设计模式，趁着现在有点激情而且也从日常的代码中发现，好的代码真的可以在一定程度上解决可维护性的问题， 真心说一句“微服务不是银弹，但良好的设计模式绝对是铜弹”。不废话，这次先整理一下我以前比较喜欢使用的策略模式。啥是策略模式说白了实际上就是针对同一个通用的接口，把一组实现策略或者算法封装起来并实现到这个接口中。对于这个接口的外部看来，...
2020-04-30 11:07:54
242
翻译 分解微服务，还是平衡分布式系统的复杂性
微服务的蜜月期已经结束了。Uber正在把数千个微服务重构成一个更容易管理的解决方案；Kelsey Hightower又开始预言单体架构就是未来；连Sam Newman（《微服务》的作者）都在宣称说微服务不应该是默认首选，而是最后的手段。 发生什么事情？为什么如此多的项目变得难以维护，尽管微服务承诺简单和灵活？或者说单体架构更加好？ 在这篇文章里，我想解...
2020-04-19 21:34:59
642
原创 源代码、编译包版本管理团队实践
目录1、前言2、源码版本管理3、编译包版本管理4、后话1、前言随着所搭建的团队人数越来越多，开始形成一个个独立小团队的时候，协同开发的机制重要性就显得格外重要。刚好最近要针对这块版本管理向领导做个总结汇报，我这里就顺便分享一下我们团队的一个整体做法。2、源码版本管理整体上我们团队还是以Gitflow为主，再根据我们团队具体情况做一定程度的裁剪。首先这里复述一遍Git...
2020-04-14 22:49:23
513
原创 论如何优雅的消灭If-else
前言看到项目代码中有N多“If..else”，对于一个代码洁癖患者来说是非常不舒服的，同时我觉得写出优雅的代码是可以提升程序猿的工作满意度。这次我就把我之前做法及网上的一些做法做一个汇总，以备后续参考。丑陋的代码Animal animal = new Animal();if ("monkey".equals(animalType)){ animal.setFeet(2...
2020-04-09 22:55:02
1117
原创 【DevOps】为什么我们需要制品管理？
目录1、什么是制品与制品库？制品是指由源码编译打包生成的二进制文件，不同的开发语言对应着不同格式的二进制文件，这些二进制通常可以直接运行在服务器上。制品库用来统一管理不同格式的软件制品。 除了基本的存储功能，还提供了版本控制、访问控制、安全扫描、依赖分析等重要功能，是一种企业处理软件开发过程中产生的所有包类型的标准化方式。2、痛点第三方依赖包下载管理混乱，没有准...
2020-04-01 00:02:39
7118
4
原创 读书笔记：Google软件测试之道【三】
目录1、测试规模分类2、测试规模的优缺点3、测试认证1、测试规模分类在Google里面，测试分为以下三种：小型测试小型测试是为了验证一个代码单元的功能，一般与运行环境隔离，它是不需要依赖于外部，一般集中于函数级别的测试，即我们平时所说的单元测试。中型测试中型测试主要是验证两个或以上模块或应用间的交互，它一般通过mock对其他外部环境进行隔离，即我们平时所说的“集...
2019-12-22 13:01:56
268
原创 API接口设计最佳实践
目录目录前言API接口设计Token设计API接口设计原则1、明确协议规范2、统一接口路径规范3、统一接口版本管理4、为你的接口设定调用门槛5、接口返回规范6、接口安全规范7、幂等性8、接口设计的一些最佳实践API接口管理前言最近团队内部在做故障复盘的时候发现有很多故障都是因为接口设计不当导致的，这里我就整理归纳一下在接口设计层面需要...
2019-12-01 20:33:32
3082
原创 读书笔记：Google软件测试之道【二】
目录1、“乌托邦式”软件开发过程2、SET的工作1、“乌托邦式”软件开发过程在理想的情况下，TDD模式先行，即在代码编写前开发人员会构思好整个代码逻辑并编写成伪代码（当然伪代码中包含了数据取值边界，循环嵌套，异常处理等情况），然后根据伪代码编写单元测试脚本，最后根据单元测试脚本编写业务代码并运行之。最后，如果运行通过则大功告成，一切美妙而顺畅，我称之为“乌托邦式”软件开发。在这...
2019-07-27 17:10:49
254
原创 读书笔记：Google软件测试之道【一】
目录前言1、Google软件测试介绍2、角色3、分工4、组织架构5、版本前言 在职业生涯的头6年，我对所谓的测试策略、测试组织架构了解甚少，也不知道谁对谁错。我知道的事情只有一个：我是一名程序员，我的日常工作除了做需求分析和代码开发以外，我还需要做单元测试（数据准备、案例编写和测试报告撰写）、SIT测试（数据准备、案例编写和报告撰写）及UAT测试支持（数...
2019-07-06 22:16:36
553
原创 【DevOps】Jenkins持续集成流水线（上）
目录前言一、启动Jenkins1、前置条件2、插件安装3、配置二、持续集成 - CI（GitLab+Maven+Nexus）1、先创建一个任务2、配置凭据3、继续配置剩余配置项4、构建任务5、自动触发构建（CI）三、集成自动化部署(Linux)1、配置SSH2、配置构建任务3、构建任务前言一、启动Jenkins1、前...
2019-06-17 23:06:19
7161
原创 【DevOps】GitLab的权限管理及Merge Request
目录1、前言2、角色权限3、强制代码审查一、设置受保护分支二、创建及批核Merge Request三、历史查询1、前言团队目前在日常开发工作中都是在线下进行代码审查，但是这样的模式根本无法做到过程留痕。因此，需要使用GitLab的Merge Request或者Gerrit这样的工具进行过程管理。这里详述一下如何通过Merge Request进行线上的代码审查。2...
2019-06-09 12:40:30
27955
原创 【DevOps】Jenkins集成FindBugs
1、前言 当整体CI流水线搭建完毕后，接着需要针对持续构建的环节进行细化，如在构建前需要触发PMD扫描进行Java源代码中的潜在问题检查，如在编译后需要触发FindBugs扫描进行编译文件（.class）进行扫描。 另外，Warnings Next Generation Plugin是一款jenkins的插件，它内置了很多的静态代码检测工具，有了这个我们可以很方便的...
2019-05-18 22:50:14
1855
DORA-State of Devops-2019.pdf
2020-05-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人