- 博客(1019)
- 收藏
- 关注
RSS订阅转载 大规模用户登录系统演进、便捷登录设计与实现
导读introduction随着互联网、物联网和移动终端等技术的迅猛发展，登录认证面临着新的挑战和需求。虽然登录认证在信息系统中是传统且古老的组成部分，但未来的发展前景依然广阔。不论是用户登录、PC端、移动端还是智能设备的访问，身份认证在保障业务操作安全、资金安全、系统间通信和与外部系统集成等多个方面起到至关重要的作用。随着认证方式的不断演进，从最初的cookie和session，发展到如今的多...
2024-04-15 17:22:15
2
转载 MySQL 主从 AUTO_INCREMENT 不一致问题分析
本文介绍了 MySQL5.7 中常见的replace into 操作造成的主从auto_increment不一致现象，一旦触发了主从切换，业务的正常插入操作会触发主键冲突的报错提示。一、问题描述1.1 问题现象在 MySQL 5.7 版本中，REPLACE INTO 操作在表存在自增主键的情况下，可能会出现表的auto_increment值主从不一致现象，如果在此期间发生主从故障切换，当原来的sl...
2024-04-12 12:11:45
6
转载 这些年背过的面试题——Netty篇
核心组件1、整体结构Core 核心层Core 核心层是 Netty 最精华的内容，它提供了底层网络通信的通用抽象和实现，包括事件模型、通用API、支持零拷贝的 ByteBuf 等。Protocol Support 协议支持层协议支持层基本上覆盖了主流协议的编解码实现，如 HTTP、Protobuf、WebSocket、二进制等主流协议，此外 Netty 还支持自定义应用层协议。Netty 丰富的协...
2024-04-11 10:43:17
9
转载 第一批用AI的架构师，工资已经碾压同事了！
随着GPT大热“AI大模型”无疑是最火爆的话题！Google、百度、腾讯等等巨头互联网公司，无不在布局人工智能技术和市场，甚至还有60k*16的高薪，挖掘AI大模型人才！作为普通程序员，如何不被时代抛弃，享受AI技术带来的红利？！????知乎知学堂特发起：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后关闭通道！速进！AI大模型-重塑程序员核心竞争力（不限年龄！不限岗位！I...
2024-04-10 12:08:16
15
原创 分布式系统Consul一致性实现即Raft日志复制原理
彭荣新，茄子科技老司机一枚，长期专注基础架构领域，对中间件的的研发和治理以及稳定性保障有丰富的实践经验。背景Consul 是一个非常强大的服务发现和配置管理工具，可以帮助您简化服务管理流程，提高系统的可用性和可扩展性，是目前非常流行的服务发现和配置管理系统，支持高可用，可扩展，多数据中心的分布式系统，是很多公司的基础实施组件，这些架构的优点的背后是基于分布式协议raft的实现，raft协议的理论有...
2024-04-09 10:29:58
732
转载 美团大规模KV存储挑战与架构实践
KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 K...
2024-04-08 10:22:51
12
转载 一文讲解端线程死循环的治理
引言钉钉作为一个用户数超 7 亿，服务企业与组织数超过了 2500万的企业级智能办公平台，终端团队一直将打造极致用户体验作为我们的理念。对于 Android 设备来说，线程死循环问题可能会导致高耗电，界面卡顿，耗尽内存等性能问题。与此同时，死循环问题还具有隐蔽性高，黑盒测试无法感知的特点。针对潜在的线程死循环风险我们进行了专项的治理优化。本文旨在介绍钉钉 Android 团队死循环检测工具建设的...
2024-03-29 09:33:17
18
转载 收藏｜如何画好一张架构图？
画架构图是架构师的一门必修功课。对于架构图是什么这个问题，我们可以按以下等式进行概括：架构图 = 架构的表达 = 架构在不同抽象角度和不同抽象层次的表达，这是一个自然而然的过程。不是先有图再有业务流程、系统设计和领域模型等，而是相反，用图来表达抽象的思考和内容。01架构图的目的A picture is worth a thousand words （一图胜千言）。架构图是架构师、产品经理、开发工程...
2024-03-26 14:33:27
31
转载 干货 | 为业务系统赋能，携程机票最终行程系统架构演进之路
作者简介Stephen，携程资深后端开发工程师，专注新技术挖掘，持续推动业务创新Scott ，携程资深研发经理，负责订单系统架构升级和优化一、背景携程机票订单系统是由多个业务子系统组成，包括出票、改签、航变等等，获取订单行程信息复杂度较高。例如：用户预订了一个包含了2个乘客的机票订单，该订单发生了航变，其中用户A选择了退票，用户B选择了改签。业务系统需要获得该订单最新的行程信息以及行程变化轨迹，以...
2024-03-22 09:28:51
25
转载 微信支付混沌工程实践
01为什么要做混沌工程1.1 目标起点微信支付是国家关键信息基础设施，服务千万商户和亿级用户，可用性要求高于5个9。1.2 分析：影响可用性的主要因素及应对为了分析影响可用性的因素，我们对2018 ~ 2021近几年微信支付的故障复盘数据分类，发现软硬件异常导致的故障占比较高（如下图的基础设施、组件、上下游部分）。各类引发故障的因素，微信支付采取了相应的应对措施，如功能/程序缺陷：单元...
2024-03-21 10:58:40
25
转载 96W，确实可以封神了！！
如果问你：2024年，程序员必须掌握哪项技术？AI一定是榜首！从去年起，AI大模型已是程序员的必备工具——编程提效：编写更快，程序更稳定；代码更优：测试数、BUG对应减少；项目爆单：训练模型，接&做项目更快；输入prompt指令和搭建AI大模型开发框架，AI就能迅速批量完成工作，甚至比人工更出色。知名大厂都在布局AI市场，懂AI的程序员年薪甚至翻到80w-96...
2024-03-20 12:34:56
22
转载 Kafka 痛点专题｜AutoMQ 如何解决 Kafka 冷读副作用
背景Apache Kafka （下文简称 Kafka）作为一款成功的流处理平台已经在各行各业中有广泛的应用，并且具备极其强大的软件生态。但是，其一些缺点也给使用者带来了很大的挑战。AutoMQ 是基于云原生架构实现的新一代 Kafka ，与 Kafka 100% 完全兼容。致力于解决 Kafka 原有的迁移复制低效、缺乏弹性、成本高昂等缺点，成为新一代云原生 Kafka 解决方案。为了让读者更好...
2024-03-19 10:20:12
40
转载 数十位顶级首席架构师的视角：探索AIGC时代下的技术架构创新
去年，国内外大中型企业都在探索、引入AIGC，并在今年持续探索更多的可能性。随着AI的快速发展和应用场景的不断拓展，架构师需要不断进阶和提升自己的技能，这就要求架构师需要具备扎实的技术功底和创新思维，还需要懂产品、懂业务，承担好管理职能......为了帮助更多的架构师拥有统领全局的战略思维，5月24-25日，由msup和高可用架构共同打造的第11届GIAC全球互联网架构大会将在深圳华侨城洲际酒店盛...
2024-03-18 11:56:29
24
转载 Sharding-JDBC源码解析与vivo的定制开发
Sharding-JDBC是在JDBC层提供服务的数据库中间件，在分库分表场景具有广泛应用。本文对Sharding-JDBC的解析、路由、改写、执行、归并五大核心引擎进行了源码解析，并结合业务实践经验，总结了使用Sharding-JDBC的一些痛点问题并分享了对应的定制开发与改造方案。本文源码基于Sharding-JDBC 4.1.1版本。一、业务背景随着业务并发请求和数据规模的不断扩大，单节点库...
2024-03-15 14:44:54
20
转载 数据库不应放在容器中？- B站Kubernetes有状态服务实践(Elasticsearch/Clickhouse)
本期作者前言云原生时代下， Kubernetes已成为容器技术的事实标准，使得基础设施领域应用下自动化运维管理与编排成为可能。对于无状态服务而言，业界早已落地数套成熟且较完美的解决方案。可对于有状态的服务，方案的复杂度就以几何倍数增长，例如分布式应用多个实例间的依赖关系(主从/主备)，数据库应用的实例依赖本地盘中存储的数据(实例被干掉，丢失实例与本地盘中数据的关联关系也会导致实例重建失败...
2024-03-14 12:53:49
21
转载 真心建议大家冲一冲新兴领域，工资高前景好！人才缺口极大！！
自2003年10月18日起人事部、原信息产业部印发《全国计算机软考考试暂行规定》，将计算机软件资格考试（简称：软考）纳入全国专业技术人员职业资格证书制度统一规划！软考从传统的“技能考试”上升为“国家级考试”。软考证书热度持续上升????！23年软考报名人数超500万，相比20年报名人数直接翻了10倍；国内持证IT人才缺口高达950万，每年存在200万人的供需差；一线城市持证IT从业者平均工资高；持软考证...
2024-03-13 13:52:34
18
转载 一文详解全栈可观测的实现路径
作者简介：曾庆国，来自阿里云智能-云原生可观测团队。过去多年一直从事云原生相关领域工作。从运营开源产品到商业产品研发；从应用交付、平台工程到深入云原生可观测。多次通过 KubeCon、ArchSummit、A2M、云原生峰会等平台分享云原生实践经验。今天给大家带来一个非常让人兴奋的话题，云原生全栈可观测。业务系统具备良好的可观测性，是最容易让开发者、运营者和管理者兴奋的。为什么这样讲？当开发者做了...
2024-03-12 12:35:24
15
转载 携程 Redis On Rocks 实践，节省 2/3 Redis成本
作者简介patpatbear，携程软件技术专家，负责携程缓存内核的维护，热爱开源，专注于高性能、分布式NoSQL系统的建设和应用。一、背景redis使用内存作为存储介质，具有良好的性能和低延迟，但其内存容量通常成为瓶颈，且内存价格较高，导致redis使用成本较高。随着SSD磁盘性能的不断提高，NVMe SSD的随机读写延迟也仅有几十微秒，与redis的固有延迟（100~200us）相当，用SSD作...
2024-03-11 08:39:40
15
转载 微信工程师：常见性能优化方案与实用工具
性能优化是降本增效路上必不可少的手段之一，在合适的时机采用合理的手段进行性能优化，一方面可以实现系统性能提升的目标，另一方面也可以借机对腐化的代码进行清理。在程序员的面试环节中，性能优化的问题也几乎是必考题。然而性能优化并非一锤子买卖，需要一直监控，一直优化。过早的优化、过度的优化，以及优化ROI都是程序员们在工作中需要评估的关键点。本文作者总结了日常工作中常见的性能优化问题，围绕数据结构展开...
2024-03-06 08:19:46
24
转载 vivo 在离线混部探索与实践
本文根据甘青、黄荣杰老师在“2023 vivo开发者大会"现场演讲内容整理而成。公众号回复【2023 VDC】获取互联网技术分会场议题相关资料。伴随 vivo 互联网业务的高速发展，数据中心的规模不断扩大，成本问题日益突出。在离线混部技术可以在保证服务质量的同时，极大的提升数据中心资源利用率，降低成本。混部技术涉及任务调度、资源隔离、运维观测等一系列技术难题，本文将介绍 vivo 在混部技术方面的...
2024-03-04 09:02:53
23
转载 万字长文：一文详解单元测试干了什么
导读随着我们各种“code大赛”的不断推进，大家对于单元测试也越发重视。好的单元测试不仅可以验证代码结构设计得是否合理，而且可以提前发现代码中的漏洞，将线上风险扼杀在摇篮中。写好单元测试是每一位程序员的基本功，但是有不少同学对于单元测试有些知其然但不知其所以然，对于单元测试的底层逻辑并未深入研究过，只停留在使用的层面。本文从常用的单元测试框架出发，对Mockito框架深入浅出的讲解，希望能帮到每一...
2024-03-01 08:54:44
29
转载 Sora：技术细节推测与原理解读，行业影响与成功关键
技术圈每年都会有一个概念火爆全网，从 21 世纪第一个十年以来，中文技术圈流行过的概念包括但不限于：移动开发、人工智能、区块链、低代码、元宇宙、NFT……创投圈有句名言——“领先半步是先驱，领先一步是先烈”，低代码的热度已经凋零，元宇宙的风随着 Vision Pro 的发布做了个仰卧起坐，又躺了回去。只有以 ChatGPT 为代表的大语言模型，才真正把人工智能的热度重新拉了起来，推到了一个前所未有...
2024-02-22 08:46:56
103
转载 Spring 七种事务传播性介绍
作者：vivo 互联网服务器团队 - Zhou Shaobin本文主要介绍了Spring事务传播性的相关知识。Spring中定义了7种事务传播性：PROPAGATION_REQUIREDPROPAGATION_SUPPORTSPROPAGATION_MANDATORYPROPAGATION_REQUIRES_NEWPROPAGATION_NOT_SUPPORTEDPROPAGATION_NEVE...
2024-02-19 08:46:34
107
转载 年薪96w！真心建议大家冲一冲新兴领域，工资高前景好
国内AI赛道又爆了！继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！人才市场上AI大模型工程师“一将难求”！甚至开出80k*16的高薪，挖掘AI大模型人才！如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？与其焦虑……不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！????知乎知学堂特邀你加入：行业前沿资源——AI大模型公开课已为本...
2024-02-18 13:32:31
43
转载 B站大型开播平台重构
本期作者1.背景"凡事预则立，不预则废。"——《礼记·中庸》在文章的开头，我们可以先来了解一下直播业务的大致业务架构。将直播业务简单分为两大类场景"看播"、"开播"，前者主要面向C端观看用户，后者主要面向B端开播主播。主播通过"开播工具"的开播产品功能，经由"开播平台"完成一系列开播动作，最后将媒体信息采集推送到多媒体服务器，C端观看用户就可以从CDN看到直播的视频流内容。从数据流向来讲，"开播"...
2024-02-06 09:48:35
49
转载 千万级高性能长连接Go服务架构实践
GEEK TALK01摘要移动互联网时代，用户对服务的实时性、互动性有了更高的要求，因此能够极大提升服务实时性、互动性的长连接服务，成为了移动互联网应用的刚需。长连接，顾名思义，是应用存活期间和服务端一直保持的网络数据通道，能够支持全双工上下行数据传输。其和请求响应模式的短连接服务最大的差异，在于它可以提供服务端主动给用户实时推送数据的能力。不过，长连接作为基础服务，要做到低延时、高并发、高稳定性...
2024-02-04 09:35:20
52
转载 高并发架构设计（三大利器：缓存、限流和降级）
引言高并发背景互联网行业迅速发展，用户量剧增，系统面临巨大的并发请求压力。软件系统有三个追求：高性能、高并发、高可用，俗称三高。三者既有区别也有联系，门门道道很多，全面讨论需要三天三夜，本篇讨论高并发。高并发对系统的挑战性能下降、资源竞争和稳定性问题等。什么是高并发高并发的定义高并发是指系统或应用程序在同一时间段内接收到大量并发请求的能力。具体来说，高并发环境下系统需要能够同时处理大量的请求，而不...
2024-02-01 08:26:53
46
转载 vivo 海量微服务架构最新实践
一、vivo 从 0 到 1 的微服务架构工程实践1.1 为什么需要微服务及落地挑战伴随业务的高速发展，业务的复杂度越来越高，用户规模和访问量也越来越大；项目的迭代速度越来越快，交付效率要求也越来越高。与此同时，服务的集群规模越来越大，部署架构越来越复杂，故障范围也越来越不可控。此外，突增的业务流量时刻考验着服务的水平扩容能力，创新业务的快速孵化也对服务的可扩展性提出了更高的要求。想要解决以上问题...
2024-01-31 08:39:33
49
转载 【收藏】Twitter工程师从0到1教你设计百万级并发应用
从0到100万用户的扩展设计一个拥有上百万用户的系统是很有挑战性的，这将是一个不断优化、持续改进的过程。在本章中，我们先创建一个单用户的系统，然后逐渐将其扩展成可以服务上百万用户的系统。读完本文，你将掌握几个能帮助你破解系统设计面试难题的技巧。本文节选自Alex所著《搞定系统设计：面试敲开大厂的门》，亚马逊2500人打出4.6分，豆瓣8.4分好书。01单服务器配置万里征途总是从第一步开始的，构建一...
2024-01-25 08:57:51
63
转载 国内AI彻底爆了！全网独一份AI大模型资源...（待会删）
Open AI 最新成果炸裂ChatGPT裂变成无数个GPTs“苹果”替代“诺基亚”的时代又要来临了！！2年内，传统 IT 岗位将失业被重塑！5年内，医疗/量化/互联网/办公等行业涌现新业态现在还不学习AI大模型训练技术或将很快面临“被淘汰”！作为普通程序员，如何不被时代抛弃，享受AI技术带来的红利？！????知乎知学堂特发起：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时...
2024-01-23 10:45:41
47
转载 Rust又被降本增效选中！Rust替代Python，亚马逊云成本降为1/4！
一种神奇的组合出现了！Rust和无服务器搭配，可能比使用Python要省下一大笔钱！众所周知，Lambda函数和大型运行时是一个糟糕的组合，因为跟本机代码相比，冷启动速度较慢，内存需求更高。另一方面，许多开发人员使用Java和Python比使用Rust等系统语言开发起来会更有效率。然而现在，不需要用Rust重写整个Lambda函数（Python），就可以真正的“降本增效”。基于Python的AW...
2024-01-22 08:22:03
47
转载 一文详解 Java 限流常见的四种限流算法
一、限流为什么要进行限流？1.瞬时流量过高，服务被压垮？2.恶意用户高频光顾，导致服务器宕机？3.消息消费过快，导致数据库压力过大，性能下降甚至崩溃？……什么是限流？限流是对某一时间窗口内的请求数进行限制，保持系统的可用性和稳定性，防止因流量暴增而导致的系统运行缓慢或宕机。在高并发系统中，出于系统保护角度考虑，通常会对流量进行限流。在分布式系统中，高并发场景下，为了防止系统因突然的流量激增而导致的...
2024-01-17 08:11:20
270
转载 代码理解技术应用实践介绍
作者 |CQT&星云团队一、前言GEEK TALK代码理解作为软件知识图谱重要的技术之一，可以为构建、测试、定位、代码解释等提供基础的技术和数据保障，也是持续集成的起点，只有理解了代码才能有目的性的进行有效构建。代码理解对于软件开发的成功和维护的高效性具有重要意义，是提高软件质量、降低开发成本和提高开发效率的关键。二、什么是代码理解GEEK TALK代码理解是一个以软件系统为被分析对象，...
2024-01-15 09:51:46
41
转载 我是如何实现Go性能5倍提升的？
01为什么要进行性能优化对 Golang 程序进行性能优化，可以在提升业务收益的同时，起到降低成本的作用。笔者在做一次代码重构时发现过一个问题，DeepCopy 占据了大量 CPU 时间，其处理逻辑如下：x1 := DeepCopy(x) // 对x进行deep copyModify(x) // 对x进行修改Read(x1) ...
2024-01-10 08:33:39
35
转载 AIOps在美团的探索与实践——事件管理篇
0 写在最前文中所提及的事件并不仅限于故障，还包括运维工作中的告警、异常等。"Anincidentis an unplanned interruption to an IT Service or a reduction in the Quality of an IT Service." Source: Incident Management -ITIL1 背景在《AIOps在美团的探索与实践—...
2024-01-09 08:40:40
48
转载 万字长文谈B站变更管控体系设计与实践
背景随着企业规模的扩大和技术日趋复杂，对生产环境的稳定性需求日益凸显，尤其对于大型互联网企业而言，稳定性的重要性不可忽视。在这一背景下，变更管理显得尤为关键，因为变更通常是导致线上故障的首要因素。据谷歌SRE统计，高达70%的生产事故与线上服务的变更直接相关。因此，防控住变更带来的风险将有助于从源头上杜绝大部分潜在风险，确保企业生产环境的可靠性和稳定性。本文将基于当下变更管控的困局，引入变更的核心...
2024-01-08 09:56:48
90
转载 （此文价值极大）ChatGPT搞钱来了，架构师抓紧进！！！
随着ChatGPT大热“AI大模型”无疑是最火爆的话题！Google、百度、腾讯等等巨头互联网公司，无不在布局人工智能技术和市场，甚至还有60k*16的高薪，挖掘AI大模型人才！作为普通程序员，如何不被时代抛弃，享受AI技术带来的红利？！????知乎知学堂特发起：行业前沿资源——AI大模型公开课已为本号粉丝开通免费领取权限预计24小时后关闭通道！速进！AI大模型-重塑程序员核心竞争力（不限年龄！不限...
2024-01-05 10:03:18
34
转载 放弃PHP转投Go，10万行代码重构升级一步到位！
01业务场景介绍腾讯新闻底层页是核心业务场景，底层页服务请求 QPS 3.5万+，单日请求量10亿+。涉及到五大场景：腾讯新闻客户端、腾讯新闻微信与 QQ 插件、腾讯网、腾讯新闻分享页、腾讯新闻小程序。当用户从列表入口列表点击图文或者问答文章，进入相应的底层页。底层页展示的信息包括：标题、摘要、作者信息、正文信息、点赞信息等，如下图所示。02所面临的问题2.1代码历史债务高底层页接口代码历...
2024-01-04 08:44:52
51
转载 一文浅谈CodeReview中的一些思考
引言正如图中调侃的衡量代码质量的唯一有效标准就是CodeReview过程中WTF/min，从中可以看出CodeReview对于保障代码质量的重要性。CodeReview在日常的开发过程中也越来越被重视，它在提高代码质量同时促进团队成员之间的知识共享和技能提升方面发挥了诸多作用，本文将主要围绕CodeReview展开，简单聊聊在CodeReview过程中的心得和思考。CodeReview的重要性Co...
2024-01-02 10:38:02
341
原创 从变更 license 协议，到联合创始人离职，是时候考虑 Consul 的国产化平替方案了...
作者：季敏：开源项目 Seata 创始人。HashiCorp BSL license 变更8月，HashiCorp 宣布所有产品和多个库的未来版本将从 Mozilla 公共许可证 v2.0 (MPL 2.0) 过渡到Business Source License（BSL 或 BUSL）v1.1[1]，旨在平衡开源和商业利益之间的需求。12月，公司联合创始人 Mitchell Hashimoto 面...
2023-12-29 08:47:53
1184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人