张永清-老清-CSDN博客

原创【学习性能分析--第二版】如何做好性能测试分析诊断调优-暨《软件性能测试、分析与调优实践之路》(第2版)推荐

张永清的这本书，融合了研发和测试，融合了后端和前端，融合了应用和数据库，融合了性能定位的方法论和实践，全面介绍了如何进行性能分析定位调优，如何让软件系统拥有更快的性能体验，这些是他在很多年测试、研发、架构岗位上经验积累的输出。正是在这样的背景和需求下，同时也在本书前一版《软件性能测试、分析与调优实践之路》大量读者的反馈和建议下，迎来了这本书的第2版。本书最大的特点就是非常全面地剖析了性能调优的技术和方法，并且结合了大量真实的性能压测案例，让读者能把学习到的理论知识运用到实际的案例中去做实践分析。

2024-03-03 17:57:42 951

转载 jmeter系列-如何实现像loadrunner一样，多个并发用户先通过登录初始化，然后做并发的接口性能压测

自从转开发后，就很少关注性能测试方面的东西，最近在帮朋友做一个性能压测，由于朋友那边的公司比较小，环境比较简单，而且是对http服务进行的压测，所以最终选用了jmeter来实现这个压测。如下就是我们的场景，多个并发用户，每个用户需要先登录，而且只需要登录一次，每个并发登录成功后，会产生一个accessToken，也是就是代表了登录服务器端登录鉴权通过后，

2022-11-08 14:55:15 538

转载软件性能测试分析与调优实践之路---性能测试系列-java gc调优

的回收对响应时间有非常大的影响，早期的GC回收，基本都会造成很长时间的Stop-The-World 的暂停，新GC算法很多都是围绕降低Stop-The-World 的暂停时间，使得平均响应时间尽量变短，TPS提升的更高。随着jdk版本的迅速变化，jdk里面的GC算法也是发生了很多变化，新版的jdk中，G1的已经成了jdk的默认算法了，性能测试中，我们经常关注的比较多的就是tps，吞吐率，内存占用，CPU占用，响应时间，其中GC。掌握尽量全面、详细、准确的信息，是各种调优的基础，不仅仅是 GC 调优。

2022-11-08 14:51:52 591

转载软件性能测试分析与调优实践之路---性能测试和性能分析的基础概念

性能可以理解为一个系统实现其功能的能力，从宏观上可以描述为系统能够稳定运行，高并发访问时系统不会出现宕机，系统处理完成用户请求需要的时间，系统能够同时支撑的并发访问量，系统每秒可以处理完成的事物数等，从微观上可以描述为处理每个事务的资源开销，资源的开销可以包括CPU，磁盘IO，内存，网络传输带宽等，甚至可以体现为服务器链接数，线程数，JVM Heap等的使用情况，也可以表现为内存的分配回收是否及时，缓存规则的命中率等。单就性能指标而言，系统的并发用户数是指系统可以同时承载的正常使用系统功能的用户的总数量。

2022-11-08 14:47:13 890

转载如何扩展Spark Catalyst,抓取spark sql 语句，通过listenerBus发送sql event以及编写自定义的Spark SQL引擎

我们可以实现特定的SQL方言，针对特殊的数据源做更深入的优化，进行SQL规范检查，针对特定执行环境制定特定的优化策略等等。Spark Catalyst的SQL处理分成parser，analyzer，optimizer以及planner等多个步骤，其中analyzer，optimizer等步骤内部也分为多个阶段，以Analyzer为例，analyse规则切分到不同的batch中，每个batch的执行策略可能不尽相同，有的只会执行一遍，有的会迭代执行直到满足一定条件。并且引入如下maven plugin。

2022-11-08 14:42:31 776

转载使用grafana+Prometheus监控时PromQL内置函数详解

22）、label_join(v instant-vector, dst_label string, separator string, src_label_1 string, src_label_2 string, ...) 函数可以将时间序列 v 中多个标签 src_label 的值，通过 separator 作为连接符写入到一个新的标签 dst_label 中。14）、exp(v instant-vector) 函数，输入一个瞬时向量，返回各个样本值的 e 的指数值，即 e 的 N 次方。

2022-11-08 14:40:22 6369

转载 Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘

一、CK 分布式表和本地表（1）CK是一个纯列式存储的数据库，一个列就是硬盘上的一个或多个文件（多个分区有多个文件），关于列式存储这里就不展开了，总之列存对于分析来讲好处更大，因为每个列单独存储，所以每一列数据可以压缩，不仅节省了硬盘，还可以降低磁盘IO。（2）CK是多核并行处理的，为了充分利用CPU资源，多线程和多核必不可少，同时向量化执行也会大幅提高速度。（3）提供SQL查询接口，CK的客户端连接方式分为HTTP和TCP，TCP更加底层和高效，HTTP更容易使用和扩展，一般来说HTTP足矣，社区已经有很

2022-06-03 15:16:58 3891

转载软件性能测试分析与调优实践之路-Java应用程序的性能分析与调优-手稿节选

Java编程语言自从诞生起，就成为了一门非常流行的编程语言，覆盖了互联网、安卓应用、后端应用、大数据等很多技术领域，因此Java应用程序的性能分析和调优也是一门非常重要的课题。Java应用程序的性能直接关系到了很多大型电商网站的访问承载能力、大数据的数据处理量等，它的性能分析和调优往往还可以节省很多的硬件成本。5.1 JVM基础知识5.1.1 JVM简介JVM是Java Virtual Machine（Java虚拟机）的英文简写，通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java编程语言在引入

2022-06-03 15:10:51 795

转载软件性能测试分析与调优实践之路-JMeter对RPC服务的性能压测分析与调优-手稿节选

一、JMeter 如何通过自定义Sample来压测RPC服务RPC（Remote Procedure Call）俗称远程过程调用，是常用的一种高效的服务调用方式，也是性能压测时经常遇到的一种服务调用形式。常见的RPC有GRPC、Thrift、Dubbo等。这里以GRPC为例介绍在JMeter中如何添加自定义的Sample来压测GRPC服务，JMeter中提供的Sample如下图所示，从中可以看到并没有我们需要压测GRPC的Sampler。本文作者：张永清，转载请注明： https://www.cnblog

2022-06-03 15:08:22 555

转载 MongoDB Java API操作很全的整理以及共享分片模式下的常见操作整理

MongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写，一般生产上建议以共享分片的形式来部署。但是MongoDB官方也提供了其它语言的客户端操作API。如下图所示：提供了C、C++、C#、.net、GO、java、Node.js、PHP、python、scala等各种语言的版本，如下图所示：MongoDB的操作分为同步操作和异步操作以及响应式编程操作一、同步操作API官方JAVA API的路径：https://docs.mongodb.com/ecosystem/drive.

2021-03-30 19:37:24 662

转载大数据时代，数据实时同步解决方案的思考—最全的数据同步总结

1、早期关系型数据库之间的数据同步1）、全量同步比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。3）、基于触发器的增量同步增量同步一般是做实时的同步，早期很多数据同步都是基于关系型

2021-03-30 19:36:14 4405

转载性能测试分析与性能调优诊断--史上最全的服务器性能分析监控调优篇

一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行，那么服务器的性能监控和分析就显得非常重要了，选用什么配置的服务器、如何对服务器进行调优、如何从服务器监控中发现程序的性能问题、如何判断服务器的瓶颈在哪里等就成为了服务器性能监控和分析时重点需要去解决的问题了。本文章节目录：1 服务器的性能监控和分析1.1、 Linux服务器的性能指标监控和分析1.1.1 、通过vmstat深挖服务器的性能问题1.1.2 、如何通过m...

2021-03-30 19:35:05 1047

转载 Elasticsearch Java API 很全的整理以及架构剖析

Elasticsearch 的API 分为 REST Client API（http请求形式）以及 transportClient API两种。相比来说transportClient API效率更高，transportClient 是通过Elasticsearch内部RPC的形式进行请求的，连接可以是一个长连接，相当于是把客户端的请求当成Elasticsearch 集群的一个节点，当然 REST Client API 也支持http keepAlive形式的长连接，只是非内部RPC形式。但是从Elast

2021-03-30 19:33:36 237

转载 apache-atlas 深度剖析

atlas 是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。 •各种Hadoop和非Hadoop元数据的预定义类型 •为要管理的元数据定义新类型的能力 •类型可以具有原始...

2021-03-30 19:32:10 1665 1

转载 flink 流式处理中如何集成mybatis框架

flink 中自身虽然实现了大量的connectors，如下图所示，也实现了jdbc的connector，可以通过jdbc 去操作数据库，但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板，有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优秀的mybatis框架，那么其实flink中是可以自己集成mybatis进来的。我们这里以flink 1.9版本为例来进行集成。如下图为flink内部自带的flink-jdbc：创建一个fli.

2021-03-30 19:31:05 1215

转载 kafka connector 使用总结以及自定义connector开发

Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。Kafka Connect可以从数据库或应用程序服务器收集数据到Kafka topic，使数据可用于低延迟的流处理。导出作业可以将数据从Kafka topic传输到二次存储和查询系统，或者传递到批处理系统以进行离线分析。Kafaka connect的核心组件：Source：负责将外部数据写入到kafka的topic中。Sink：负责从

2021-03-30 19:29:33 2959 1

转载大数据数据仓库架构设计基础概念和设计思想整理

一、ODS层ODS 全称是 Operational Data Store，一般对应的是操作性数据存储，直接面向主题的，也叫数据运营层，通常是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就是通常说的 ETL 之后的数据存入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。但是，这一层面的数据却不等同于原始数据。在源数据装入这一层时，要进行诸如去噪(例如有一条数据中人的年龄是 300 岁，这种属于异常数据，就需要提前做一些处理)、去重(例如在个人资料表中，同一 ID 却有

2021-03-30 19:27:14 681

转载比较全的常见的架构设计思想整理

一、MPP 架构1、MPP架构的基础概念MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部

2021-03-30 19:25:38 686

转载 Flume数据采集结合etcd作为配置中心在爬虫大数据采集处理中的架构实践。

ApacheFlume是一个分布式的、可靠的、可用的系统,用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储，但是其本身是以本地properties作为配置的，配置无法做到动态监听和更新。一、Flume和ETCD的结合，使用ETCD作为flume 数据采集的配置中心。那么如何做出一个flume的动态配置中心呢，etcd 可以是一个很好的选择。etcd的API版本有v2和v3两个，这里选择v3版本。在flume启动的时候，可以启动etcd的监听。... @.

2021-03-30 19:23:12 364

转载【转载】incubator-dolphinscheduler 如何在不写任何新代码的情况下，能快速接入到prometheus和grafana中进行监控

一、prometheus和grafana 简介Prometheus 是继 Kubernetes 之后的第二个 CNCF “毕业” 项目，其监控理念传承于由谷歌研发的一款内部监控软件，现主要开发语言为 go，代码目前已经托管在 github 中，遵从 apache 2.0 开源协议，受欢迎的程度非常高，github 地址为：https://github.com/prometheus/。　　监控通常可以分为白盒监控和黑盒监控。　　白盒监控：一般是指通过监控应用程序内部的运行状态及相应的指标来判断可能

2021-03-26 16:53:30 394

转载【转载】联童科技基于incubator-dolphinscheduler从0到1构建大数据调度平台之路

联童科技是一家智能化母婴童产业平台，从事母婴童行业以及互联网技术多年，拥有丰富的母婴门店运营和系统开发经验，在会员经营和商品经营方面，能够围绕会员需求，深入场景，更贴近合作伙伴和消费者，提供最优服务产品，公司致力于以技术来驱动母婴童产业的发展，公司也希望借助于大数据为客户提供更多智能数据分析和决策分析，大数据是公司重点发展的一部分，公司从成立初期起就搭建了大数据团队，有了大数据团队后，大数据调度平台的构建自然是最基础也是最重要的环节。一、为什么选择incubator-dolphinscheduler

2021-03-26 16:45:38 431 2

转载【转载】软件性能测试分析与调优实践之路-Web中间件的性能分析与调优总结

本文主要阐述软件性能测试中的一些调优思想和技术，节选自作者新书《软件性能测试分析与调优实践之路》部分章节归纳。在国内互联网公司中，Web中间件用的最多的就是Apache和Nginx这两款了，包括很多大型电商网站淘宝、京东、苏宁易购等，都在使用Nginx或者Apache作为Web中间件。而且很多编程语言在做Web开发时，会将Apache或者Nginx作为其绑定的固定组件，比如php语言做Web开发时，就经常和Apache联系在一起，使得apche成为了php在Web开发时的一个标配。而Nginx不管是在作

2021-01-10 22:34:11 615

转载【转载】软件性能测试分析与调优实践之路-性能分析调优思想与调优技术总结

本文主要阐述软件性能测试中的一些调优思想和技术，节选自作者新书《软件性能测试分析与调优实践之路》部分章节归纳。一、性能分析与调优思想1、性能分析调优模型性能测试除了为获取性能指标外，更多是为了发现性能瓶颈和性能问题，然后对性能问题和瓶颈进行分析和调优，在当今互联网高速发展的时代，性能调优的模型可以归纳总结如下图所示。系统模型中相关的组件描述如下表所示组件描述网络分发网络分发是高速发展的互联网...

2020-09-13 12:03:09 1120

转载《软件性能测试、分析与调优实践之路》学习

这是一本理论和实践相结合的同时面向研发和测试岗的关于性能分析诊断调优实践的图书，比起其他的很多性能测试的图书，本书中内容更侧重于介绍如何去发现性能问题、分析诊断性能问题以及对发现的性能问题进行调优。书中的内容涵盖了性能测试基础、linux和windows服务器的性能分析、web和应用中间件的性能分析、java应用程序的性能分析、数据库的性能分析、安卓APP的性能分析以及具体的性能分析案例实践。这本书主要是面向有一定性能测试基础或者编程语言基础的朋友，对于刚刚接触性能测试的朋友来说可能会稍显吃力，建议在阅读本

2020-07-19 10:29:59 2832

转载【转载】谈谈IT圈的门槛与学历的关系以及如何避免青春饭？

一、关于自己我是一名80后的IT老兵，从今年出现疫情后，就感觉多少有些力不从心了，因为公司的业务做的不好，公司是做普惠金融的，疫情出现后，催收逾期就非常厉害，导致公司不敢大量放贷，从而就出现了公司收益减少。这时候公司内部很多人就慌了，因为担心公司会裁员或者降薪，果不其然，复工后公司果然要开始降薪了，对于很多年轻人来说，其实可以出去找个更好的工作，但是对于一些年过30后的人来说，出去找工作就有点困难，而且还担心新找的公司是否稳定。很多30多岁的人，基本上生活压力都很大，大部分人都背着房贷，每个月需要有非常

2020-07-19 10:09:38 271