- 博客(126)
- 资源 (3)
- 问答 (5)
- 收藏
- 关注
RSS订阅原创 内存性能指标及工具
目录一、内存性能指标1、系统内存指标2、进程内存指标3、SWAP内存指标二、内存性能工具三、性能指标和工具的联系1、从内存指标出发2、从性能工具出发四、如何迅速分析内存的性能瓶颈五、常见优化思路一、内存性能指标为了分析内存的性能瓶颈，首先要知道，怎样衡量内存的性能，也就是性能指标。内存性能指标可以大概分为三种：系统内存指标、进程内存指标、SWAP。1、系统内存指标系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。.
2022-09-14 11:07:22
2752
原创 uwsgi ini配置文件参数详解
[uwsgi]#指定IP端口 // 直接外部访问#http-socket = 127.0.0.1:8080#项目目录chdir = /www/wwwroot/web/#指定项目的applicationmodule = web.wsgi:application#uwsgi启动用户名和用户组uid = wwwgid = www#启用主进程master = true#指定Socket路径 //内部访问 #权限和nginx一样socket = /www/wwwroot/.
2022-08-18 07:52:57
2617
原创 Kubernetes安装与配置实践
一、系统条件CPU内存：2核4GLinux：CentOS 8.0Docker作为容器运行环境，推荐版本为Docker CE 18.09。关闭防火墙及Selinux：确保master和Node的相互通信正常，禁用SELinux，让容器可以读取主机文件系统。关闭防火墙：# systemctl disable firewalld# systemctl stop firewalld禁用Selinux ：[root@VM-16-5-centos ~]# setenforc..
2022-03-29 21:02:46
1870
1
原创 win11安装mysql 8.0.26
环境：Windos11Mysql 8下载： MySQL :: Download MySQL Community Server (Archived Versions)解压至安装目录：D:\Software\MySQL（我的安装目录）解压后文件如下：新建配置文件my.inibasedir，datadir，log-error，pid-file可写成自定义目录[mysqld]\# 设置3306端口port=3306\# 设置mysql的安装目录basedir=D:.
2021-12-26 20:53:45
954
原创 python3 生成100个数字+字母6位数密码串
正值七夕佳节，女朋友突发奇想，为解决实际问题，张口就来：可以 生成100个数字+字母6位数密码串 吗？我也是张口就来，能。放下手机，拿起笔记本就是干整理了下思路，由于紧急需要，不到一分钟形成如下实现思路：1、生成0-9数字列表：[i for i in range(0, 10)]2、生成a-z 26个字母列表[chr(i) for i in range(97, 123)]3、将数字列表和字母列表合并一个列表：numlist.extend(words)4、两
2021-08-14 21:18:26
774
原创 总结篇：性能问题分析及优化的一般方法，工具速查
目录性能分析的一般步骤一、CPU 性能分析二、内存性能分析三、磁盘和文件系统 I/O 性能分析四、网络性能分析五、应用程序瓶颈性能优化的一般方法一、CPU 优化二、内存优化三、磁盘和文件系统 I/O 优化四、网络优化五、应用程序优化性能工具一、工具选择的原则二、CPU 性能工具三、内存性能工具四、磁盘 I/O 性能工具五、网络性能工具六、基准测试工具性能分析的一般步骤一、CPU 性能分析关于 CPU 的性能..
2021-05-25 23:29:04
2680
2
原创 总结篇：系统及应用监控的综合思路
目录一、系统监控1、USE 法2、监控系统二、应用监控1、指标监控2、日志监控三、总结性能分析的原理、思路以及相关的工具很多也很好用。不过，在实际的性能分析中，一个很常见的现象是，明明发生了性能瓶颈，但当你登录到服务器中想要排查的时候，却发现瓶颈已经消失了。或者说，性能问题总是时不时地发生，但却很难找出发生规律，也很难重现。当面对这样的场景时，你可能会发现，之前遇到的各种工具、方法都“失效“了。为什么呢？因为它们都需要在性能问题发生的时刻才有效，而在这些事后分析的场.
2021-05-24 21:17:18
1972
2
原创 总结篇：系统的网络性能评估及优化思路
目录一、性能指标二、网络基准测试1、转发性能2、TCP/UDP 性能3、HTTP 性能4、应用负载性能三、性能优化思路1、确定优化目标2、网络性能工具3、网络性能优化四、总结1、性能评估2、性能优化一、性能指标在Linux网络的工作机制及性能指标中，说到，带宽、吞吐量、延时、PPS 等，都是最常用的网络性能指标。 首先，带宽，表示链路的最大传输速率，单位是 b/s（比特 / 秒）。在你为服务器选购网卡时，带宽就是最核心的参考指标。常..
2021-05-16 22:30:37
3444
原创 Linux网络的工作机制及性能指标
计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。同 CPU、内存以及 I/O 一样，网络也是 Linux 系统最核心的功能。网络是一种把不同计算机或网络设备连接到一起的技术，它本质上是一种进程间通信方式，特别是跨系统的进程间通信，必须要通过网络才能进行。随着高并发、分布式、云计算、微服务等技术的普及，网络的性能也变得越来越重要。一、网络模型1、O...
2021-05-10 22:46:02
376
原创 总结篇：Linux I/O问题如何快速定位
一、性能指标如下文件系统和IO栈如下图：1、文件系统 I/O 性能指标（1）存储空间的使用情况，包括容量、使用量以及剩余空间，通常也称这些为磁盘空间的使用量，因为文件系统的数据最终还是存储在磁盘上。注意：这些只是文件系统向外展示的空间使用，而非在磁盘空间的真实用量，因为文件系统的元数据也会占用磁盘空间。并且，如果你配置了 RAID，从文件系统看到的使用量跟实际磁盘的占用空间，也会因为 RAID 级别的不同而不一样。比方说，配置 RAID10 后，你从文件系统最多也只能看到所有磁盘...
2021-05-07 21:43:53
862
原创 Linux的磁盘I/O的工作机制
目录一、文件系统概要二、磁盘三、通用块层四、I/O栈五、磁盘性能指标六、查看I/O使用情况1、磁盘I/O2、进程 I/O一、文件系统概要Linux系统中，文件系统是对存储设备上的文件，进行组织管理的一种机制。而 Linux 在各种文件系统实现上，又抽象了一层虚拟文件系统 VFS，它定义了一组所有文件系统都支持的数据结构和标准接口。 对应用程序来说，只需要跟 VFS 提供的统一接口交互，而不需要关注文件系统的具体实现； 对具体的文件系统来说，只需要按照
2021-05-05 22:38:50
232
原创 总结篇：系统内存问题如何快速定位
目录一、内存性能指标1、系统内存指标2、进程内存指标3、SWAP内存指标二、内存性能工具三、性能指标和工具的联系1、从内存指标出发2、从性能工具出发四、如何迅速分析内存的性能瓶颈五、常见优化思路一、内存性能指标为了分析内存的性能瓶颈，首先要知道，怎样衡量内存的性能，也就是性能指标。内存性能指标可以大概分为三种：系统内存指标、进程内存指标、SWAP。1、系统内存指标系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。.
2021-05-03 12:00:29
380
原创 Linux swap分区工作原理及问题定位
#目录部分一、文件页和匿名页1、文件页当发生了内存泄漏时，或者运行了大内存的应用程序，导致系统的内存资源紧张时，系统又会如何应对呢？内存回收和 OOM 杀死进程。内存资源紧张导致的 OOM（Out Of Memory），指的是系统杀死占用大量内存的进程，释放这些内存，再分配给其他更需要的进程。内存回收，也就是系统释放掉可以回收的内存，比如缓存和缓冲区，就属于可回收内存。它们在内存管理中，通常被叫做文件页（File-backed Page）。大部分文件页，都可以直接回收，以后有需.
2021-05-01 21:35:59
737
原创 该如何定位和处理内存泄漏？
目录一、何为内存泄露？二、怎么发生内存泄漏？三、发生后定位处理？四、总结一、何为内存泄露？何为内存泄漏？又是怎么发生的呢？通过对Linux系统内存工作原理的了解，我们知道： 普通进程通过页表将内核提供的虚拟内存映射到物理内存。 当进程通过 malloc() 申请虚拟内存后，系统并不会立即为其分配物理内存，而是在首次访问时，才通过缺页异常陷入内核中分配内存。 协调 CPU 与磁盘间的性能差异，提升系统的 I/O 性能，Linux 还会使用 Cach.
2021-04-25 22:24:14
749
原创 内存中的buffer和cache
目录一、free命令二、buffer和cache的数据来源及含义1、数据来源2、Buffers、Cached 和 SReclaimable3、其他注意点三、如何利用Buffer 和 Cache优化程序的运行效率？1、缓存命中率2、指定文件的缓存大小四、总结一、free命令提到查看linux主机内存，我们总会想到free命令也一般用该命令，如下面的输出：[root@localhost ~]# free total .
2021-04-24 23:41:32
2797
原创 CentOS 中升级系统内核并安装 bcc-tools
说明：如下操作均为再安装的本地虚拟机中执行，生产操作慎行！！！一、升级内核查看当前内核版本：[root@localhost ~]# uname -r3.10.0-1160.el7.x86_64[root@localhost ~]# 升级系统：yum update -y 等待结束安装 ELRepo[root@localhost ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org[root@local.
2021-04-24 23:23:03
375
原创 Linux内存是怎么工作的？
目录一、物理内存和虚拟内存二、内存映射三、虚拟内存的空间分布四、内存的分配与回收五、如何查看内存的使用情况？六、总结一、物理内存和虚拟内存同 CPU 管理一样，内存管理也是操作系统最核心的功能之一。内存主要用来存储系统和应用程序的指令、数据、缓存等。我们通常也会说到自己的笔记本是8G或16G，这也是内存容量，实际上是指的物理内存。物理内存也称为主存，大多数计算机用的主存都是动态随机访问内存（DRAM）。只有内核才可以直接访问物理内存。那么，进程要访问内存时，该怎么办呢
2021-04-22 22:03:39
164
原创 CPU性能分析优化套路
内容摘自极客时间《Linux性能优化实战》CPU 的性能指标那么多，CPU 性能分析工具也是一抓一大把，如果离开专栏，换成实际的工作场景，我又该观察什么指标、选择哪个性能工具呢？不要担心，总结出一个“又快又准”的瓶颈定位套路，告诉你在不同场景下，指标工具怎么选，性能瓶颈怎么找。一、CPU性能指标1、CPU 使用率CPU 使用率描述了非空闲时间占总 CPU 时间的百分比，根据 CPU 上运行任务的不同，又被分为用户 CPU、系统 CPU、等待 I/O CPU、软中断和硬中断等。用户 C
2021-04-19 19:42:17
493
原创 软中断CPU使用率高 咋办？
目录一、中断怎么理解？二、查看软中断和内核线程三、软中断频繁致CPU使用率升高四、总结上篇文章《系统中不可中断状态进程和僵尸进程很多怎么办？》中，进程可能会在不可中断状态保持很久，导致系统中出现大量不可中断进程，等待 I/O 的进程一般是不可中断状态。iowait的升高也导致CPU使用率高，除了 iowait，软中断（softirq）CPU 使用率升高也是最常见的一种性能问题。一、中断怎么理解？中断是系统用来响应硬件设备请求的一种机制，它会打断进程的正常调度和执行，然后调用内核中
2021-04-15 21:31:12
3374
1
原创 系统中不可中断状态进程和僵尸进程很多怎么办？
目录一、什么是进程？二、进程的状态三、不可中断进程和僵尸进程四、iowait升高分析五、僵尸进程分析僵尸进程不断生成，导致服务器hang住，真实的案例在眼前发生，对于线上生产环境问题，秉着应用恢复正常为第一要义，凭借高超的重启技术，先重启服务器然后重启应用恢复，感叹重启大法好，一切又回归了平静，在充实而忙碌的日子里等待下一次的异常后的重启操作。。。一次又一次，重启操作越来越熟练，僵尸进程还是那些进程。终于有一天，重启熟练度达成新成就99%，没有了上升空间...这天，僵尸进程又来.
2021-04-13 23:00:59
679
原创 Linux主机CPU高这样查就对了
一、CPU使用率及计算方法一提到CPU指标，大家最可能熟悉的莫过于CPU使用率，表示的是单位时间内 CPU 使用情况的统计，以百分比的方式展示。查看CPU使用率一手top，天下我有，再就可能会使用到ps。但是对于top、ps 之类的性能工具展示的 %user、%nice、 %system、%iowait 、%steal 等之间计算方式及不同之处了解甚微。接下来就是我们展现“杆法”的时候了。我们都知道，Linux是一个多任务的操作系统，将每个CPU的占用通过很短的时间片来调度给每个任务使用，由于时间极
2021-04-12 22:31:33
676
原创 Linux性能优化实战学习笔记 CPU性能篇-CPU上下文切换含义
一、CPU的上下文及上下文切换Linux 是一个多任务操作系统，它支持远大于 CPU 数量的任务同时运行。当然，这些任务实际上并不是真的在同时运行，而是因为系统在很短的时间内，将 CPU 轮流分配给它们，造成多任务同时运行的错觉。每个任务运行前，CPU 都需要知道任务从哪里加载、又从哪里开始运行，也就是说，需要系统事先帮它设置好 CPU 寄存器和程序计数器（Program Counter，PC）。CPU 寄存器，是 CPU 内置的容量小、但速度极快的内存。而程序计数器，则是用来存储 CPU 正在
2021-04-11 23:12:53
121
原创 Centos7查看主机IP地址
Centos7默认没有安装ifconfig命令.使用ip addr 查看IP地址的时候出现如下:ens33 为对应的网卡,但是无法确定IP地址.解决:vi /etc/sysconfig/network-scripts/ifcfg-ens33将ONBOOT=no 修改为 yes重启网卡:service network restart再次ip addr 便可查看到IP地址:...
2021-04-10 23:51:14
1796
1
原创 Linux性能优化实战学习笔记 CPU性能篇-平均负载
一、什么是平均负载？日常的工作中，经常会遇到系统变慢，响应时间长，通常会做的第一件事就是执行top和uptime命令，了解CPU的使用率及负载情况：如下uptime命令：$ uptime02:34:03 up 2 days, 20:14, 1 user, load average: 0.63, 0.83, 0.88这些列对应的含义分别如下：02:34:03 //当前时间up 2 days, 20:14 //系统运行时间1 user //正在登录用户数load avera
2021-04-10 17:36:49
149
原创 从两个示例说明学习迭代方式-递归
一、前言二、阶乘函数1、阶乘函数2、递归实现3、三、二分查找1、二分算法2、递归实现二分算法3、四、分析递归算法
2021-02-21 19:14:44
515
2
原创 centos7下没有ifconfig命令的解决方法
ifconfig命令是设置或显示网络接口的程序，可以显示出我们机器的网卡信息。linux镜像：CentOS-7-x86_64-DVD-2003.iso[root@localhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.8.2003 (Core)[root@localhost ~]#使用ifconfig查看主机ip的时候，无情提示“未找到命令”：[root@localhost ~]# ifconfig-bash: if
2020-10-11 22:08:06
566
1
原创 【中间件学习篇_Kafka】搞定kafka术语 No.4
目录一、kafka架构图二、Kafka相关概念及术语三、参考资料在 Kafka 的世界中有很多概念和术语需要熟练掌握，有助于深入理解Kafka原理。 kafka的相关术语有：生产者（Producer），消费者（Consumer），消费者组（Consumer Group），代理（Broker），集群（Cluster），消息（message），主题（Topic），分区（Partition），副本（Replica），消息位移（Offset），消费者位移（Consumer Offs...
2020-10-11 10:14:29
111
原创 【数据分析】numpy中的nan和常用统计方法 No.5
一、nan和inf1、 nan（NAN，Nan）：not a number 表示不是一个数字什么时候会出现nan呢？ 当我们读取本地文件为float的时候，如果有缺失或者当做了一个不合适的计算的时候，比如无穷大减去无穷大，就会出现nan。。2、inf（-inf，inf）：inf表示正无穷大，-inf表示负无穷大什么时候会出现inf呢？ 数字除以0的操...
2020-04-12 19:31:00
1569
1
原创 【数据分析】numpy 读取数据及索引 No.4
一、Numpy数组的轴在numpy中可以理解为方向，使用0，1,2…数字表示，对于一维数组，只有一个0轴，对于2维数组（shape(2,2）），有0轴和1轴，对于三维数组（shape(2,2,3)）,有0,1,2,轴。如：二维数组的轴：三维数组的轴二、numpy读取数据CSV文件Numpy中的转置td = np.arange(20).resha...
2020-03-29 18:20:13
178
原创 【数据分析】Numpy及数组创建，数据类型，形状和计算 No.3
一、NumpyPython中做科学计算的基础库，重在数值计算，多用于处理大型多维数组上的数值运算。特点：快速、方便、科学计算的基础库安装：pip install numpy二、numpy创建数组（矩阵）import numpy as npdef nu(): a = np.array([1,2,3,4,5]) print (a) b = np....
2020-03-29 15:40:29
170
原创 【数据分析】matplotlib绘制条形图，散点图，直方图及总结 No.2
一、matplotlib的散点图、直方图、条形图1、散点图 from matplotlib import pyplot as plt plt.scatter(x,y) 用途：不同条件之间的内在关联关系观察数据的离散聚合程度2、条形图 from matplotlib import pyplot as plt # 竖 plt.bar(...
2020-03-28 21:14:01
360
原创 【数据分析】数据分析之matplotlib绘制折线图 No.1
一、matplotlib安装pip install matplotlib二、matplotlib1、什么是matplotlib 最流行的python底层绘图库，主要做数据可视化图表，名字取自matlab，模仿matlab构建。（1）将数据进行可视化，更直观的呈现（2）使数据更加客观、更具说服力2、matplotlib基本要点Axis坐标轴，x轴，y轴，坐标（x...
2020-03-15 15:46:33
304
原创 【机器学习】聚类算法-k-means No.14
1、非监督学习的特点只有特征值，没有目标值（物以类聚，人以群分）2、聚类过程随机设置K个特征空间内的点作为初始的聚类中心； 对于其他每个点分别计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别； 接着对着标记的聚类中心，重新计算出每个聚类的新中心点（平均值）； 如果计算得出的中心点与原中心点一致，则聚类结束，否则继续进行第二步计算。3、k-means A...
2020-03-09 23:41:40
296
原创 【机器学习】分类算法-逻辑回归 No.13
1、定义逻辑分类是解决二分类问题的利器逻辑回归公式：2、损失函数3、Sklearn逻辑回归APIsklearn.linear_model.LogisticRegression4、案例：良/恶性癌症预测数据地址：http://archive.ics.uci.edu/ml/machine-learning-databases/breast-can...
2020-03-09 22:39:34
154
原创 【机器学习】过拟合及欠拟合、岭回归 No.12
一、过拟合及欠拟合1、过拟合：一个假设在训练集数据上能够比其他假设更好的拟合，但是在训练集外的数据集上却不能很好的拟合数据，此时认为这个假设出现了过拟合现象。（模型过于复杂）过拟合原因：原始特征太多，存在一些嘈杂特征，模型过于复杂是因为模型尝试去兼顾各个测试数据点。模型复杂的原因是：数据的特征和目标值之间的关系不仅仅是线性关系。解决方法：进行特征选择，消除关联性大的特征（很难做）；交叉...
2020-03-08 21:26:48
4612
原创 数据库检查
数据库的检查，大致可以分为以下几大类：1）服务器相关：包括cpu、io、内存、磁盘、网络等方面的检查；2）数据库相关：包括数据库的参数配置，主从复制性能等；3）业务相关：表结构、索引和SQL语句。根据上面的分类，我们可以整理出健康检查系统需要检查的方向，大致包括以下6大块：❑索引检查■ 主键索引检查■ 无效索引检查■ 冗余索引检查■ 索引区分度检查❑容量规划■ cpu利用率检查■ io...
2020-03-08 17:44:04
1456
原创 【机器学习】回归算法之线性回归 No.11
1、线性关系：如下表中房价随着面积的变化，通过绘制点后，这些点基本上是均匀分布在一条线的周围，则这两个变量间的关系可以使用一条直线描述，将这种关系称为线性关系。线性关系使用如下函数描述：2、矩阵3、损失函数最小二乘法之正规方程最小二乘法之梯度下降如下损失函数示例图：4、sklearn 线性回归正规方程和梯度下降API正规方程：sklear...
2020-03-07 23:50:51
116
原创 【机器学习】分类模型的评估、模型的选择与调优 No.10
一、分类模型的评估1、分类模型的评估（1）准确率 estimator.score() :一般最常见使用的是准确率，即预测结果正确的百分比。（2）精确率和召回率2、分类模型评估APISklearn.metrics.classification_report二、模型的选择与调优1、交叉验证目的：为了让被评估的模型更加准确可信交叉验证：将...
2020-03-07 18:47:37
432
Verilog HDL 为什么会说数据流描述也是一种行为描述
2017-05-31
基于双边滤波的图像处理，为什么会输出两个黑框？以下代码
2017-05-08
C＋＋中如何通过使用cin输入给构造函数传值
2017-04-03
DOSbox和masmplus的使用
2016-09-13
Win10 64位系统中如何配置汇编工具，求解决
2016-09-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人