鮀城小帅-CSDN博客

原创 Exporter介绍与指标数据汇总（完结）

Postgresql Exporter, Oracle Exporter, MySQL Exporter, Redis Exporter, MongoDB Exporter, MSSQL Exporter等。Collectd Exporter, Graphite Exporter, InfluxDB Exporter, Nagios Exporter, SNMP Exporter等。Apache Exporter, HAProxy Exporter, Nginx Exporter等。常用Exporter。

2023-02-17 17:19:08 5204

原创基于Prometheus+Grafana搭建监控平台（Windows/Linux环境exporter部署）

在prometheus.yaml中配置了【- targets: ["127.0.0.1:9090"]】之后，就可以读取一些默认的指标信息。这里的 State 是 “UP” 表示该组件是否正常启动，因为这是读取Prometheus本身，只要能进入该界面，就必定是 “UP”。后续如果添加了对 Exporeter（比如：windows-exporter）的配置，那么从这个 State 可以看到对应的 exporter 是否被 Prometheus 正常监听到。

2023-01-08 16:09:21 6429 12

原创利用SSH实现分布式应用的一键安装部署

【代码】利用SSH实现分布式应用的一键安装部署。

2023-01-05 23:47:34 533

原创 ELK （一）部署ELK+Filebeat日志收集分析系统

说明：此安装流程只适用于8.0.0以下的版本。

2022-12-15 14:06:54 7082 2

原创 sshpass的安装与使用

（1）定义sshpass 的定义：ssh 登陆不能在命令行中指定密码，sshpass 的出现则解决了这一问题。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。（2）安装Ubuntu# 源码包安装make# yum安装。

2022-10-07 13:27:07 33483

原创算法和数据结构解析-9 : 排序相关问题讲解

这就是“快速选择”算法。对于本题，因为只有0，1，2三个值，我们不需要对每个位置的“选择”都遍历一遍数组，而是最多遍历三次就够了第一次遍历，把扫描到的0全部放到数组头部；时间复杂度O(nlogn)，建堆的时间代价是O(n)，k-1次删除的总代价是O(klogn)，因为k...

2022-07-30 15:37:55 644

原创一些简单的shell脚本实例

（1）用户猜数字#!/bin/bash # 脚本生成一个 100 以内的随机数,提示用户猜数字,根据用户的输入,提示用户猜对了,# 猜小了或猜大了,直至用户猜对脚本结束。 # RANDOM 为系统自带的系统变量,值为 0‐32767的随机数# 使用取余算法将随机数变为 1‐100 的随机数num=$[RANDOM%100+1]echo "$num" # 使用 read ...

2019-05-04 22:10:09 20688 7

原创 Mysql安装与设置用户名、密码

关于MySQL程序中数据库调度的流程图解：1-MySql数据库的安装安装前要注意，看看当前系统是32位系统，还是64位的，根据不同的系统位数安装对应的MySQL程序！关于MySQL的安装包，各位盆友如果没有的话，可以在博主的资源内查找，没有分下载的朋友也可以发言，博主不定时上线，然后再分享给你们！安装步骤：双击运行安装程序：以Win32位为例点击 Next...

2018-10-03 15:54:28 15875

原创 Python3数据分析与挖掘建模（16）特征降维与特征衍生

LDA（Linear Discriminant Analysis）降维是一种经典的线性降维方法，其核心思想是通过投影变换将数据映射到一个低维空间，使得同一类别内的样本尽可能接近，不同类别之间的样本尽可能远离。具体的步骤如下：（1）计算类内散度矩阵（Within-class scatter matrix）：对于每个类别，计算该类别内样本的协方差矩阵，然后将所有类别的协方差矩阵求和，得到类内散度矩阵。

2023-06-15 10:00:00 1814

原创 Python3数据分析与挖掘建模（15）特征选择与特征变换

指数化就是将一个数变换为指数的过程，指数一般情况下取自然底数。如图，横轴标识自变量有很小的一段变化，纵轴有较大的一段变化。原来的Y轴分别是 0.3、0.3、0.4，指数化后成了 1.35、1.35、1.49，再进行归化后，分别是 0.32、0.32、0.36。相互间的最大差距从原来的0.4-0.3=0.1变成了0.36-0.32=0.04。这个从获取指数到归化的整个过程，是一个Softmax函数。对数化（对数变换）是特征变换的一种常见方法，通过应用对数函数来转换特征的取值。

2023-06-14 10:00:00 1122

原创 Python3数据分析与挖掘建模（14）特征工程、数据清洗、特征预处理

数据清洗是特征工程中的一个重要步骤，涉及到数据样本抽样和异常值处理。下面对这两个方面进行详细说明：（1）数据样本抽样：- 数据样本抽样是从整体数据集中选择一个代表性子集的过程。常见的数据样本抽样方法包括随机抽样、分层抽样和集群抽样等。- 抽样的目的是减少数据量，加快模型训练和评估的速度，同时保持样本的代表性，以避免样本偏差对模型性能的影响。- 在数据样本抽样过程中，需要考虑抽样方法的合理性和适用性，确保抽样后的样本能够准确地代表整体数据集。

2023-06-13 10:00:00 2247 1

原创 Python3数据分析与挖掘建模（13）复合分析-因子关分析与小结

探索性因子分析（Exploratory Factor Analysis，EFA）是一种统计方法，用于分析观测变量之间的潜在结构和关联性。它旨在确定多个观测变量是否可以归结为较少数量的潜在因子，从而帮助简化数据集和提取隐藏的信息。在探索性因子分析中，我们收集一组观测变量的数据，并试图找到解释这些变量之间关系的较少数量的潜在因子。这些潜在因子是无法直接观测到的，但它们可以通过变量之间的共同方差来解释观测数据的模式。探索性因子分析可以用于数据降维、构建测量工具、发现潜在因素和进行模型建立等领域。

2023-06-12 10:00:00 1106

原创 Python3数据分析与挖掘建模（12）多因子：复合分析-相关分析与实现示例

相关分析中的熵、条件熵和互信息是信息论中的概念，用于衡量随机变量之间的关联性。（1）熵（Entropy）：熵是表示随机变量的不确定性的度量。对于一个离散随机变量，其熵的定义为所有可能取值的信息量的期望值的负数。熵越大，随机变量的不确定性越高。在相关分析中，熵可以用于衡量单个随机变量的不确定性。公式：值越接近于0，说明其不确定性越小。（2）条件熵（Conditional Entropy）：条件熵是在给定另一个随机变量的条件下，某个随机变量的不确定性。

2023-06-11 10:00:00 878

原创 Python3数据分析与挖掘建模（11）多因子：复合分析-分组分析与实现示例

Gini系数是一种衡量不纯度的指标，常用于衡量分类问题中的类别不平衡程度。在机器学习和决策树算法中经常使用Gini系数来评估节点的纯度。Gini系数的计算方法如下：1. 首先，计算每个类别在数据集中的频率或比例。2. 计算Gini系数的公式为：Gini = 1 - ∑(p^2) ，其中∑表示对所有类别求和，p表示每个类别的频率或比例。3. Gini系数的取值范围为0到1，0表示数据集的纯度最高，即所有样本都属于同一类别；1表示数据集的纯度最低，即各类别的样本均匀分布。

2023-06-10 10:00:00 546

原创 Python3数据分析与挖掘建模（10）多因子：复合分析-交叉分析与实现示例

复合分析（Factorial Analysis）是一种统计分析方法，用于研究多个因素对观测结果的影响，并探究各个因素之间的相互作用效应。在复合分析中，研究者会选择多个因素（也称为处理变量或独立变量），并对这些因素的不同水平进行组合。每个因素的水平表示该因素所具有的不同取值或条件。通过对不同因素水平的组合进行实验或观测，研究者可以探索这些因素对结果变量（也称为因变量）的影响。复合分析可以帮助研究者了解以下方面：主效应（Main Effects）：即每个因素对结果变量的独立影响。

2023-06-09 10:00:00 1517

原创图论与算法（7）最短路径问题

最短路径问题是指在一个加权图中寻找两个顶点之间的最短路径，其中路径的长度由边的权重确定。：适用于解决单源最短路径问题，即从一个固定的起点到图中所有其他顶点的最短路径。该算法通过不断选择当前路径上权重最小的顶点来逐步扩展最短路径树，直到找到所有顶点的最短路径。：适用于解决带有负权边的图的单源最短路径问题。该算法通过对图中所有边进行松弛操作，反复迭代更新每个顶点的最短距离估计，直到收敛并得到最终的最短路径。：适用于解决图中所有顶点之间的最短路径问题，即多源最短路径问题。

2023-06-08 10:00:00 2284

原创图论与算法（6）最小生成树

并查集（Disjoint Set）是一种数据结构，用于处理集合的合并和查询操作。它主要用于解决一些与集合划分相关的问题，例如连通性判断、最小生成树的构建等。在并查集中，每个元素都被看作是一个节点，并按照一定规则组织在集合中。每个节点都有一个指向父节点的指针，初始状态下，每个节点都是一个独立的集合，其父节点指向自身。并查集主要包含以下几个操作：初始化：创建一个并查集对象，指定元素的个数。初始状态下，每个元素都是一个独立的集合，其父节点指向自身。

2023-06-07 10:00:00 1018

原创图论与算法（5）图的广度优先遍历应用

树的广度优先遍历（Breadth-First Traversal），也称为层次遍历，是一种按层次顺序逐级访问树节点的遍历方式。在广度优先遍历中，先访问树的根节点，然后按照从上到下、从左到右的顺序逐层访问树的节点。首先将树的根节点入队列，然后循环执行以下操作：出队列一个节点，对该节点进行处理，然后将该节点的所有子节点按顺序入队列。通过不断出队列和入队列的操作，可以按照层次顺序逐级遍历树的节点，直到队列为空。广度优先遍历保证了在访问某一层节点之前，先访问上一层的所有节点。

2023-06-06 10:00:00 2143

原创图论与算法（4）图的深度优先遍历应用

二分图，也称为二部图或二分图，是一种特殊的图结构。它的顶点集可以分为两个互不相交的子集，使得同一个子集内的顶点之间没有边相连。换句话说，可以用两种颜色对顶点进行着色，使得任意一条边的两个顶点颜色不相同。二分图具有许多应用，例如任务分配、时间表调度、匹配问题等。在计算机科学中，判断一个图是否为二分图是一个重要的问题。二分图的判断可以使用多种算法，其中一种常见的算法是使用深度优先搜索（DFS）或广度优先搜索（BFS）。染色染色是判断图是否为二分图的常用方法之一。

2023-06-05 15:00:00 715

原创图论与算法（3）图的深度优先遍历

是指按照一定规则访问图中的所有顶点，以便获取图的信息或执行特定操作。常见的图遍历算法包括深度优先搜索（DFS）和广度优先搜索（BFS）。（DFS）：从起始顶点开始，递归或使用栈的方式访问相邻的顶点，直到所有顶点都被访问过为止。DFS通过探索图的深度来遍历图，一直沿着路径向下直到无法继续，然后回溯到前一个顶点，继续探索其他路径。（BFS）：从起始顶点开始，逐层访问其相邻顶点，先访问距离起始顶点最近的顶点，然后依次访问距离起始顶点更远的顶点。

2023-06-04 10:00:00 1884

原创图论与算法（2）图的基本表示

图的基本表示方法之一是邻接矩阵（Adjacency Matrix）。邻接矩阵是一个二维矩阵，用来表示图中顶点之间的连接关系。对于一个有 V 个顶点的图，邻接矩阵是一个 V × V 的矩阵。矩阵的行和列分别对应图中的顶点，矩阵中的元素表示对应顶点之间是否存在边。邻接矩阵的表示方法有两种常见的形式：布尔型和权重型。稀疏图和稠密图是用来描述图中边的数量相对于顶点数量的概念。（1）稀疏图稀疏图：指的是边的数量相对较少的图。换句话说，稀疏图的顶点之间的连接相对较少。

2023-06-03 18:32:33 2133

原创图论与算法（1）图论概念

在计算机科学中，图论与算法是两个重要且紧密相关的领域。图论研究图的性质和特征，而算法设计和分析解决问题的方法和步骤。图论提供了一种形式化的方法来描述和分析各种关系和连接，而算法则为解决图相关的问题提供了有效的解决方案。图论是研究图的结构和性质的学科。图是由节点（或顶点）和边组成的集合，节点代表实体，边表示节点之间的关系。图论涵盖了广泛的概念，包括图的类型（有向图和无向图）、路径、环、连通性、图的着色和匹配等。通过图论的研究，我们可以理解和分析复杂系统中的关系和交互。

2023-06-02 22:00:00 2014

原创 Python3数据分析与挖掘建模（9）多因子分析：相关系数与线性回归

回归：确定两种或两种以上变量间互相依赖的定量关系的一种统计分析方法。线性回归是一种统计模型，用于建立自变量（预测变量）与因变量（目标变量）之间的线性关系。它假设自变量和因变量之间存在一个线性关系，并尝试通过拟合一条直线来预测因变量的值。主成分分析（Principal Component Analysis，PCA）是一种常用的降维技术和数据预处理方法，用于将高维数据转换为低维数据，并发现数据中的主要变化方向。QQ图（Quantile-Quantile plot）是一种用于检验数据是否符合某种理论分布的方法。

2023-06-01 10:00:00 2289

原创 Python3数据分析与挖掘建模（8）多因子分析：检验

卡方检验（Chi-Square Test）是一种用于比较观察值与期望值之间差异的统计检验方法。它适用于分析分类数据的关联性和独立性。卡方检验的基本思想是比较实际观察值与在假设为真时的期望值之间的差异程度。它通过计算卡方统计量来衡量观察值与期望值之间的差异程度。卡方统计量的计算是基于各个观察值与期望值之间的差异，差异越大，卡方统计量越大，表示观察值与期望值之间的偏离程度越大。

2023-05-31 16:00:00 1348

原创 Python3数据分析与挖掘建模（7）使用matplotlib和seaborn画图

可视化分析是数据分析中重要的一环，它可以帮助我们更直观地理解数据的特征、趋势和关系。在Python中，有多个库可以用于数据可视化，包括matplotlib、seaborn和plotly等。

2023-05-31 10:00:00 2008

原创实现SpringBoot动态数据源（1）关系型数据源

在配置文件中定义了主数据源的配置信息，包括驱动类、连接URL、用户名和密码等。#关系型数据库默认动态数据源配置dynamic:@Component@Data/***//***//***//***//***/

2023-05-30 20:00:00 1082

原创 Python3数据分析与挖掘建模（6）单因子分析：离散分布分析示例

例如，通过计算平均值、标准差、偏度和峰度等指标，你可以了解该列数据的集中趋势、离中趋势、偏态和峰态情况。在这个例子中，结果显示了从0.0到1.0的10个分组，并给出了每个分组的频数。例如，频数为195的分组包含了满意度在0.0到0.1之间的数据。上述数据中，根据 satisfaction_level 的平均值可以看出对HR的满意度是比较低的。输出结果中的第一个数组表示每个分组中数据的频数，第二个数组表示分组的边界值。这样的直方图可以帮助我们了解满意度数据的分布情况，以及各个区间内的数据数量。

2023-05-30 18:00:00 1148

原创 Python3数据分析与挖掘建模（5）单因子：数据分类与分析

异常值分析是数据分析的重要步骤之一，它旨在识别和处理数据中的异常值或离群值。异常值是指与其他观测值明显不同的数据点，它可能是由于测量误差、数据录入错误、实验异常或真实的极端情况所导致。对比分析是一种常用的数据分析方法，用于比较不同时间点、不同对象或不同组别之间的数据差异和相似性。在对比分析中，常用的指标包括绝对数和相对数。结构分析是一种用于理解和描述数据的组成和关系的方法。它可以从静态和动态的角度进行分析，同时可以关注整体和部分的结构。

2023-05-30 10:00:00 733

原创 Python3数据分析与挖掘建模（4）单因子分析：集中趋势与离中趋势、数据分布与抽样

集中趋势是描述数据分布中心位置的统计概念，用于了解数据的典型取值或平均水平。主要包括均值、中位数和众数。离中趋势是描述数据分布中数据离开中心位置的程度或变异程度的统计概念。主要包括标准差和方差。数据分布是指数据在数值上的分布情况，描述了数据在不同取值上的频率或概率分布。数据分布的概述包括了偏态与峰态的概念以及常见的分布类型如正态分布和三大分布。抽样理论是统计学中的重要概念，用于研究如何从总体中获取样本，并通过样本推断总体的特征。

2023-05-29 16:00:00 1339

原创 Python3数据分析与挖掘建模（3）探索性数据分析

探索性数据分析（Exploratory Data Analysis，EDA）是一种数据分析的方法，用于探索和理解数据集的特征、关系和分布等。EDA旨在揭示数据中的模式、异常值、缺失值等信息，并为后续的分析和建模提供基础。以下是关于探索性数据分析的一些重要概念和方法：（1）数据摘要：通过计算描述性统计量，如均值、中位数、标准差、最小值、最大值等，对数据集的特征进行摘要和总结。这些统计量可以帮助了解数据的中心趋势、离散程度和分布情况。（2）数据可视化：利用图表、图形和可视化技术，将数据以直观的方式展示出来。

2023-05-29 10:00:00 1248

原创 Python3数据分析与挖掘建模（2）数据获取手段

通过埋点，可以追踪用户在页面上的点击、滚动、提交等操作，也可以记录特定事件的发生，如购买、播放视频、下载等。此外，也要考虑数据的清洗和处理，以确保获取的数据质量和准确性。：是阿里巴巴集团推出的数据竞赛平台，与Kaggle类似，提供丰富的数据集和比赛，涵盖各个领域的数据挖掘和机器学习任务。：是一个著名的数据科学竞赛平台，提供各种实际问题的数据集和比赛，供数据科学家和机器学习爱好者进行建模和解决问题。：是一个广泛使用的计算机视觉数据集，包含大量的图像数据和对应的标签，用于图像分类和目标识别等任务。

2023-05-28 19:23:26 570

原创 Python3数据分析与挖掘建模（1）python数据分析的流程与概述

数据分析是指通过对收集到的数据进行处理、解释和推断，从中获取有价值的信息、洞察和结论的过程。它旨在发现数据中隐藏的模式、趋势和关联性，并提供基于数据的决策支持。数据分析的概述可以包括以下几个方面：目标定义：明确数据分析的目标和问题，确定需要回答的具体业务问题或假设。数据收集：从各种来源获取数据，包括数据库、文件、传感器、社交媒体等。数据清洗和预处理：对数据进行清洗、去除噪声、处理缺失值和异常值，以确保数据的质量和一致性。

2023-05-28 14:00:00 1273

原创 python入门（13）异常与文件

在Python中，我们可以自定义异常类来满足特定的异常情况。自定义异常可以继承自内置的异常类或其他已定义的异常类，以便更好地区分和处理特定类型的错误。if b == 0:try:main()在上述示例中，我们定义了一个名为的自定义异常类。它继承自内置的Exception类，并添加了__init__和__str__方法用于初始化异常对象和返回异常信息。在函数中，我们进行了除法运算，如果除数为零，则抛出异常，并传入错误信息。在main()函数中，我们捕获并处理异常，并打印异常信息。

2023-05-28 10:00:00 1431

原创 python入门（12）面向对象：标准库与面向对象小结

Python 的标准库是 Python 安装包中默认包含的一组模块和功能集合。这些模块提供了广泛的功能，包括文件处理、网络通信、数据解析、日期时间操作、数学计算、数据库访问、图形界面等等。

2023-05-27 15:00:00 1369

原创 python入门（11）面向对象：模块与包

在 Python 中，模块是一个包含了函数、类和变量的文件。模块提供了一种组织代码的方式，使得代码更加可重用和可维护。你可以使用 Python 内置的模块，也可以创建自己的模块。Python 模块的特点包括：封装代码：模块允许你将相关的代码放在一起，并封装成一个独立的单元，使得代码更具可读性和可维护性。重用性：模块可以在多个程序中重复使用，避免了重复编写相同的代码，提高了开发效率。命名空间：模块提供了一个独立的命名空间，防止命名冲突，你可以在模块内定义变量、函数和类，它们的名称在模块内是唯一的。

2023-05-27 10:00:00 1335

原创 python入门（10）面向对象：类的特殊方法

如果你的类需要具有特定的行为、字符串表示形式或进行比较操作，那么重写这些方法是有意义的。例如，如果你定义了一个自定义的类，需要将其用于打印、判断真假或进行比较，那么重写相应的特殊方法是很有用的。需要注意的是，析构方法的调用是由垃圾回收器决定的，具体的调用时机和顺序可能会有一定的延迟，因此不能依赖析构方法来进行严格的资源管理。方法：用于返回对象的字符串表示形式，通常用于调试和开发过程中，提供详细的信息以便重新创建对象。方法：用于返回对象的字符串表示形式，通常用于打印对象或显示可读性强的信息。

2023-05-26 18:00:00 1028

原创 python入门（9）面向对象：封装、继承、多态与垃圾回收

Python 中的垃圾回收是通过引用计数和垃圾回收器来自动管理对象的内存。引用计数用于跟踪对象的引用情况，当引用计数为0时，对象将被回收。垃圾回收器处理循环引用和其他特殊情况，确保不会有任何对象被遗漏。开发者无需手动管理内存，可以专注于编写代码逻辑。

2023-05-26 10:00:00 1017

原创 python入门（8）面向对象：类、对象、属性与方法

当我们谈论Python的面向对象思想时，主要指的是Python中的类和对象的概念以及与之相关的特性和原则。面向对象编程（Object-Oriented Programming，简称OOP）是一种常用的编程范式，它将程序中的数据和操作数据的方法组织在一起，形成对象，通过对象之间的交互来实现程序的功能。在Python中，面向对象编程主要围绕以下几个核心概念展开：（1）：类是面向对象编程的基础，它是一种自定义的数据类型，用于描述对象的属性和行为。

2023-05-25 10:00:00 3943 1

原创 python入门（7）函数系列 2

在Python中，命名空间（Namespace）是一个用于存储和查找变量名的容器。它提供了变量名与变量对象之间的映射关系。在Python中，参数解包（Unpacking）是指将可迭代对象（如列表、元组、集合等）中的元素解包并分配给函数或变量。参数解包可以用于函数调用时传递参数，或者在赋值语句中将可迭代对象的元素赋值给多个变量。参数解包的语法是使用操作符，它可以应用在函数调用时和赋值语句中，具体取决于使用的上下文。装饰器（Decorator）是Python中一种用于修改函数或类的行为的特殊函数。

2023-05-24 10:00:00 396

原创 python入门（6）函数系列 1

（1）abs(x)定义：返回一个数的绝对值。abs(x)示例代码：print(result) # 输出：10（2）chr(i)定义：返回指定 Unicode 码对应的字符。chr(i)示例代码：print(character) # 输出：'A'（3）len(s)定义：返回对象的长度或元素个数。len(s)示例代码：")print(length) # 输出：13定义：返回一个指定范围的整数序列。print(num)1234定义：判断可迭代对象中的所有元素是否都为 True。

2023-05-23 10:00:00 420