李丰田丶-CSDN博客

原创 Python数据分析与挖掘实战学习18

一、Python主要聚类分析算法Python的聚类相关的算法主要在Scikit-Learn中，Python里面实现的聚类主要包括K-Means聚类、层次聚类、FCM以及神经网络聚类，其主要相关函数如下表所示：对象名函数功能所属工具箱 Kmeans K均值聚类 sklearn.cluster AffinityPropagation .

2020-12-27 16:03:50 436 1

原创 Python数据分析与挖掘实战学习17

一、Python分类预测模型特点模型模型特点位于逻辑回归比较基础的线性分类模型，很多时候是简单有效的选择 Sklearn.linear_model SVM 强大的模型，可以用来回归、预测、分类等，而根据选取不同的核函数，模型可以是线性的/非线性的 Sklearn.svm 决策..

2020-12-27 16:00:58 275

一、人工神经网络人工神经网络(Artificial Neural Networks，ANN)，是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现一些特定的功能。1943年，美国心理学家McCulloch和数学家Pitts联合提出了形式神经元的数学模型MP模型，证明了单个神经元能执行逻辑功能，开创了人工神经网络研究的时代。1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，即感知器，并用来模拟生物的感知和学习能

2020-12-27 15:55:17 511

原创 Python数据分析与挖掘实战学习15

一、回归模型1.Logistic回归分析介绍(1)Logistic函数Logistic回归模型中的因变量只有1-0（如是和否、发生和不发生）两种取值。假设在p个独立自变量x1,x2,…,xp作用下记y取1的概率是p=P(y=1|X)，取0概率是1-p，取1和取0的概率之比为，称为事件的优势比（odds），对odds取自然对数即得Logistic变换。令，则即为Logistic函数，如下图所示：当p在(0,1)之间变化时，odds的取值范围是(0,+∞)，则的取值范围是(-∞

2020-12-27 15:49:54 197

原创 Python数据分析与挖掘实战学习14

一、Python主要数据预处理函数函数名函数功能所属扩展库 interpolate 一维，高维数据插值 Scipy unique 去除数据中的重复元素，得到单值元素列表，它是对象的方法名 Pandas/Numpy isnull 判断是否为空值 Pandas

2020-12-27 15:46:33 1056

原创 Python数据分析与挖掘实战学习13

一、数据规约在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集。在规约后的数据集上进行分析和挖掘将更有效率。数据规约的意义在于：(1)降低无效、错误数据对建模的影响，提高建模的准确性；(2)少量且具代表性的数据将大幅缩减数据挖掘所需的时间；(3)降低存储数据的成本。1.属性规约属性规约通过属性合并来创建新属性维数，或者直接通过删除不相关的属性（维）来减少数据维数，从而提高数据挖掘的效率、降低计算成本。属性规约的目标是寻找出最小的属性子

2020-12-20 14:22:26 303

原创 Python数据分析与挖掘实战学习12

一、深度学习1.BP算法BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是一种使用比较广泛的参数学习算法。如图所示，它的基本思想是学习过程由信号的正向传播（求损失）与误差的反向传播（误差回传）两个过程组成。(1)BP算法的一般流程1)正向传播FP（求损失）在这个过程中，我们根据输入的样本，给定的初始化权重值W和偏置项的值b，计算最终输出值以及输出值与实际

2020-12-20 14:17:41 427 1

原创 Python数据分析与挖掘实战学习11

一、数据变换1.连续属性离散化一些数据挖掘算法，特别是将某些分类算法（如ID3算法、Apriori算法等），要求数据是分类属性形式。这样，常常需要将连续属性变换成分类属性，即连续属性离散化。 1)离散化的过程连续属性的离散化就是在数据的取值范围内设定若干个离散的划分点，将取值范围划分为一些离散化的区间，最后用不同的符号或整数值代表落在每个子区间中的数据值。所以，离散化涉及两个子任务：确定分类数以及如何将连续属性值映射到这些分类值。 2)常用的离散...

2020-12-20 14:14:15 236

原创 Python数据分析与挖掘实战学习10

一、数据预处理1.缺失值处理(1)拉格朗日插值法根据数学知识可知，对于平面上已知的n个点(无两点在一直线上)可以找到一个n-1次多项式，使此多项式曲线过这n个点。1)求已知的过n个点的n-1次多项式：将n个点的坐标(x1,y1)，(x2,y2)…(xn,yn)代入多项式函数，得 ……解出拉格朗日插值多项式为：2)将缺失的函数值对应的点x代入插值多项式得到缺失值的近似值L(x)。(2)牛顿插值法1)求已知的n个点对...

2020-12-20 14:06:50 287

原创 Python数据分析与挖掘实战学习09

一、Python主要数据探索函数Python中用于数据探索的主要是Pandas(数据分析)和Matplotlib(数据可视化)。其中Pandas提供了大量与数据探索相关的函数，这些数据函数可大致分为统计特征函数与统计作图函数，而作图函数依赖于Matplotlib结合在一起使用。1.基本统计特征函数统计特征函数用于计算数据的方差、均值、标准差、分位数、相关系数和协方差等，这些统计特征能够反映出数据的整体分布。方法名函数功能所属库

2020-12-13 20:21:14 136

原创 Python数据分析与挖掘实战学习08

一、统计量分析用统计指标对定量数据进行统计描述，常从集中趋势和离中趋势两个方面进行分析。平均水平的指标是对个体集中趋势的度量，使用最广泛的是均值和中位数；反映变异程度的指标则是对个体离开平均水平的度量，使用较广泛的是标准差(方差)、四分位间距。1.集中趋势度量(1)均值均值是所有数据的平均值。如果求n个原始观察数据的平均数，计算公式为：有时，为了反映在均值中不同成分所占的不同重要程度，为数据集中的每一个xi赋予wi，这就得到了加权均值的计算公式：作为一个统计量，均值的主要

2020-12-13 20:18:01 323

原创 Python数据分析与挖掘实战学习07

一、Python基础1.Python简介Python是一种面向对象的解释型语言，由荷兰人Guido van Rossum与1989年发明，第一个公开发行版本于1991年发布。Python语法简洁清晰，强制用空白符作为语句缩进。Python语言最大的特点是简单和强大。2.Python库(1)BasemapBasemap是地图数据可视化的Python包，是重要的地球科学工具，它可以绘制等值线、遥感图、地图投影矢量点线等地理图件。Basemap的解决方案不是自己绘制，而是作为matplot

2020-12-13 20:14:29 255

原创 Python数据分析与挖掘实战学习06

一、矩阵和线性代数1.SVD奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法，可以看做对称方阵在任意矩阵上的推广。假设A是一个m×n阶实矩阵，则存在一个分解使得：通常将奇异值由大而小排列。这样，便能由A唯一确定了。与特征值、特征向量的概念相对应：(1) 对角线上的元素称为矩阵A的奇异值；(2)U的第i列称为A的关于的左奇异向量；(3)V的第i列称为A的关于的右奇异向量。2.线性代数定义：方阵的行列式(1..

2020-12-13 20:12:18 195

原创 Python数据分析与挖掘实战学习05

一、概率论与贝叶斯先验1.本福特定律(1)概念本福特定律又称第一数字定律，是指在实际生活得出的一组数据中，以1为首位数字出现的概率约为总数的三成，是直观想象1/9的三倍。给定某正整数N，统计从1到N的所有数所对应的阶乘中，首位数字出现1-9各自的概率。代码如下：其中first_digital函数中，由于参数x为整数，所以在进行除法运算时，需要使用“//”来表示整数除法，而“/”表示浮点除法运算。Python中的这种除法运算与其他语言是有些区别的，通常C或C++中，“/”算术运算符

2020-11-29 22:38:00 449

原创 Python数据分析与挖掘实战学习04

一、Python数据分析工具1.StatsModels Pandas着眼于数据的读取、处理和探索，而StatsModels则更加注重数据的统计建模分析，它使得Python有了R语言的味道。StatsModels支持与Pandas进行数据交互，因此，它与Pandas结合，成为了Python下强大的数据挖掘组合。2.Scikit-Learn从该库的名字可以看出，这是一个机器学习相关的库。Scikit-Learn是Python下强大的机器学习工具包，它提供了完善的机器学习工具箱，包括数据预处...

2020-11-22 10:43:32 388 1

原创 Python数据分析与挖掘实战学习03

一、Java继承1.继承的概念继承是Java面向对象编程技术的一块基石，因为它允许创建分等级层次的类。继承就是子类继承父类的特征与行为，使得子类对象（实例）具有父类的实例域和方法，或是子类从父类继承方法，使得子类具有父类相同的行为。当子类具有父类当中的属性和方法后，子类就不会存在重复的代码，维护性也提高，代码也更加简洁，提高了代码的复用性。2.继承的类型和特性（1）继承的类型Java不支持多继承，但是支持多重继承。（2）继承的特性Ⅰ.子类拥有父类非private的属性和方法。

2020-11-22 10:37:46 91

原创 Python数据分析和挖掘实战学习02

一、Java异常处理1.异常发生的原因异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。异常发生的原因有很多，通常包含以下几大类：用户输入了非法数据、要打开的文件不存在以及网络通信时连接中断，或者JVM内存溢出。这些异常有的是因为用户错误引起的，有的是程序错误引起的，还有其它一些是因为物理错误引起的。2. 三种异常类型（1）检查性异常：最具代表的检查性异常是用户错误或问题引起的异常，这是程序员无法预见的。例如打开一个不存在的文件时，一个异常在编译时不能被简单

2020-11-21 17:00:24 123

原创 Python数据分析与挖掘实战学习01

一、Python中Matplotlib库的学习与使用1.Matplotlib库介绍Matplotlib是一个Python的2D绘图库，它以各种硬拷贝格式跨平台的交互式环境生成出版质量级别的图形。通过Matplotlib，只需几行代码，便可以生成绘图、直方图、功率谱、条形图、错误图和散点图等。Matplotlib中的pyplot包封装了很多画图的函数。Matplotlib. pyplot包含一系列类似MATLAB中绘图函数的相关函数。每个Matplotlib. pyplot中的函数会对当前的图像进

2020-11-21 16:57:26 181

原创 Win10系统中PyCharm 2020.2下配置Anaconda环境

PyCharm 2020.2下配置Anaconda环境最近在学习关于Python数据分析与挖掘方面的知识，在学习到Python数据分析工具方面时，需要安装一些第三方扩展库来增强Python的数据分析能力，刚开始我就按照最一般的方法，使用pip包管理工具来安装，但是总是遇到各种错误，失败了很多次，耐心都快被耗尽了。初次接触这方面的内容，不是太了解，就请教了老师，老师就给我推荐直接安装Anaconda来使用。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科

2020-08-17 18:38:24 1267 4

原创 “'react-scripts' 不是内部或外部命令，也不是可运行的程序或批处理文件。”解决方法

TRUFFLE框架下运行React app时报错“'react-scripts' 不是内部或外部命令，也不是可运行的程序或批处理文件。”解决方法使用truffle盒子react进行开发时，由于在解压react时，有时会卡在downloading，手动结束后，在运行命令npm run start时会有以上报错，解决方法也很简单，只需要在client目录下重新npm install react-s...

2020-04-04 17:25:20 4558 3

李丰田丶的博客