- 博客(134)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 数据分析（三）线性回归模型实现
线性回归在实际应用时需要对普通最小二乘法进行一些修改。普通最小二乘法只在训练数据上最小化错误，难以顾及所有数据。惩罚线性回归方法是一族用于克服最小二乘法（ OLS）过拟合问题的方法。岭回归是惩罚线性回归的一个特例。岭回归通过对回归系数的平方和进行惩罚来避免过拟合。其他惩罚回归算法使用不同形式的惩罚项。
2024-04-01 17:56:07
542
原创 灰色预测模型GM(1,1)的全面讲解及python实现
1. 灰色预测的概念（1）灰色系统、白色系统和黑色系统白色系统是指一个系统的内部特征是完全已知的，既系统信息是完全充分的。黑色系统是一个系统的内部信息对外界来说是一无所知的，只能通过它与外界的联系来加以观测研究。灰色系统介于白色和黑色之间，灰色系统内的一部分信息是已知的，另一部分信息是未知的，系统内各因素间有不确定的关系。（2）灰色预测法所以灰色预测就是通过这样的信息前提下做的一种预测分析，即灰色预测法是一种预测灰色系统的预测方法。灰色预测通过鉴别系统因素之间发展趋势的相异程度，
2020-05-27 10:21:03
21018
28
原创 AHP（层次分析法）的全面讲解及python实现
一、层次分析法的使用流程：1. 建立层次结构模型首先绘出层次结构图，正常三层是比较常见的：决策的目标、考虑的决策准则因素和决策对象。按它们之间的相互关系分为最高层、中间层和最低层（如下图是四层结构的）2. 分层构造判断矩阵。多层次的评价指标体系结构一般比较复杂，各种评价指标的权重难以确定，通过两两比较评价因子的重要性来确定权重要比一次性确定所有因子的权重容易把握。该方法叫一致矩阵法，即：不把所有因素放在一起比较，而是两两相互比较。对比时采用相对尺度，以尽可能减少性质不同因素相互比较的困难，以
2020-05-09 13:58:30
24301
6
原创 模拟退火算法（Simulated Annealing，SA）的全面讲解及python实现
抽象来源：美国物理学家Metropolis等人在1953年发表研究复杂系统，计算其中能量分布的文章时，使用蒙特卡洛模拟法计算多分子系统中分子能量分布。Kirkpatrick等人受其启发而发明了“模拟退火”这个名词，它模仿冶金过程中的退火原理，因为寻找问题的最优解（最值）即类似寻找系统的最低能量。因此系统降温时，能量也逐渐下降，而同样意义地，问题的解也“下降”到最值 核心思想：在冶金退火过程中，退...
2020-03-18 21:22:26
3479
1
原创 二分图匹配及匈牙利算法的全面讲解及python实现
1、背景在生活中常常遇到两组元素多对多匹配而又数目有限的情况，我们需要对其进行最大匹配数的分配，使效率最大化。例如，有一组压缩气缸和一组压缩活塞，每一个型号的压缩气缸有一个固定的内径大小，每一个型号的压缩活塞可以匹配内径在一定范围内的气缸，使用匈牙利算法得到活塞和气缸对大匹配数的方案。2、二分图定义二分图又称作二部图，是图论中的一种特殊模型。 设G=(V,E)是一个无向图，如果顶点V可...
2020-01-16 09:38:42
3478
原创 遗传算法（Genetic Algorithms）的全面讲解及python实现
一、主要思想遗传算法的工作方式源自于生物学，是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，不需要确定的规则就能自动获取和指导优化的搜索空间，自适应地调整搜索方向。具体流程见下图：传统上看，这...
2020-01-09 09:10:43
10438
2
原创 粒子群（PSO）优化算法（Particle Swarm Optimization）的全面讲解及python实现
1. 研究背景它的基本概念源于对鸟群觅食行为的研究。设想这样一个场景：一群鸟在随机搜寻食物，在这个区域里只有一块食物，所有的鸟都不知道食物在哪里，但是它们知道当前的位置离食物还有多远。最简单有效的策略：寻找鸟群中离食物最近的个体来进行搜索。PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。用一种粒子来模拟上述的鸟类个体，每个粒子可视为N维搜索空间中的一个搜索...
2020-01-06 17:29:50
4443
1
原创 Python实现主成分分析、决策树和随机森林完整过程
先附上代码，学习笔记回头再补充完整代码如下：# -*- coding: utf-8 -*-# 关闭警告# import warnings# warnings.filterwarnings('ignore')# 宏观数据和烟草数据回归分析 计算回归系数import pandas as pdimport numpy as npimport matplotlib.pyplo...
2019-04-24 18:10:14
1796
原创 Python数据预处理-数据标准化（归一化）及数据特征转换
一、数据标准化（归一化）首先，数据标准化处理主要包括数据同趋化处理（中心化处理）和无量纲化处理。同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。无量纲化处理主要为了消除不同指标量纲的影响，解决数据的可比性，防止原始特征中量纲差异影响距离运算（比如欧氏距离的运算）。...
2019-04-18 10:06:08
25706
4
原创 Python实现支持向量机SVM（Support Vector Machine）完整过程
支持向量机（Support Vector Machine）属于有监督的机器学习算法，是一种二分类模型，可用于离散因变量的分类和连续因变量的预测。其本质是计算两个观测数据的距离，学习策略是间隔最大化，所寻找的是能够最大化样本间隔的决策边界，因此又被称为大间距分类器。因为它可使用一个名为核函数的技巧，来将非线性问题变换为线性问题，将低维线性不可分的空间转换为高维线性可分空间，所以它相对于其他单一分类...
2019-04-17 10:38:44
1978
原创 Python实现逻辑回归（LogisticRegression）完整过程
最近正在做的项目正好利用到了逻辑回归，所以正好系统的学习了下，本篇博文把自己的学习笔记、项目思路及代码都记录下来。它的计算原理很多网站和书籍都有介绍，就不在这班门弄斧了，主要还是记录自己如何实现一、逻辑回归简介Logistic Regression算法是通过训练数据中的正负样本，学习样本特征和样本标签的假设函数，它是典型的线性分类器，是广义线性模型的一种。它具有很强的可解释性，应用也非常广泛...
2019-04-15 19:00:22
39025
15
原创 python获取完整网页内容（即包括js动态加载的）：selenium+phantomjs
查看网页源代码时并不完整，利用selenium和phantomjs抓取js动态加载的网页
2017-12-19 17:52:42
17147
2
原创 python模拟浏览器打开百度首页并登录或者点击首页新闻并保存网页
首先不知道怎么模拟打开浏览器的童鞋先看我的上篇文章：http://blog.csdn.net/Trisyp/article/details/78688106这篇文章涉及到前期配置，所以不会的一定要先查看下，配置完了之后再进一步学习本篇文章这篇文章主要功能是模拟登录百度账号；或者点击首页新闻，同时保存和打印网页源码过程就不多说，我尽量都加上了备注，直接附上代码：模拟登陆完整代码如下：f...
2017-12-04 19:06:06
8159
4
原创 Tensorflow笔记（二）：激活函数、优化器等、神经网络模型实现（商品销量预测）
Tensorflow笔记（二）：常用函数2、激活函数、优化器等、神经网络模型实现（商品销量预测）
2024-03-14 16:04:11
631
原创 Tensorflow笔记（一）：常用函数、张量操作、神经网络模型实现（鸢尾花分类）
Tensorflow笔记（一）：常用函数、张量操作、神经网络模型实现（鸢尾花分类）
2024-03-14 11:01:47
496
原创 transformer学习总结
Decoder block与第二个Multi-Head Attention变化不大，主要的区别在于其中Self-Attention的K、V矩阵不是使用上一个Decoder block的输出计算的，而是使用Encoder的编码信息矩阵C计算的。翻译到单词i+1的时候需要通过Mask（掩盖）操作遮盖住i+1之后的单词。第一个Encoder block的输入为句子单词的表示向量矩阵，后续Encoder block的输入是前一个Encoder block的输出，最后一个Encoder block输出的矩阵就是。
2024-02-21 09:24:55
885
原创 数据分析（二）自动生成分析报告
-利用datapane整合报告：上面的报告里面，fig采用Plot来生成报告，df采用DataTable生成报告，还有标题，数字仪表也是类似的方式生成。dp.BigNumber(heading="GDP", value="17.7万亿"),columns=2,),dp.Plot(fig2, caption="GDP柱形图"),columns=2),--各种展现方式，数字仪表盘，动图，数据表格，描述性文字等（音频，视频）--在数据分析的基础上，创建，生成，发布报告的时间大约2分钟。"# GDP分析报告",
2024-02-21 09:19:32
1737
原创 工作流管理框架airflow-安装部署教程
Airflow是一个以编程方式编写，用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道，帮助你管理工作流程的状态，监视进度以及需要时对问题进行故障排除。
2024-01-18 17:33:53
1466
原创 机器学习（二）决策树原理剖析及python实现
决策树模型呈树形结构，可以认为是if-then的集合（互斥并且完备：即每一个实例都被一条路径或一条规则所覆盖，而且，只被一条路径或一条规则所覆盖。）或者定义在特征空间与类空间上的条件概率分布
2023-05-12 14:24:55
818
1
AI for Math Resources
2024-04-17
匈牙利算法理论根据证明新探.pdf
2020-01-16
遗传算法的数学基础.pdf
2020-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人