- 博客(132)
- 资源 (3)
- 收藏
- 关注
原创 Python中利用logger进行日志格式输出
本文主要是针对python程序员小白在写项目代码时的焦虑:什么时候打印日志?日志打印格式是什么样的?打印日志到哪?等等这些问题都是刚开始需要考虑的。本文就这些问题设计了一个python项目的目录结构,大致常用的目录如下:其中logs文件夹是专门存储日志文件的,对日志文件的输出要求是:1. logs文件夹下包括三种类型:log.log、error.log、历史日志文件夹。其中log.log是当前程序运行输出的所有日志(包括warnings),error.log是当前程序运行输出的所有错误日志。结
2020-09-08 10:03:06 3587
原创 灰色预测模型GM(1,1)的全面讲解及python实现
1. 灰色预测的概念(1)灰色系统、白色系统和黑色系统白色系统是指一个系统的内部特征是完全已知的,既系统信息是完全充分的。黑色系统是一个系统的内部信息对外界来说是一无所知的,只能通过它与外界的联系来加以观测研究。灰色系统介于白色和黑色之间,灰色系统内的一部分信息是已知的,另一部分信息是未知的,系统内各因素间有不确定的关系。(2)灰色预测法所以灰色预测就是通过这样的信息前提下做的一种预测分析,即灰色预测法是一种预测灰色系统的预测方法。灰色预测通过鉴别系统因素之间发展趋势的相异程度,
2020-05-27 10:21:03 20710 28
原创 梯度下降法的全面讲解及python实现
函数的梯度方向表示了函数值增长速度最快的方向,那么和它相反的方向就可以看作函数值减少速度最快的方向。就机器学习模型优化的问题而言,当目标设定为求解目标函数最小值时,只要朝着梯度下降的方向前进就能不断逼近最优值。最简单的梯度下降算法—固定学习率的方法,这种梯度下降算法由两个函数和三个变量组成。函数1:待优化的函数f(x),它可以根据给定的输入返回函数值函数2:待优化函数的导数g(x),它可以根据给定的输入返回函数的导数值变量x:保存当前优化过程的参数值,优化开始时该变量将被初始化为某个数值,优
2020-05-14 20:03:31 3077 1
原创 AHP(层次分析法)的全面讲解及python实现
一、层次分析法的使用流程:1. 建立层次结构模型首先绘出层次结构图,正常三层是比较常见的:决策的目标、考虑的决策准则因素和决策对象。按它们之间的相互关系分为最高层、中间层和最低层(如下图是四层结构的)2. 分层构造判断矩阵。多层次的评价指标体系结构一般比较复杂,各种评价指标的权重难以确定,通过两两比较评价因子的重要性来确定权重要比一次性确定所有因子的权重容易把握。该方法叫一致矩阵法,即:不把所有因素放在一起比较,而是两两相互比较。对比时采用相对尺度,以尽可能减少性质不同因素相互比较的困难,以
2020-05-09 13:58:30 24025 6
原创 模拟退火算法(Simulated Annealing,SA)的全面讲解及python实现
抽象来源:美国物理学家Metropolis等人在1953年发表研究复杂系统,计算其中能量分布的文章时,使用蒙特卡洛模拟法计算多分子系统中分子能量分布。Kirkpatrick等人受其启发而发明了“模拟退火”这个名词,它模仿冶金过程中的退火原理,因为寻找问题的最优解(最值)即类似寻找系统的最低能量。因此系统降温时,能量也逐渐下降,而同样意义地,问题的解也“下降”到最值 核心思想:在冶金退火过程中,退...
2020-03-18 21:22:26 3072 1
原创 二分图匹配及匈牙利算法的全面讲解及python实现
1、背景在生活中常常遇到两组元素多对多匹配而又数目有限的情况,我们需要对其进行最大匹配数的分配,使效率最大化。例如,有一组压缩气缸和一组压缩活塞,每一个型号的压缩气缸有一个固定的内径大小,每一个型号的压缩活塞可以匹配内径在一定范围内的气缸,使用匈牙利算法得到活塞和气缸对大匹配数的方案。2、二分图定义二分图又称作二部图,是图论中的一种特殊模型。 设G=(V,E)是一个无向图,如果顶点V可...
2020-01-16 09:38:42 3424
原创 遗传算法(Genetic Algorithms)的全面讲解及python实现
一、主要思想遗传算法的工作方式源自于生物学,是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。其主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定;具有内在的隐并行性和更好的全局寻优能力;采用概率化的寻优方法,不需要确定的规则就能自动获取和指导优化的搜索空间,自适应地调整搜索方向。具体流程见下图:传统上看,这...
2020-01-09 09:10:43 10293 2
原创 粒子群(PSO)优化算法(Particle Swarm Optimization)的全面讲解及python实现
1. 研究背景它的基本概念源于对鸟群觅食行为的研究。设想这样一个场景:一群鸟在随机搜寻食物,在这个区域里只有一块食物,所有的鸟都不知道食物在哪里,但是它们知道当前的位置离食物还有多远。最简单有效的策略:寻找鸟群中离食物最近的个体来进行搜索。PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。用一种粒子来模拟上述的鸟类个体,每个粒子可视为N维搜索空间中的一个搜索...
2020-01-06 17:29:50 4346 1
原创 Python实现KMeans完整过程
先附上代码,学习笔记回头再补充完整代码如下:# -*- coding: utf-8 -*-# 关闭警告# import warnings# warnings.filterwarnings('ignore')import pandas as pdimport numpy as npfrom scipy.spatial.distance import cdistfrom...
2019-04-24 18:15:44 1440
原创 Python实现主成分分析、决策树和随机森林完整过程
先附上代码,学习笔记回头再补充完整代码如下:# -*- coding: utf-8 -*-# 关闭警告# import warnings# warnings.filterwarnings('ignore')# 宏观数据和烟草数据回归分析 计算回归系数import pandas as pdimport numpy as npimport matplotlib.pyplo...
2019-04-24 18:10:14 1776
原创 Python数据预处理-数据标准化(归一化)及数据特征转换
一、数据标准化(归一化)首先,数据标准化处理主要包括数据同趋化处理(中心化处理)和无量纲化处理。同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。无量纲化处理主要为了消除不同指标量纲的影响,解决数据的可比性,防止原始特征中量纲差异影响距离运算(比如欧氏距离的运算)。...
2019-04-18 10:06:08 25561 4
原创 Python实现支持向量机SVM(Support Vector Machine)完整过程
支持向量机(Support Vector Machine)属于有监督的机器学习算法,是一种二分类模型,可用于离散因变量的分类和连续因变量的预测。其本质是计算两个观测数据的距离,学习策略是间隔最大化,所寻找的是能够最大化样本间隔的决策边界,因此又被称为大间距分类器。因为它可使用一个名为核函数的技巧,来将非线性问题变换为线性问题,将低维线性不可分的空间转换为高维线性可分空间,所以它相对于其他单一分类...
2019-04-17 10:38:44 1890
原创 Python实现逻辑回归(LogisticRegression)完整过程
最近正在做的项目正好利用到了逻辑回归,所以正好系统的学习了下,本篇博文把自己的学习笔记、项目思路及代码都记录下来。它的计算原理很多网站和书籍都有介绍,就不在这班门弄斧了,主要还是记录自己如何实现一、逻辑回归简介Logistic Regression算法是通过训练数据中的正负样本,学习样本特征和样本标签的假设函数,它是典型的线性分类器,是广义线性模型的一种。它具有很强的可解释性,应用也非常广泛...
2019-04-15 19:00:22 38748 14
原创 Python常用语法汇总(七):双下划线含义、MethodType把函数变为方法以及类继承
python双下划线含义、MethodType把函数变为方法以及类继承
2017-12-20 16:58:40 1081 1
原创 python获取完整网页内容(即包括js动态加载的):selenium+phantomjs
查看网页源代码时并不完整,利用selenium和phantomjs抓取js动态加载的网页
2017-12-19 17:52:42 17077 2
原创 python模拟浏览器打开百度首页并登录或者点击首页新闻并保存网页
首先不知道怎么模拟打开浏览器的童鞋先看我的上篇文章:http://blog.csdn.net/Trisyp/article/details/78688106这篇文章涉及到前期配置,所以不会的一定要先查看下,配置完了之后再进一步学习本篇文章这篇文章主要功能是模拟登录百度账号;或者点击首页新闻,同时保存和打印网页源码过程就不多说,我尽量都加上了备注,直接附上代码:模拟登陆完整代码如下:f...
2017-12-04 19:06:06 8127 4
原创 R语言-将数据按照月份、季度、年份划分及求某个代码(地名、产业名等)对应的累积值
R语言-将数据按照月份、季度、年份划分及求某个代码(地名、产业名等)对应的累积值
2016-08-26 10:54:08 15900 2
原创 R语言-批量读取数据文件以及提取字符串中的数字
R语言-批量读入数据文件以及如何提取字符串中的数字,删除字符串中的特定字符,以及读取excel数据时指定行和列进行读取
2016-08-22 14:49:08 28701 2
原创 R语言-将字符串数据转换成日期时间,变成星期、月等等,包括生成日期
R语言-将字符串、数据转换成日期时间,变成星期、月等等,还介绍了如何生成日期,如何提取当前系统时间
2016-08-22 14:13:50 46915
原创 Tensorflow笔记(二):激活函数、优化器等、神经网络模型实现(商品销量预测)
Tensorflow笔记(二):常用函数2、激活函数、优化器等、神经网络模型实现(商品销量预测)
2024-03-14 16:04:11 609
原创 Tensorflow笔记(一):常用函数、张量操作、神经网络模型实现(鸢尾花分类)
Tensorflow笔记(一):常用函数、张量操作、神经网络模型实现(鸢尾花分类)
2024-03-14 11:01:47 490
原创 transformer学习总结
Decoder block与第二个Multi-Head Attention变化不大,主要的区别在于其中Self-Attention的K、V矩阵不是使用上一个Decoder block的输出计算的,而是使用Encoder的编码信息矩阵C计算的。翻译到单词i+1的时候需要通过Mask(掩盖)操作遮盖住i+1之后的单词。第一个Encoder block的输入为句子单词的表示向量矩阵,后续Encoder block的输入是前一个Encoder block的输出,最后一个Encoder block输出的矩阵就是。
2024-02-21 09:24:55 877
原创 数据分析(二)自动生成分析报告
-利用datapane整合报告:上面的报告里面,fig采用Plot来生成报告,df采用DataTable生成报告,还有标题,数字仪表也是类似的方式生成。dp.BigNumber(heading="GDP", value="17.7万亿"),columns=2,),dp.Plot(fig2, caption="GDP柱形图"),columns=2),--各种展现方式,数字仪表盘,动图,数据表格,描述性文字等(音频,视频)--在数据分析的基础上,创建,生成,发布报告的时间大约2分钟。"# GDP分析报告",
2024-02-21 09:19:32 1696
原创 工作流管理框架airflow-安装部署教程
Airflow是一个以编程方式编写,用于管理和调度工作流的平台。可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项,同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。Airflow的可扩展Python框架可以让你构建连接几乎任何技术的工作流程。丰富的用户界面可以随时查看生产中正在运行的管道,帮助你管理工作流程的状态,监视进度以及需要时对问题进行故障排除。
2024-01-18 17:33:53 1212
匈牙利算法理论根据证明新探.pdf
2020-01-16
遗传算法的数学基础.pdf
2020-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人