- 博客(43)
- 收藏
- 关注
RSS订阅原创 Python_BeautifulSoup4爬虫应用案例
BeautifulSoup4和 lxml 一样，也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据，本篇文章主要分享了如何运用BeautifulSoup4解析器来爬取中国城市的天气数据。
2022-10-05 22:53:06
1656
1
原创 在商业领域如何开展数据挖掘
在实际工作中，作为分析团队里的一名数据分析师，我们如何标准化、流程化地开展一个数据挖掘项目呢？姚志勇老师编著的《SAS编程与数据挖掘商业案例》的第13章开头部分就提供了一个比较好的可借鉴的的思路，本篇博客是本人学习过后总结的学习笔记，分享给大家，希望对大家有帮助。
2022-09-25 17:59:11
997
原创 汽车后市场询价客户数增长趋势拟合-logistics增长模型
1 背景说明正常情况下，一家公司一个业务线的客户数量的成长过程类似一个地区的人口增长一样，一般会经历这几个成长阶段，即沉默期、成长期、爆发期、稳定期，而整个过程的走势曲线符合“S”型曲线。以汽车后市场的询价客户数为例，当渗透率达到上限，以及流失和留存达到一个平衡状态之后，其客户数会维持一个稳定的水平，基于这样的一个前提假设，下面我们尝试用logistics增长模型来拟合客户数增长趋势。2 数据探索性分析用python读取数据，查看数据的信息，观察是否存在缺失的数据，计算数据的描述性统计指标，
2021-12-23 00:54:11
1652
原创 XGBoost参数调优—以鸢尾花数据集分类任务为例
XGBoost（Extreme Gradient Boosting）是一种集成学习算法，属于3类常用的集成方法(bagging、boosting、stacking)中的boosting算法类别。另外，XGBoost属于梯度提升决策树(gradient boosting decision tree，GBDT)模型的范畴，如果能找到模型的较为优质的参数进行训练，就可以让模型在梯度下降过程中，更快地收敛，以及更好找到更小的损失值。下面只是针对参数调优进行的实验，因此我们选择小一点的鸢尾花数据集，具体Pytho
2021-08-22 09:56:52
963
原创 Pandas学习笔记
文章目录1 Pandas介绍1.1 为什么会有Pandas?1.2 Pandas是什么1.3 Pandas涉及的内容1.4 常用的数据读取1.5 常用的数据存储2 Pandas数据结构介绍2.1 Series2.1.1 Series介绍2.1.2 Series创建2.1.3 Series的索引与值2.1.4 Series索引与切片2.1.5 Series运算2.2 DataFrame2.2.1 DataFrame介绍2.2.2 DataFrame创建2.2.3 重置索引2.2.4 DataFrame基础操作
2021-04-14 14:09:14
263
4
原创 Excel常用统计分析函数分享
文章目录1 平均值计算1.1 无条件平均值计算：AVERAGE1.2 单一条件下的平均值计算：AVERAGEIF1.3 多条件下的平均值计算：AVERAGEIFS2 按指定条件计数2.1 条件判断介绍2.2 单字段多条件计数2.3 多字段多条件计数3 认识COUNTA与COUNTBLANK函数3.1 检查数据填写的完整性3.2 空与非空的判断4 应用SUMPRODUCT函数计算4.1 应用SUMPRODUCT函数进行多条件求和计算4.2 应用SUMPRODUCT函数进行多条件计数计算4.3 应用SUMPRO
2021-04-05 17:18:06
2786
原创 Numpy学习笔记
文章目录1 Numpy介绍1.1 Numpy1.2 Numpy特点2 Numpy基本操作2.1 创建数组2.2 数组的数据类型2.2.1 查看数组数据类型2.2.2 指定数组的数据类型2.3 数组形状2.3.1 查看数组维度和形状2.3.2 N-维数组对象2.4 重塑数组2.4.1 一维转多维2.4.2 多维转一维2.4.3 数组转置与换轴2.5 创建数组的其他函数2.5.1 常用函数汇总2.5.2 array函数和asarray函数的区别2.5.3 其他方法实例2.6 数组的拷贝2.6.1 不拷贝2.6.
2021-03-24 14:30:44
199
1
原创 Matplotlib学习笔记
文章目录1 matplotlib介绍与安装1.1 matplotlib介绍1.2 matplotlib的安装2 matplotlib绘图2.1 图片与子图2.2 matplotlit绘制图形2.2.1 折线图2.2.2 散点图2.2.3 条形图2.2.4 直方图2.2.5 扇形图(Pie)2.2.6 雷达图2.2.7 箱型图2.3 Axes容器2.4 Axis容器2.5 多图布局2.6 Matplotlib配置项2.7 3D立体图形1 matplotlib介绍与安装1.1 matplotlib介绍ma
2021-03-23 22:01:24
637
原创 Python学习-有道翻译实现post请求（Python自带模块））
1、前期准备工作打开chrome浏览器，进入“百度一下”页面，在搜索框输入有道翻译，进入有道翻译官网，右击鼠标选择检查，进入开发者模式，然后在需要翻译的文本框输入翻译内容，接着在Network中找到请求文件translate_o?smartresult=dict&smartresult=rule，点击该文件进去，在 Headers的General中可以看到请求的URL（这里需要注意，由于有道词典的后台工作人员对URL进行了处理，需要要把url中的‘_o’去掉才能请求访问到我们想要的数据）为’htt
2020-08-05 00:13:22
584
原创 Python学习-百度贴吧爬虫练习（Python自带爬虫模块）
要求：1、输入要爬取的贴吧的主题；2、输入要爬取的起始页和终止页；3、把每一页的网页源码保存到本地的html文件中。分析：1、贴吧的主题直接用 input()方法就可以从用户那里获取到。2、起始页和终止页，观察：第一页 https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&ie=utf-8&pn=0第二页 https://tieba.baidu.com/f?kw=%E6%B5%B7%E8%B4%BC%E7%8E%..
2020-08-04 00:55:52
163
原创 Python学习-Python自带的爬虫模块常用知识点整理和应用场景
1、urllib.request模块urllib.request模块是Python自带的模块，一些企业的老项目可能会用到该模块，所以我们有必要去了解这个模块。1.1 版本Python2版本会区分urllib2和urllib，但是到了Python3版本已经不做区分了，用的都是urllib.request。1.2 常用的方法urllib.request.urlopen(‘网址’)该方法的作用是向网站发起一个请求并获取响应对象，一般赋值 response = urllib.request.urlop
2020-08-03 00:14:50
281
原创 Python学习-爬虫入门知识点整理
1 通讯协议1.1 端口进行数据通讯的步骤：（1）找到对方IP（2）数据要发送到对方指定的应用程序上。为了标识这些应用程序，所以给这些网络应用程序都用数字进行了标识，这个数字就叫端口，这里的端口我们一般称之为 ”逻辑端口“。（3）定义通讯规则。这个通讯规则我们一般称之为协议。1.2 通讯协议TCP/IP协议（Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议）：指能够在多个不同网络间实现信息传输的协议簇。TCP/IP协议
2020-07-12 16:46:23
497
原创 Python学习-OS模块常用方法整理
ps: 知识点主要来自菜鸟教程网站和Python官方文档OS模块提供了非常丰富的方法来处理文件和目录1、os.access(path.mode):检验权限模式os.access()方法使用当前的uid/gid（用户ID/组ID）访问路径。大部分操作使用有效的uid/gid，因此运行环境可以在suid/sgid环境尝试。（除了一般的user id 和group id外，还有两个称之为effective 的id，就是有效id，上面的四个id表示为：uid，gid，euid，egid）（SUID的作用
2020-07-12 16:14:12
520
原创 Python学习-格式化输出知识点整理
Python输出值的方式表达式语句print()函数使用文件对象的write()方法，标准输出文件可以用sys.stdout引用如果希望将输出的值转成字符串，可以使用repr()或str()函数来实现repr()函数可以转义字符串中的特殊字符，然后规范化输出。repr()的参数可以是Python内置（buildtin）的任何对象。示例1：a = 'hello world\n'b = repr(a) # 等价于 r'hello world\n'print(b)
2020-07-12 15:48:44
365
原创 Python学习-文件的操作
文件（file）可以通过Python程序来对计算机的各种文件进行增删改查的操作，文件的输入输出也叫I/O(Input/Output)文件的操作步骤：1、打开文件；2、对文件进行各种操作（读、写），然后保存；3、关闭文件。文件会有一个返回值，返回一个对象，该对象表示的是当前的文件。文件的类型：1、纯文本文件（用utf-8编码编写的文件）；2、二进制文件（如图片、mp3、视频…）注意：当我们获取文件对象之后，所有的操作都是通过文件对象来进行的。打开文件open()函数默认以文本文
2020-06-25 10:57:08
192
原创 Python学习-错误和异常的处理
Python 有两种错误很容易辨认：语法错误和异常。Python assert（断言）用于判断一个表达式，在表达式条件为 false 的时候触发异常。关键字：1、assert raise ; 2、try except else finally1 语法错误(也称解析错误)例子：while True print('hello world')执行结果： File "D:/错误和异常.py", line 11 while True print('hello world')
2020-06-24 00:42:39
262
原创 Python学习-面向对象（模块）
1 模块的介绍在Python中，将自己定义的所有方法和变量都存放在文件中，为一些脚本或者交互式的解释器实例使用，这个文件被称为模块。模块是一个包含所有你定义的函数和变量的文件，其后缀名是.py 。模块化指将一个完整的程序分解成一个个的小模块，通过模块组合来搭建一个完整的程序。模块化的优点：方便开发、方便维护、模块可以复用访问模块内容的方式：– 访问模块中的变量，语法是：模块名.变量名– 访问模块中的函数，语法是：模块名.函数名– 访问模块中的对象，语法是：模块名.对象名示例1：imp
2020-06-21 17:37:51
276
原创 Python学习-面向对象（类）
1 了解面向对象Python 就是一个面向对象的编程语言对象就是内存中用来存储指定数据的一块区间对象的结构：每个对象当中都保存了3种数据：1、id(标识)：id是由我们的解析器生成的，在Cython中，id就是对象的内存地址。2、type(类型)：用来标识当前对象所属的类型，类型就决定了对象有什么功能。3、value(值)：就是对象中存储的具体数据。概念：（1）类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。（2）
2020-06-18 00:26:32
284
原创 Python学习-Python函数的构建与使用&Python命名空间和作用域
1 函数的构建和调用函数的介绍：函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数的作用：函数能提高应用的模块性，和代码的重复利用率。函数的分类：内建函数、用户自定义函数自定义函数：用def关键字一定一个函数def 函数名（参数列表）： 函数体注意：（1）函数名必须符合标识符的规范。（2）默认情况下，参数值和参数名称是按函数声明中定义的顺序匹配起来的。（3）函数内容以冒号开始，并且需要注意缩进。（4）函数的第一行语句可以选择性地使用文档字符串，主要用于说明函数
2020-06-08 02:23:36
183
原创 Python学习-元组&字典&集合
1 元组1.1 元组的创建Python的元组与列表类似，区别在于元组的元素不能修改.元组用小括号创建，元素之间用逗号隔开。# 普通创建tup_one=(1,2,5,4)tup_two='a','b','c','d' # 不需要括号也可以print(type(tup_one),tup_one)print(type(tup_two),tup_two)# 传递值方式,类似多变量同时赋值，变量个数与元素个数要一致tup_one=1,2,5,4a,b,c,d=tup_oneprin
2020-06-03 01:36:05
191
原创 Python学习-列表和for循环
1 列表1.1 列表的介绍数据结构：计算机中数据的存储方式序列：Python中最基本的数据结构。序列的每个元素都分配了一个数字 ，即它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。序列进行的操作：索引，切片，加，乘，检查成员。Python有6个序列的内置类型（即6个标准数据类型），其中最常见的是列表和元组。列表：也是一个对象，可以用方括号[]进行创建，各个元素之间使用逗号分开，列表的包容性很强，可以保存任意的对象。使用list()函数可以将其他数据类型转换为列表类型。# 创建一
2020-06-01 02:09:45
1113
原创 Python学习-条件控制语句&while循环
1 条件控制语句1.1 input()函数该函数用来获取用户的输入input()调用后，程序会立即暂停，等待用户输入用户输入完内容以后，点击回车程序才能继续向下执行用输入完成以后，其所输入的内容会以值为字符串的形式返回如果想改变input()函数返回值的类型，可以在用其他类型的函数进行转换，如转换为整型：int(input())1.2 if语句语法：if 条件表达式： 语句块（代码块）执行流程：- if语句在执行时，会先对条件表达式进行求值判断- 如果条件表达式的值为T
2020-05-29 02:05:15
230
原创 Python学习-运算符的介绍和运用
1 运算符的概念和分类1.1 运算符的概念运算符用于执行程序代码运算，会针对一个以上操作数项目来进行运算。例如：2+3，其操作数是2和3，而运算符则是“+”。1.2 运算符的分类Python支持的运算符有：（1）算术运算符（2）比较（关系）运算符（3）赋值运算符（4）逻辑运算符（5）位运算符（6）成员运算符（7）身份运算符（8）条件运算符（三元运算符）2 Python运算符2.1 算术运算符运算符描述+加，两个对象相加或者两个对象拼接（如字符串、列表）
2020-05-27 01:56:20
123
原创 Python学习-数据类型（简单介绍）
PS：以下内容纯属上课学习的笔记整理，不做商业用途，无侵犯版权的想法。前言上一篇博客提到了Python 3 的六个标准数据类型，考虑到如果全部放在一篇博客里详细展开的话，内容会很多，而且往后也会逐个深入学习和详细介绍这六个标准数据类型，因此本篇博客只进行一些简单的介绍。1 数字（number）Python 3支持的数字类型：int（整型）、float（浮点型）、bool（布尔型）、complex（复数型，类似a+bj）注意：（1）Python 3只有一种整型类型，即int。（2）内置的typ
2020-05-26 01:11:29
120
原创 Python学习-基础语法&基本数据类型
PS：以下内容纯属上课学习的笔记整理，不做商业用途，无侵犯版权的想法。1 基础语法1.1 编码默认情况下，Python 3 源码文件以UTF-8编码，所有字符串都是Unicode字符串。如果要改变源码文件的默认编码，可以通过以下代码进行指定，比如指定编码为国标GBK：# -*- coding：GBK -*-1.2 Python的关键字Python的标准库中提供了一个名为keyword的模块，该模块可以输出当前版本的所有关键字：>>> import keyword>&
2020-05-25 00:54:01
152
原创 Python学习-Python编程环境搭建
ps:以下内容纯属上课学习的笔记整理，不做商业用途，无侵犯版权的想法。1 认识Python1.1 Python的介绍官方介绍：Python 是一款易于学习且功能强大的编程语言。 它具有高效率的数据结构，能够简单又有效地实现面向对象编程。Python 简洁的语法与动态输入之特性，加之其解释性语言的本质，使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快速开发工作的理想语言。名称的由来：Python 的创造者吉多·范罗苏姆（Guido van Rossum）（行业内人员尊称其为龟叔）采用
2020-05-22 01:51:26
203
原创 Python学习—零基础之计算机要点
1. 计算机基本概念1.1 计算机是什么？概念：计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器。特点：能够进行数值计算、逻辑计算，具有存储记忆功能。总结：是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。1.2 计算机的组成及分类组成：由硬件系统（如主机、显示器、键盘、鼠标等等）和软件系统（一般分为系统软件、应用软件和介于两者之间的中间件）组成。分类：超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机扩展：没有安装任何软件的计算机称
2020-05-20 01:18:14
133
1
原创 方差分析原理及实例应用
前言虽然网上也有很多关于方差分析的介绍，但是我还是想结合自己在学校所学的统计学专业知识以及网上的一些优秀文档做一个笔记整理，不为别的，只为以后用到这方面知识的时候有笔记可查，分享到博客也是为了和大家一起学习探究，无其他过分的想法，谢谢各位。PS：由于markdown编辑器不支持数学公式的直接复制，所以只能先在Word文档编辑好，然后以插图的形式放进来，因此在文章发现有文档的插图请不要奇怪，正常...
2020-04-12 13:33:17
17014
6
原创 零售门店营业额预测分析(时间序列建模)
一、 观察数据某公司门店营业额数据报表（虚拟数据，非真实数据）如下：可以看到表格有7个变量的数据，而且均以时间先后为顺序来记录的一组月度数据，从计量经济学的角度来分类就是一组时间序列数据，对于这类数据的预测分析，我们一般的做法是建立一个自回归移动平均模型ARMA(p,q)来预测下一期或近几期（不宜预测多期数据）的经济数据。进一步观察数据发现，这几个变量之间似乎存在某种相关(Correlat...
2020-02-23 00:45:33
6865
3
原创 成对数据T检验实例（用SPSS16.0实现）
一、 成对数据T检验原理在对两个总体均值进行比较时，有时数据是成对出现的，此时若采用两独立样本T检验所得出的结论有可能是不对的，此时应采用成对数据T检验的方法，原因如下：成对数据的差di（i=1,2,…，n）已消除数据的非处理因素之间的差别（比如在比较两个类型种子的产量时，土质是非处理因素），从而用于检验的标准差sd(计算公式不包含样本的标准差)已排除非处理因素差异的影响，只保留成对数据间的差异...
2020-02-21 17:55:27
16154
原创 两独立样本T检验实例（用SPSS16.0实现）
一、 两独立样本T检验原理首先我们要界定好独立样本是指两个样本之间彼此独立，没有任何的相关关系，用数理统计的语言来说就是相关系数为0。然后在菜单栏依次点击Analyze -> Compare Mean ->Independent-Samples T Test，进入Independent-Samples T Test会话框，然后将变量grade选入Test Variable...
2020-02-10 12:03:06
18185
1
原创 单一样本T检验实例（用统计软件SPSS16.0实现）
二、 单一样本T检验实例与SPSS实现过程（1） 实例分析某班级学生的高考数学成绩和全国的平均成绩70之间是否存在显著性差异，数据如表1所示：（2） SPSS16.0实现过程打开统计分析软件SPSS16.0的数据编辑器SPSS Data Editor，在变量视图（Variable View）新建两个变量，结果如图1所示：然后在数据视图中将表1的数据输入对应的变量内容区，结果如图2所...
2020-02-09 01:32:26
5400
原创 【《Python编程：从入门到实践》练习题代码实现——第十五章】（Geany编写，窗口运行）
项目2之第十五章 生成数据动手试一试代码实现（1）习题内容15-1 立方：数字的三次方被称为立方。请绘制一个图形，显示前5个整数的立方值，再绘制一个图形，显示前5000个整数的立方值。15-2 彩色立方：给你前面绘制的立方图指定颜色映射。15-3 分子运动：修改rw_visual.py，将其中的plt.scatter()替换为plt.plot()。为模拟花粉在水滴表面的运动路径，向plt...
2020-01-09 01:13:18
1193
原创 时间序列分析应用实例（使用Eviews软件实现）
引言某公司的苹果来货量数据是以时间先后为顺序记录的一组数据，从计量经济学的角度来分类就是一组时间序列数据。为了提高苹果来货量预测的准确度以及预测结果的可信度，下面运用Eviews软件包（即Econometrics Views 计量经济学软件包）并结合计量经济学的理论知识，选取2017年1月至2019年4月的苹果来货量月度数据（事前对原始数据进行处理，把数值单位从吨转换为万吨）为样本数据，用一个时...
2020-01-08 13:40:28
34708
14
原创 【《Python编程：从入门到实践》练习题代码实现——第十一章】（Geany编写，窗口运行）
第十一章 测试代码动手试一试代码实现（1）习题内容11-1 城市和国家：编写一个函数，它接受两个形参：一个城市名和一个国家名。这个函数返回一个格式为City,Country的字符串，如Santiago,Chile。将这个函数存储在一个名为city_functions.py的模块中。创建一个名为test_cities.py的程序，对刚编写的函数进行测试（别忘了，你需要导入模块unittest...
2019-12-29 01:29:20
280
原创 【《Python编程：从入门到实践》练习题代码实现——第十章】（Geany编写，窗口运行）
第十章 文件和异常动手试一试代码实现（1）习题内容10-1 Python学习笔记：在文本编辑器中新建一个文件，写几句话来总结一下你至此学到的Python知识，其中每一行都以 “In Python you can” 大头。将这个文件命名为learning_python.txt，并将其存储到为完成本章练习而编写的程序所在的目录中。编写一个程序，它读取这个文件，并将你所写的内容打印三次：第一次打印...
2019-12-21 23:45:41
507
原创 【《Python编程：从入门到实践》练习题代码实现——第九章】（Geany编写，窗口运行）
第八章 函数动手试一试代码实现（1）习题内容9-1 餐馆：创建一个名为Restaurant的类，其方法__init__()设置两个属性：restaurant_name和cuisine_type。创建一个名为describe_restaurant()的方法和一个名为open_restaurant()的方法，其中前者打印前述两项信息，而后者打印一条信息，指出餐馆正在营业。①根据这个类创建一个名...
2019-12-14 17:08:59
613
原创 【《Python编程：从入门到实践》练习题代码实现——第八章】（Geany编写，窗口运行）
第八章 函数动手试一试代码实现（1）习题内容8-1 消息：编写一个名为display_message()的函数，它打印一个句子，指出你在本章学的是什么。调用这个函数，确认显示的消息正确无误。8-2 喜欢的图书：编写一个名为favorite_book()的函数，其中包含一个名为title的形参。这个函数打印一条消息，如One of my favorite books is Alice i...
2019-11-23 12:51:30
468
原创 【《Python编程：从入门到实践》练习题（部分题目）代码实现——第七章】（Geany编写，窗口运行）
第七章 用户输入和while循环动手试一试代码实现（1）习题内容7-1 汽车租赁：编写一个程序，询问用户要租赁什么样的汽车，并打印一条消息，如“Let me see if I can find you a Subaru”。7-2 餐馆订位：编写一个程序，询问用户有多少人用餐。如果超过8人，就打印一条消息，指出没有空桌；否则指出有空桌。7-3 10的整数倍：让用户输入一个数字，并指出...
2019-11-16 16:57:02
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人