- 博客(49)
- 收藏
- 关注
RSS订阅原创 数据分析—03数据分析绘图库
文章目录一、数据分析绘图库matplotlib1、简单介绍2、绘图基础知识3、常用图形4、绘图步骤5、单图绘制和多图绘制6、绘制散点图和折线图7、绘制柱状图二、数据分析绘图库seaborn三、K近邻算法分类可视化分析一、数据分析绘图库matplotlib1、简单介绍matplotlib是python比较底层的可视化库，可定制性强、图表资源丰富、简单易用、达到出版质量级别。2、绘图基础知识...
2020-05-15 08:51:59
355
原创 数据分析—02Pandas数据科学库
文章目录一、什么是Pandas二、Series用法1、pandas创建series数据类型2、series基本操作3、series运算4、特殊的where方法5、字符串常用操作三、DataFrame用法1、创建dataframe数据2、文件的读取与写入3、DataFrame基础属性和整体情况查询4、分组和聚合四、案例1、商品数据分析2、消费金额和小费的关联与性别和吸烟是否有关一、什么是PandasPandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数
2020-05-15 08:35:44
266
原创 数据分析—01NumPy数据科学库
一、什么是NumPyNumPy是使用Python进行科学计算的基础软件包。是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。除其他外，它包括： 1 功能强大的N维数组对象。（数组中类型一样） 2 精密广播功能函数。 3 集成 C/C+和Fortran 代码的工具。 4 强大的线性代数、傅立叶变换和随机数功能。两个强大的功能：N维数组对象NdarrayNumPy 最重要的一个特点是其 N 维数组对象 nd
2020-05-14 22:07:09
274
原创 网络爬虫—05Scrapy爬虫框架
文章目录一、Scrapy架构流程1.简介2.优势3.架构流程图4.组件二、Scrapy爬虫步骤三、三国演义名著定向爬虫项目一、Scrapy架构流程1.简介Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如Bas...
2020-04-23 15:32:55
378
原创 网络爬虫—04Ajax/selenium爬虫
一、什么是Ajax浏览器中可看到正常显示的数据，但使用requests得到的结果并没有。 这是什么原因呢?requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。这些数据的来源有哪些情况呢?Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成Ajax(Asynchronous JavaScript and XML)异步的...
2020-04-22 12:42:02
300
原创 网络爬虫—03网络数据解析
文章目录一、正则表达式正则表达式匹配规则正则实现步骤Pattern和Match对象方法汇总1.pattern对象方法2.match对象方法3.search4.findall和finditer方法5.split方法6.sub方法7.匹配中文8.正则常量9.贪婪模式与非贪婪模式基于requests和正则猫眼电影top100定向爬虫二、XPath数据解析库基于requests和XPath猫眼电影TOP1...
2020-04-20 18:22:13
896
原创 网络爬虫—02网络数据采集
文章目录一、网络数据采集之urllib库二、网络数据采集之requests库request方法response对象高级应用一：添加headers高级应用二：IP代理设置三、项目案例一：京东商品的爬取项目案例二:百度/360搜索关键字提交Python 给人的印象是抓取网页非常方便，提供这种生产力的，主要依靠的就是 urllib、requests这两个模块。重点学习requests一、网络数据采集...
2020-04-20 13:17:45
603
原创 网络爬虫—01爬虫入门
一、通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为：通用爬虫 和 聚焦爬虫两种1、通用爬虫通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着 整个引擎系统的内容是否丰富，信息是否即时...
2020-04-20 11:21:26
355
原创 Web前端—06Flask表单操作
文章目录一、 WTForms引入二、安装三、定义表单文件1、常见表单域字段类型2、常见验证规则3、简单实例4、用户注册与Bootstrap结合5、自定义验证一、 WTForms引入Form表单，在Web应用中无处不在。比如: 用户登录表单, 用户注册表单。所有的表单项都有共性，比如有文字输入框，单选框，密码输入框等；表单的验证也有共性，比如有非空验证，长度限制，类型验证等。如果有个框...
2020-03-04 16:52:05
369
原创 Web前端—05Flask、Jinja2入门
一、flask简介1、什么是Flask？首先看一下用户通过浏览器访问网站的页面信息，经过了哪些？Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供IMAP / POP3 / SMTP服务。接收的请求量大，10K。uWSGI是一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。http协议和nginx进行交流，WSGI协议和后端的...
2020-02-23 10:32:43
363
原创 Web前端—03JavaScript介绍
文章目录一、JS介绍二、JS的使用和输出三、基本语法1、定义变量2、运算符3、数据类型4、函数5、条件语句6、JS事件一、JS介绍（1）JavaScript 是属于 HTML 和 Web 的编程语言。它和Java没有半毛钱关系，就像雷锋和雷峰塔的关系。。。JavaScript 是 web 开发者必学的三种语言之一：HTML 定义网页的内容CSS 规定网页的布局JavaScript 对...
2020-02-14 11:05:41
230
原创 数据库—04基于Celery、Redis和Flower的异步邮件报警与监控
项目案例：基于Celery、Redis和Flower的异步邮件报警与监控项目背景异步任务队列的主要应用场景在：无须实现响应，性能占用较大，任务处理时间较长的任务，如占用网络性能的发送邮件，占用IO 性能的视频处理。 和经常我们在注册信息的时候，发送激活邮箱，手机发送验证码按时发布的定时任务，如定期对服务器的检查，对当天网站的监测分析。补充（1） 同步和异步的概念：同步：你去饭店吃...
2020-02-14 09:44:18
1117
原创 Web前端—02CSS层叠样式表
一、CSS介绍1、定义CSS指层叠样式表（Cascading Style Sheets）如何显示控制HTML元素，从而实现美化HTML网页2、优势为了让页面元素的样式更加丰富，也为了让页面的内容和样式能拆分开，CSS由此诞生有了CSS，HTML中大部分表现样式的标签就废弃不用了，HTML只负责文档的结构和内容，表现形式完全交给CSS，因此HTML文档会变得更加简洁建议二者独立开来二...
2020-02-10 22:35:58
385
原创 Web前端—01HTML超文本标记语言
文章目录一、Wed前端开发介绍1、Web概述2、Web起源3、Web的特点4、Web工作原理5、URL介绍二、HTML网页结构1、HTML介绍2、HTML基本结构三、HTML标签一、Wed前端开发介绍1、Web概述前端开发三剑客:HTML：超文本标记语言CSS：层叠样式表,用来装饰HTML框架JavaScript：前端编程语言，用来使页面进行交互，动态展示三者可以理解为：人（HTM...
2020-02-08 14:00:22
1228
原创 高级编程—01多任务编程
文章目录一、多任务编程1、什么叫多任务2、单核CPU如何实现多任务3、多核CPU如何实现多任务二、多进程编程1、进程的创建2、多进程编程3、进程间通信三、多线程编程1、什么是线程2、线程和进程的区别3、多线程编程4、GIL全局解释器锁5、线程同步和线程锁6、死锁四、协程1、什么时协程2、协程的优势3、线程的实现五、总结一、多任务编程1、什么叫多任务就是操作系统可以同时运⾏多个任务。打个⽐⽅...
2020-02-04 15:24:11
260
原创 机器学习—02线性回归
文章目录一、单变量线性回归二、损失（代价）函数——均方误差1、损失函数J(θ~0~，θ~1~)3、损失函数的等高图三、梯度下降1、梯度下降思想2、梯度下降算法3、线性回归的梯度下降四、三种梯度下降1、批梯度下降2、随机梯度下降一、单变量线性回归最简单的开始：线性方程简单来说:线性：穿过很多点的直线，利用这个算法生成的模型一定是一条直线回归：求解方程的步骤，让数据回归（聚集）到一个特定的...
2020-01-28 16:38:11
492
原创 数据库—03Redis编程
一、Redis数据库简介1、Redis介绍NoSQL(NoSQL = Not Only SQL )，意为“不仅仅是SQL”，泛指非关系型的数据库。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。Redis就是一种非关系型数据库。Redis(Remote Dictionary Server)远程字典数据服务的缩写，由意大...
2020-01-22 13:54:28
199
原创 数据库—练习题
一、简答题（笔试面试常见）1、MySQL常见的三种存储引擎（InnoDB、MyISAM、Memory）的区别。数据库存储引擎是数据库底层软件组织，进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能， MySQL的核心就是存储引擎。特点InnoDBMyISAMMemory存储限制64TB没有有事务安全支持支...
2020-01-19 20:38:52
2261
原创 机器学习—01初步探究
终于要开始踏入我梦寐以求的人工智能领域，希望不会是从入门到放弃。。。。。。干巴爹。。。。文章目录一、导论1、机器学习和人工智能2、人工智能的分类领域3、机器学习的基本方法一、导论1、机器学习和人工智能人工智能：用计算机来实现人类的智能 例如，去模仿人类的知觉、推理、学习能力等，从而让计算机能够像人一样思考和行动 。机器学习：其实是人工智能很重要的一部分，因为目前，在实践过程中，大多数的人...
2020-01-11 23:34:43
187
原创 python基础—12python内存管理机制
一、内存池机制1、对象池面试题目: python内存管理机制是什么?1). 由于python中万物皆对象，内存管理机制就是对象的存储问题，Python会分 配一块内存空间去存储对象。2) 对于整数和短小的字符等，python会执行缓存机制，即将这些对象进行缓存， 不会为相同的对象分配多个内存空间3). 容器对象，如列表、元组、字典等，存储的其他对象，仅仅是其他对象的引 用，即地址，并不是...
2020-01-10 14:42:33
222
原创 数据库—02对象关系映射sqlalchemy
一、简介ORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和 业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再 去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。简单地说，就是把面向对象的语言翻译成SQL语句并执行。SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系...
2020-01-10 13:56:52
306
原创 数据库—01关系型数据库MySQL
一、数据库简介1、为什么需要数据库人类在进化的过程中，创造了数字、文字、符号等来进行数据的记录，但是承受着认 知能力和创造能力的提 升，数据量越来越大，对于数据的记录和准确查找，成为了一个 重大难题。数据库系统解决的问题：持久化存储，优化读写，保证数据的有效性。2、常见的数据库计算机诞生后，数据开始在计算机中存储并计算，并设计出了数据库系统3、数据库分类...
2020-01-10 12:09:34
566
原创 面向对象—04实现单例模式，面向对象练习题
单例模式定义一个类只能创建一个对象为什么要使用单例模式：对于系统中的某些类来说，只有一个实例很重要，例如，一个系统中可以存在多个打印任务， 但是只能有一个正在工作的任务；一个系统只能有一个窗口管理器或文件系统；一个系统只能有 一个计时工具或ID(序号)生成器。如在Windows中就只能打开一个任务管理器。如果不使用机制 对窗口对象进行唯一化，将弹出多个窗口，如果这些窗口显示的内容完全一致，...
2020-01-09 21:54:43
373
原创 面向对象—03魔术方法
在Python中，所有用" __ " 包起来的方法，都称为“魔术方法”(eg: __ len__, __ init__)。魔术方法一般是为了让显示器调用的，自己并不需要调用它们。一、特殊属性魔术方法名称功能__ name __类，函数，方法等的名称__ module __类定义所在的模块__ class __对象或者类所属的类__ bases __...
2020-01-09 21:35:20
119
原创 面向对象—02面向对象高级特性
一、类属性与实例属性类属性就是类对象所拥有的属性,它被所有类对象的实例对象所共有,在内存中只存在 一个副本。 在前面的例子中我们接触到的就是实例属性(对象属性)，它不被所有类对象的实 例对象所共有,在内存中的副本个数取决于对象个数。二、类方法与静态方法...
2020-01-07 18:30:54
240
原创 面向对象—01面向对象编程（栈，队列，二叉树的实现）
一、 面向过程编程1、定义面向过程是一种以过程为中心的编程思想。分析出解决问题所需要的步 骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了。c语言就是面向过程编程2、特性模块化、流程化面向过程最重要的是模块化的思想方 法。比如拿学生早上起来这件事说明面向过程，粗略的可以将过程拟为：(1)起床(2)穿衣(3)洗脸刷牙(4)去学校而这4步就是一步一步地完成...
2020-01-01 16:15:58
757
1
原创 python基础—11模块与包
一、模块1、定义模块就是工具包,要想使用这个工具包中的工具(就好比函数),就需要导入这个模块模块是非常简单的Python文件，单个Python文件就是一个模块，两个文件就是两个模块。2、模块导入（1）import 模块名1，模块名2（2）import 模块名.函数名因为可能存在这样一种情况:在多个模块中含有相同名称的函数, 如果只是通过函数名来调用,解释器无法知道到底要调用哪个函数。...
2019-12-24 11:06:02
221
2
原创 python基础—10高级特性
一、生成式1、定义生成式就是一个用来快速生成特定语法形式的表达式。列表生成式：用来快速生成列表字典生成式：用来快速生成字典集合生成式：用来快速生成集合2、语法格式（1）普通的语法格式：[exp for iter_var in iterable]（2）带过滤功能语法格式: [exp for iter_var in iterable if_exp]（3）循环嵌套语法格式: [exp ...
2019-12-21 21:53:17
273
原创 python基础—09异常处理
一、什么是异常Error（错误）是系统中的错误，程序员是不能改变的和处理的，如系统崩溃，内存空 间不足，方法调用栈溢等。遇到这样的错误，建议让程序终止。Exception（异常）表示程序可以处理的异常，可以捕获且可能恢复。遇到这类异常， 应该尽可能处理异常，使程序恢复运行，而不应该随意终止异常。常见的异常：AttributeError 、IOError 、ImportError 、In...
2019-12-17 09:50:15
196
原创 python基础—08持久化存储文件操作
一、文件操作1、文件打开使用 open() 函数打开一个已经存在的文件，或者创建一个新文件格式：open(文件名，访问模式)默认的打开方式是’r’f = open('doc/hello.txt', mode='w')（1）如果文件不存在那么创建,如果存在那么就先清空,然后写入数据（2）文件名最好写为绝对路径（3）模式：rwar+w+a+读写追加...
2019-12-16 20:46:57
287
原创 python基础—-07函数
一、函数概述如果在开发程序时,需要某块代码多次, 但是为了提高编写的效率以及代码的重用,所以把具有独立功能的代码块组 织为一个小模块,这就是函数。数学上xf(x)y输入函数输出参数函数返回值在数学上： x f(x) y输入 函数 输出参数 函数 返回值举例一些常用函数：all()函数： 相当于逻辑与，当所有的输入...
2019-12-12 11:44:52
229
原创 python基础—内置数据结构总结（思维导图）
内置数据结构内置数据结构全这个图实在太长。。。。内置数据结构分类1、按照可变不可变类型分类可变：内置方法里可以增加、删除、修改不可变：不可以增加、删除、修改2、按照有序无序分类无序的数据类型不支持：连接、重复、索引、切片...
2019-12-10 10:09:46
581
原创 python基础—06内置数据结构：集合与字典
一、集合集合定义 ：集合（set）是一个无序的不重复元素序列1、集合的创建使用{}，或者set()函数创建set1 = {1,2,3,4}set2 = set()注意：创建一个空集合，必须用 set() ，不能写为 {}，{}是用来定义一个空字典set()其实是将其他类型转成集合集合里可以存放不同数据类型的元素，但是存的必须是不可变类型，所以 不能存放列表2、集合的常用方...
2019-12-10 10:09:21
212
原创 python基础—列表元组作业题
列表和元组作业题1、两数之和"""给定一个数组 nums 和一个目标值 target ,在数组中找出和为目标值的那两个整数，并返回他们的下标可以假设每种输入只对应一个答案，但是不能重复利用数组中同样的元素示例：给定nums = [2,7,11,15] , target = 9输出[0,1]"""nums = [2,7,11,15]target = 9for i in ra...
2019-12-06 09:21:12
1397
原创 python基础—05内置数据结构：列表与元组
一、序列定义：成员有序排列的,且可以通过下标偏移量访问到它的一个或者几个成员序列包括：字符串、列表、元组序列都支持下面的特性：1)索引与切片操作符(s[i],s[i,j])2)成员关系操作符(in , not in)3)连接操作符(+) & 重复操作符(*)字符串和元组都不可变，列表可变二、列表list[]1、列表和数组的区别在c和java中常常会用到数组，但是在pyt...
2019-12-06 09:20:47
273
原创 python基础—字符串作业题
#判断输入的数是否为丑数：只包含质因数：2，3，5的正整数num = int(input("输入一个正整数："))while(num % 2 == 0): num /= 2 #先除2，一直到不能整除为止while(num % 3 == 0): num /= 3 #再除3，到不能整除为止while(num %...
2019-12-04 21:55:51
404
1
原创 python基础—04内置数据结构：字符串
一、字符串的创建和赋值1、字符串（string）是由 数字、字母、下划线组成的一串字符通过 单引号、双引号、三重引号来包含字符来创建：(1)str1 = 'westos'(2)str2 = "python"(3)prompt = """ *******用户登录系统******* （1）用户注册 （2）用户登录 ...
2019-12-03 09:42:40
220
原创 python基础—02基础语法
一、认识变量1、a = 3变量名：a变量值：3 （3存在内存中）赋值：变量a指向值3的内存空间变量命名：由字母，数字，下划线组成，一定不能数字开头2、常见数据类型:整形：1，2，3，4浮点数（小数）：1.23 4.14 3e+10 3e-3(0.003)字符串：‘westos’ 、 ‘小明’3、总结：定义变量不需要指定类型，当用变量的时候，必须要给这个变...
2019-11-27 19:51:00
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人