- 博客(18)
- 收藏
- 关注
RSS订阅原创 Promise请求
* Promise请求function queryData(url){ var p = new Promise(function(resovle,reject){ var xhr = new XMLHttpRequest(); xhr.onreadystatechange = function(){ if(xhr.readyState !=4) return; if(xhr.readyState == 4 && xhr.status == 200...
2020-05-26 10:20:33
315
原创 xhr
xhr数据请求流程1.前端初始化xhr对象，设置请求方法：get方法，post方法，form方法， 以及请求接口 open() 此时xhr.readyState=0开始发送数据到后台 send()<body> <button onclick="get()">xhr之get请求</button> <button onclick=...
2018-09-03 19:44:24
1004
原创 Windows上node.js的安装与使用
一、node.js的下载与安装1.下载网址:http://nodejs.cn/download/ ，你可以根据不同平台系统选择你需要的Node.js安装包，我这里下载的是windows64位的.msi安装程序，其他系统的安装步骤请看菜鸟教程：http://www.runoob.com/nodejs/nodejs-install-setup.html，2.下载完成之后运行傻瓜包，一路下一...
2018-08-29 21:42:43
274
原创 Python之分布式爬虫的实现步骤
什么是分布式爬虫？默认情况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他电脑无法访问另一台电脑上的内存中的内容。分布式爬虫是一个用共同的爬虫程序，同时部署到多台电脑上运行，这样可以提高爬虫速度，实现分布式爬虫。今天我就来给大家讲一下使用scrapy_redis实现分布式爬虫第一步：创建一个scrapy...
2018-08-29 18:48:18
3325
原创 python之windows中redis数据库的安装
Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis 与其他 key - value 缓存产品有以下三个特点： 1.Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 2.Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储...
2018-08-14 10:22:00
555
原创 python之如何发送邮件
今天来讲一下python如何发送邮件，以163和qq邮箱为例。要想实现使用python代码发送邮件，邮箱必须开启POP3/SMTP协议，开启之后邮箱会给你生成一个授权码注意：这个授权码一定要记住，以后使用代码实现发送邮件登陆的时候，使用的都是这个授权码qq邮箱的POP3/SMTP协议开启在 设置>>账户 中163邮箱的POP3/SMTP协议开启方式与qq...
2018-08-11 17:49:17
646
原创 Python phantomjs
PhantomJS是一个可编写脚本的无头网页浏览器。它运行在Windows，macOS，Linux和FreeBSD上。使用QtWebKit作为后端，它为各种Web标准提供快速和本机支持：DOM处理，CSS选择器，JSON，Canvas和SVG，PhantomJS的用处可谓非常广泛，诸如网络监测、网页截屏、无需浏览器的 Web 测试、页面访问自动化等。在python中经常用来获取动态数据...
2018-08-09 20:27:04
713
原创 Python MySQL的安装
MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库MySQL的下载地址：https://www.mysql.com/downloads/下面我们就来讲一下MySQL的安装第一步：打开下载好的安装包，等...
2018-08-09 10:41:30
399
原创 Python 获取网页标签中的全部文本的几种方法
上一篇文章讲述了一下scrapy框架的安装与简单使用，今天呢，就基于scrapy框架来给大家讲述一下如何获取网页标签中的全部文本。首先创建一个scrapy框架项目，至于如何创建，不知道的小伙伴们请看我的上一篇文章。目标是百度贴吧，目标网址：https://tieba.baidu.com/p/4685013359要求是获取发的帖子，当然只要文本。打开爬虫文件，开始爬取内容# -...
2018-08-04 10:39:02
21288
2
原创 Pthon Scrapy框架的安装与使用
网络爬虫，是在网上进行数据爬取的程序，使用它能够抓取特定网页的html数据，我们可以在一个py文件中引入一个又一个的模块来进行爬取，但使用框架可以更快速的来帮助我们爬取数据，提高爬取效率。Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。今天这篇文章就来讲讲scrapy的安装与scrapy的一些简单的语法一、scrapy安装：这里介绍...
2018-08-01 22:28:08
619
原创 python 数据库操作
实际开发过程当中，数据的存储过程主要有三种：1.将数据存储到内存当中优点：使用方便，读写速度快 缺点：程序关闭的时候 内存释放 数据消失 2.将数据写到文件当中 优点：数据存储是永久性的，不易丢失 缺点：打开关闭文件 操作数据比较麻烦3.将数据存储到数据库当中优点：数据存储是永久性的，操作也比较方便 缺点：数据库学习难度比较大 数据库按照性质分为两大类： ...
2018-07-30 22:23:53
172
原创 python bs4 BeautifulSoup用法
上一篇文章讲了一些xpath的基本用法，现在来介绍一下bs4，bs4也是一个第三方库 需要引入，bs4是 第三方库 和xpath作用一样，都是用来解析html数据，相比之下，xpath的速度会快一点，xpath底层是用c来实现的引入语法：from bs4 import BeautifulSoup1.bs4的简单的语法,不多说，直接上代码：本地创建一个html文件index.ht...
2018-07-30 21:49:09
698
原创 python xpath用法
xpath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但xpath明显比re具有优势，在网页分析上使re退居二线。xpath的简单用法：import requests# 引入xpath模块from lxml import etreeurl ='http://www.qiushibaike.com/hot/page...
2018-07-30 21:07:35
5125
1
原创 python txt文件，xls文件，csv文件的创建
这篇文章主要讲一下txt文件，xls文件，csv文件的创建与读写操作一、txt文件f = open('文件名','操作r 读，w写，a添加',encoding='utf-8')值1：写入的文件 如果有这个文件就直接写入，没有这个文件就创建值2：对文件操作的方式 w 表示write 写入值3： 文件的编码方式 utf-8防止乱码出现# 文件写操作f = open('text....
2018-07-30 19:55:05
3434
原创 Python selenium安装与应用
今天来给大家介绍一下selenium的安装与使用一、首先介绍一下selenium：python中常用selenium爬取动态渲染网页，selenium是一个自动化测试工具，在python中应用为：1. selenium可以完全模拟浏览器操作，对动态数据进行获取，动态数据是由代码生成，在页面初始化的过程当中是没有的，也没法获取，但是可以通过selenium来进行获取2.有些数据是需要进行...
2018-07-30 19:15:13
222
原创 Python爬取糗事百科
上一篇文章简单介绍了一下正则的基本语法，今天这篇文章就讲一个用正则来爬取糗事百科的例子一、引入模块因为urlopen功能比较简单，所以设置代理ip需引入ProxyHandler和build_opener模块，ip的获取可以上西祠代理查询import refrom urllib.request import Request,build_opener,ProxyHandlerbase...
2018-07-30 10:04:20
362
原创 Python正则表达式
最近花时间学习了些简单的正则知识，我将了解到的知识总结在本文中，希望对大家有所帮助什么是正则表达式：正则表达式可以判断字符串是否符合特定的要求，我们可以通过正则表达式来从字符串中获取我们想得到的特定的部分正则表达式 由一些普通字符和一些元字符（metacharacters）组成。普通字符包括大小写的字母和数字，而元字符则具有特殊的含义，下面我给出一些元字符的表达的含义：\d 表示...
2018-07-18 21:42:01
123
原创 写Python的时候遇到的一些常见的错误
1.SyntaxError: 'return' outside function解决:将return放在方法体中return不能在方法以外使用2. TypeError: must be str, not int类型错误 必须是一个字符串 不能是数字解决办法:使用+拼接的时候 必须使用字符串，或者将数字转化成字符串3.SyntaxError: invalid syntax语法错误...
2018-07-10 21:32:14
450
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人