mercycrazy-CSDN博客

原创 python爬虫准备

一、什么是爬虫：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来，然后使用一定的规则提取有价值的数据。二、准备工具：安装Python：下载地址：https://www.python.org/或者使用Anaconda：https://www.anaconda.com/哪个软件无所谓，只要是Python3.6以上的版本就可以了。安装Pycharm：Pycharm Commnity（社区版）：对于不需要做web开发，不需要使用Professional（专业版），使用

2020-09-11 10:45:21 264

原创 python爬虫之Scrapy框架

Scrapy框架：写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。安装Scrapy框架：pip install scrapy。可能会出现问题：在ubuntu下要先使用以下命令安装依赖包：sudo ap

2020-09-11 10:12:50 299

原创 python爬虫进阶（二）：动态网页爬虫

动态网页爬虫什么是动态网页爬虫和AJAX技术：动态网页，是网站在不重新加载的情况下，通过ajax技术动态更新网站中的局部数据。比如拉勾网的职位页面，在换页的过程中，url是没有发生改变的，但是职位数据动态的更改了。AJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。前端与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须

2020-09-11 10:12:11 276

原创 python爬虫进阶（一）：多线程

多线程：什么是多线程：理解：默认情况下，一个程序只有一个进程和一个线程，代码是依次线性执行的。而多线程则可以并发执行，一次性多个人做多件事，自然比单线程更快。官方：https://baike.baidu.com/item/多线程/1190404?fr=aladdin如何创建一个基本的多线程：使用threading模块下的Thread类即可创建一个线程。这个类有一个target参数，需要指定一个函数，那么以后这个线程执行的时候，就会执行这个函数的代码。示例代码如下：import timeim

2020-09-11 10:11:36 206

原创 python爬虫之数据存储（四）：MySQL数据库

MySQL数据库操作MySQL数据库安装：下载地址：https://dev.mysql.com/downloads/windows/installer/5.7.0.html如果提示没有.NET Framework框架。那么就在提示框中找到下载链接，下载一个就可以了。如果提示没有Microsoft Virtual C++ x64(x86)，那么百度或者谷歌这个软件安装即可。Python连接MySQL数据库：pip install pymysql连接代码：db = pymysql.conne

2020-09-11 10:10:47 254

原创 python爬虫之数据存储（三）：JSON字符串处理

JSON字符串处理：什么是JSON字符串：JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。更多解释请见：https://baike.baidu.com/item/JSON/2462549?fr=a

2020-09-11 10:10:13 410

原创 python爬虫之数据存储（二）：Excel文件处理

Excel文件处理：Sheet相关的操作：workbook = xlrd.open_workbook("成绩表.xlsx")# 获取所有的sheet名字# print(workbook.sheet_names())# 根据索引获取指定的sheet对象# sheet = workbook.sheet_by_index(1)# print(sheet.name)# 根据名称获取指定的sheet对象# sheet = workbook.sheet_by_name("2班")# print

2020-09-11 10:09:15 596 1

原创 pyhton爬虫之数据存储（一）：CSV文件处理

CSV文件处理：CSV文件读取的两种方式：import csv# 这种方式读取到的每一条数据是一个列表，所以需要通过下标的方式获取具体某一个值# with open("stock.csv",'r',encoding='gbk') as fp:# reader = csv.reader(fp)# for x in reader:# print(x[3])# 这种方式读取到的每一条数据是一个字典，所以可以通过列名获取数据with open("stock.cs

2020-09-11 10:02:31 838

原创 python爬虫之数据解析（三）：正则表达式

正则表达式：单字符匹配：# 匹配某个字符串：# text = "abc"# ret = re.match('b',text)# print(ret.group())# 点（.）：匹配任意的字符(除了'\n')：# text = "\nabc"# ret = re.match('.',text)# print(ret.group())# \d：匹配任意的数字：# text = "aab"# ret = re.match('\d',text)# print(ret.group(

2020-09-11 10:01:15 294

原创 python爬虫之数据解析（二）：XPath语法和lxml模块

XPath语法和lxml模块什么是XPath？xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。XPath开发工具Chrome插件XPath Helper。安装方法：打开插件伴侣，选择插件选择提取插件内容到桌面，桌面上会多一个文件夹把文件夹放入想要放的路径下打开谷歌浏览器，选择扩展程序，开发者模式打开，选择加载已解压的扩展程序，选择路径打开即可Firefox插件Try XPath。XPa

2020-09-11 10:00:32 404

原创 python爬虫之数据解析（一）：BeautifulSoup4库

BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。安装和文档：安装：pip install bs4中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html几大解析工具对比：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qiAU6oRI-159978955168

2020-09-11 10:00:02 342

原创 python爬虫之网络请求

网络请求1.urllib库 —内置urlopen函数：创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。url：请求的url。data：请求的data，如果设置了这个值，那么将变成post请求。返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类文件句柄对象。有read(size)、readline、readlines以及getcode等方法。urlretrieve函数：这个函数可以方便的将网页上的一个文件保存到

2020-09-11 09:58:52 748

原创微信小程序轻松入门（三）

那么，承接上一篇的内容，我们继续来学习微信小程序。需要一提的是，在微信小程序的开发和学习过程，不断地查阅文档是非常重要的，小程序的官方文档写的非常详细，所以我在很多地方没有过多介绍，而是附上了文档链接，希望读者能养成自行查阅文档的习惯。话不多说，今天的学习之旅就要开始了，各位看官准备好了吗？六、自定义组件微信提供了自定义组件的功能参考https://developers.weixin.qq.com/miniprogram/dev/framework/custom-component/1. 定

2020-08-07 15:34:47 1024

原创微信小程序轻松入门（二）

那么，承接上一篇的内容，我们继续来学习微信小程序。需要一提的是，在微信小程序的开发和学习过程，不断地查阅文档是非常重要的，小程序的官方文档写的非常详细，所以我在很多地方没有过多介绍，而是附上了文档链接，希望读者能养成自行查阅文档的习惯。话不多说，今天的学习之旅就要开始了，各位看官准备好了吗？四、组件内置组件就是微信定义的具有特殊功能的标签，在wxml中只能使用微信提供的组件标签1. 常用组件<view>用于页面布局的块级组件，类似于html中的div<text

2020-08-03 21:41:18 398

原创微信小程序轻松入门教程（一）

之前发表了JavaScript小白入门笔记、HTML小白入门笔记、CSS小白入门笔记，其实都是为了这一个激动人心的时刻打下基础，从这篇开始我将正式入坑微信小程序开发，详细整理从入门到进阶的一系列教程，同时教程中也会附上实战项目的源码下载链接。当然如果你还没有学过HTML、JavaScript、CSS，建议你先关注我的博客阅读或搜索我的ID号关注（ID：zdfsb 当然不要把关注重点放在我的ID号上，虽然我也很想改掉它????????），这能帮助你更快、更容易地掌握微信小程序的开发。那么话不多

2020-08-01 19:19:45 3466

原创 JavaScript小白入门笔记（三）

七、事件处理1. 简介事件：发生在HTML元素上的事情，可以是用户的行为，也可以是浏览器的行为，如用户点击了某个HTML元素用户将鼠标移动到某个HTML元素上用户输入数据时光标离开页面加载完成事件源：事件触发的源头，即触发事件的元素，如按钮、输入框、超链接等事件对象：当一个事件发生时，这个事件相关的详细信息会被保存到一个对象中，称为event对象事件监听：监听事件的发生，绑定事件函数，当事件被触发后执行该事件函数，即回调函数2. 绑定事件两种方

2020-07-31 23:43:55 279

原创 JavaScript小白入门笔记（二）

五、复合类型1. String1.1 定义方式语法：var str = 'welcome'; // 基本数据类型stringvar str = new String('welcome'); // 引用数据类型String 使用length属性获取字符串的长度1.2 常用方法方法描述charAt(index)返回在指定索引位置的字符，也可使用 [索引] 的方式indexOf(字符串,index)返回某个指定的字符串值在字符串中首次出现的位置las

2020-07-31 23:36:22 341

原创 JavaScript小白入门笔记(一)

一、JavaScript简介1. 什么是JavaScript JavaScript简称为JS，由网景公司开发的客户端脚本语言，不需要编译，可以直接运行 Web前端三层：结构层 HTML 定义页面的结构样式层 CSS 定义页面的样式行为层 JavaScript 用来实现交互，提升用户体验2. JavaScript的作用在客户端动态的操作页面在客户端做数据的校验在客户端发送异步请求二、引用方式1. 内联方式在页面中使用script标签，在script标签的标签体中编写j

2020-07-31 23:32:06 309

原创 CSS小白入门笔记

一、CSS简介1. 什么是CSS CSS：Cascading Style Sheet 层叠样式表是一组样式设置规则，用于控制页面的外观样式2. CSS作用页面外观美化布局和定位二、基本用法1.CSS语法<head> <style type="text/css"> 选择器{ 属性名:属性值; 属性名:属性值; } </style></head>选择器：要修饰的对象（东西）属性名：

2020-07-28 23:52:38 406 1

原创初识Git

一、版本控制系统1. 简介 Version Control System，简称为VCS，版本控制系统是一种记录一个或多个文件的内容变化，以便将来查阅特定版本的内容变化情况的系统。简单来说，就是用来保存文件内容变更记录的系统，可以将文件回退到过去某个时间点的状态。2. 作用查阅文件的修改记录，如：修改者、修改时间、修改的文件内容等对比不同版本中文件的变化细节将文件回溯到之前的某个状态3. 种类版本控制系统的种类：本地版本控制系统版本库存放在本地磁盘上缺点：无法协同

2020-07-27 17:55:11 191

原创 HTML小白入门笔记

一、HTML简介1. HTML是什么 HTML：Hyper Text Markup Language超文本标签语言由各种标签组成，用来制作网页，告诉浏览器该如何显示页面2. 版本 W3C：World Wide Web Consortium万维网联盟，制定Web技术相关标准和规范的组织，HTML就是W3C制定的标准两个版本：HTML4.01、HTML5 官网：http://w3school.com.cn/3. 后缀名 HTML文件以 .html 为后缀二、HTML文档结构

2020-07-27 17:44:18 1929

原创 JDBC访问数据库操作详解（四）之三层架构：以MySQL为例

JDBC访问数据库操作详解（四）之三层架构：以MySQL为例1. 三层架构简介三层架构是一种程序设计结构，使用分层式结构将整个应用拆分为三层表示层业务逻辑层数据访问层分层的目的：实现高内聚、低耦合每一层分工明确，相互独立，任意一层发生修改都不影响其他层每一层中都不应该出现其它层的技术2. 三层2.1 表示层表示层，也称为显示层（View）用于实现系统和用户进行数据交互向用户展示数据，如控制台、网页、导出文件等接

2020-07-25 17:38:54 1461

原创 JDBC访问数据库操作详解（三）之数据库连接池：以MySQL为例

JDBC访问数据库操作详解（三）之数据库连接池：以MySQL为例1. 数据库连接池简介传统获取数据库连接的方式存在的问题：每一次获取连接时都需要向数据库发送请求建立连接，耗时、效率低访问结束后会断开与数据库的连接，下次访问时需要重新建立连接并发访问量较大时，网站性能会受到很大的影响安全性和稳定性相对较差使用连接池技术：原理：创建一个连接池pool，在该连接池创建时，会先向数据库申请建立多个连接（初始连接数），当用户需要连接时直接从连接池中获取即可访问结束后会将连接归还给连接池，可

2020-07-25 09:35:59 349 1

原创 JDBC访问数据库操作详解（二）之JDBC更多用法：以MySQL为例

JDBC访问数据库操作详解（二）之JDBC更多用法：以MySQL为例一、返回主键：保存数据后返回生成的主键利用Connection.preparedStatement()的重载方法PreparedStatement preparedStatement(String sql, int autoGeneratedKeys) throws SQLException,该方法创建一个默认的PreparedStatement对象，该对象具有检索自动生成的键的能力。int autoGeneratedKeys——指

2020-07-24 15:24:36 167

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

小王@Note的博客