- 博客(28)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 第三章网页数据的解析提取之BeautifulSoup
1.Beautiful Soup的简介Beautiful Soup是Python的一个HTML或XML的解析库。用它可以方便地从网页中提取数据，其官方解释如下：Beautiful Soup提供一些简单、Python式的函数来处理导航、搜索、修改分析树等功能。2.解析器Beautiful Soup在解析时是依赖解析器的，它除了支持Python标准库中的HTML解析器，还支持一些第三方解析器。如LXML解析器有解析HTML和XML的功能，而且速度快、容错能力强。使用时只需在初始化Beau..
2022-04-11 21:58:28
714
原创 第三章网页数据的解析提取之XPath
XPath即XML路径语言，用来在XML文档中查找信息，同样适用于HTML文档的搜索。1、XPath概览XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外它还提供了100多个内奸函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。2、XPath常用规则 表达式 描述 nodename 选取此节点的所有子节点 / 从当前节点选取直接子节点
2022-03-26 23:54:55
1227
原创 第二章基本库的使用之基础爬虫案例实战
需要爬取的链接为https://ssr1.scrape.center/,这个网站里面包含一些电影信息，要完成的目标有：*利用requests爬取这个站点每一页的电影列表，顺着列表再爬取每个电影的详情页；*用正则表达式提取每部电影的名称、封面、类别、上映时间、评分、剧情简介等内容；*把以上爬取的内容保存为JSON文本文件；*使用多进程实现爬取的加速。首先要定义一些基础的变量，并引入一些必要的库：import requestsimport loggingimport refrom
2022-03-26 23:50:54
848
原创 第二章基本库的使用之httpx
对于强制使用HTTP2.0/协议访问的网站，urllib和requests是无法爬取数据的，因为它们只支持HTTP1.1，不支持HTTP2.0，这时要使用httpx。1、示例https://spa16.scrape.center/就是强制使用HTTP/2.0访问的一个网站，这个网站用requests是无法爬取的，例：import requestsurl = 'https://spa16.scrape.center/'re = requests.get(url)print(re.text)
2022-03-26 23:48:56
702
原创 第二章基本库的使用之正则表达式
正则表达式用来实现字符串的检索、替换、匹配和验证。实例引入https://tool.oschina.net/regex/，该网站可用于常用正则表达式的匹配。例如：匹配中文字符：[\u4e00-\u9fa5]匹配URL的正则表达式：[a-zA-z]+://[^\s]*匹配18位身份证号：^(\d{6})(\d{4})(\d{2})(\d{2})(\d{3})([0-9]|X)$其中a-z代表任意的小写字母，\s代表任意空白字符，*代表匹配前面的任意多个字符，一串正则表达式就是多个匹配规则
2022-01-06 23:20:49
196
原创 第二章基本库的使用之requests的使用
1、准备工作首先要确保安装好requests库，如果尚未安装，可以使用pip3安装：pip3 install requests2、实例引入urllib库中的urlopen方法实际上是以GET方式请求网页，requests库中相应的方法就是get方法，例：import requestsr = requests.get('https://www.baidu.com')print(type(r))print(r.status_code)print(type(r.text))pri
2021-12-29 18:38:48
451
原创 第二章基本库的使用之urllib的使用
第二章爬虫基础之urllib的使用urllib可以实现HTTP请求的发送，还可以把服务器返回的响应转换为python对象。urllib库包含如下4个模块：#request：这是最基本的HTTP请求模块，可以模拟请求的发送。就像在浏览器里输入网址然后按下回车一样，只需要给库方法传入URL以及格外的参数，就可以模拟实现发送请求的过程。#error：异常处理模块。如果出现请求异常，那么我们可以捕获这些异常，然后进行重试或其他操作以保证程序运行不会意外终止。#parse：一个工具模块。提供了许多
2021-12-27 19:36:06
320
原创 《收获，不止SQL优化》重点内容学习笔记（持续更新中。。。）
第一章：Oracle性能报告分为AWR、ASH、ADDM、AWRDD和AWRSQRPT5个类型。1、AWR：了解数据库的整体情况； AWR主要关注的指标有：（1）DB TIME：判断系统有无瓶颈，是否较为繁忙导致等待时间很长。 （2）load_profile：展现当前系统的一些指示性能的总体参数，分析繁忙程度。 （3）efficiency pecentages：一些命中率指标。...
2021-07-10 11:48:35
256
原创 应用程序无法正常启动（0xc0000142）。请单击‘确认’关闭应用程序
今天想打开excel的时候，又碰到了“应用程序无法正常启动（0xc0000142）。请单击‘确认’关闭应用程序”这个报错提示，试着打开Word也出现该错误。以前的解决方法都是卸载掉office重装。 在网上找了好久解决方法，有说用命令行for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1来重新注册...
2019-04-02 22:41:57
60326
15
转载 C#程序调用excel报错：无法打开的文件！服务器出现意外情况
今天在自己电脑上测试C#写的新的打印功能时没有问题，但是同样的安装包安装在另外一台电脑上就报错：无法打开的文件！服务器出现意外情况。（异常来自HRESULT：0x80010105(RPC_E_SERVERFAULT)）。网上查找资料后，发现是由于打印需要调用excel，而excel的COM端口被pdf软件占用，于是报错。解决方法是打开excel，找到“excel选项”，点开后点击“加载项”，最下面...
2019-04-01 22:53:50
2134
转载 Windows403错误和服务器不能共享文件夹或者共享后不能访问的问题
今天下午更新程序，想发布在安装windows server的服务器上，结果一直报403的错，找了一下午原因，最后发现是由于IIS的设置问题，在IIS管理器的"功能"视图上，双击“目录浏览”，然后点击“启用”，问题就解决了，百度经验也有相关描述，https://jingyan.baidu.com/article/219f4bf7df5c86de442d388d.html。并且在网上找到一篇有关不能共...
2019-03-31 22:06:38
391
原创 图（二）
图图的最小生成树：普里姆算法：从一个顶点出发，选路径最小的线连接下个顶点，再从下个顶点出发选路径最小的线，直到所有的顶点都连上。克鲁斯卡尔算法：先画出所有的顶点，再选择顶点间路径最小的线相连，直到所有顶点都连上，注意选择的线不能使顶点间构成环。图的几个基本概念：拓扑排序：求拓扑序列的过程，反映工程完成的先后。AOV网络：把用有向边表示活动之间开始的先后关系的有向
2018-06-13 16:22:27
166
原创 Linux基础入门（一）——操作系统及服务器简介
1.1.1 计算机系统组成：1、硬件系统：1）主机：中央处理器（运算器、控制器）、内存储器；2）外设：输入设备（键盘、鼠标、扫描仪）、外存储器（磁盘、光盘）、输出设备（显示器、打印机、绘图仪）、通信设备（网卡、调制解调器）；2、软件系统：1）系统软件（语言处理程序、操作系统、数据库管理软件、服务程序）；2）应用软件（应用软件包、用户应用程序）1.1.2 存储设备存储的作用：针对所采集的信息进行科学...
2018-05-30 23:24:28
893
原创 Oracle常见错误和处理方法（二）
ORA-01843：无效的月份问题描述：运行程序时报错，错误报告：ORA-01843：无效的月份错误原因：月份格式不对，比如因为客户端是中文环境，格式为‘01-Jan-1999’中的Jan就不能用英文的月份写法解决方法：使用alter session命令将nls_date_language修改为american，命令如下： alter session set nls_date_languag...
2018-02-26 15:40:49
459
原创 Oracle常见错误和处理方法（一）
Oracle数据库对于常见的错误都会有报错提示，工作的这一年也碰到了一些错误，踩过一些坑，感谢那些前辈分享的问题和处理方案，正好这几天临近过年不太忙碌，就将一些错误描述，错误原因和解决方法整理后分享给大家，大都来源于其他博客和网站，绝大部分经过测试有效。如有疑问和指正，感谢提及。ORA-00001：违反唯一约束条件：错误描述：大都是在向一个表中插入数据时报错。错误原因：插入的数据中涉及到有唯一约束...
2018-02-12 15:44:09
2755
原创 图（一）
图：基本概念：一个图是由两个集合：V和E所组成的，V是有限的非定顶点集合，E是用顶点对表示的边（edge）集合，图G的顶点集和边集分别记为V（G）和E（G），而将图G表示为G=（V，E），也就是说，决定一个图需要知道它的顶点集合和边的集合。无向图：边不带方向，表示为 （注意是方括号）有向图：边带方向，表示为（B，C）（注意是圆括号）度：一个顶点关联的边的数量入度：进到顶
2017-09-15 22:06:06
343
原创 树和二叉树（二）
树和二叉树（二）今天介绍一下常见的二叉树：二叉排序树（查找二叉树）定义：一棵查找二叉树要么是一棵空树，要么满足以下条件：1、查找树的左右子树各是一棵查找树；2、若查找树的左子树非空，则其左子树的各结点值均小于根结点值；3、若查找树的右子树非空，则其右子树的各结点值均大于根结点值；基本操作：查找；插入结点；删除结点查找：就是从根结点开始与键值（key）比较，若键值
2017-09-12 22:17:51
529
原创 树和二叉树（一）
树和二叉树需要知道的基本概念：结点、 结点的度、树的度、叶子结点、分支结点、内部结点、父结点、子结点、兄弟结点、层次。公式：总结点 n = 总度数d + 1树的遍历：前序：先访问根结点，再从左到右访问叶子节点后序：先从左到右访问叶子节点，再访问根结点层次：从根开始一层层访问
2017-09-11 20:43:58
193
原创 使用PL/SQL内置的DBMS_SQL包执行动态SQL
DBMS_SQL允许我们对动态游标中的列进行描述，以记录的关联数组形式返回每列的信息。该功能为通用游标处理代码提供了可能性。当我们调用该程序时，需要声明基于DBMS_SQL.DESC_TAB集合类型的PL/SQL集合，（或者DESC_TAB2，如果我们的查询返回长度大于30字符的列名称）。我们可以使用集合方法遍历该表，并提取有关该游标的所需信息。以下匿名块显示了在使用该内置功能时的基本步骤
2017-09-10 11:02:30
919
原创 对使用动态SQL的几点建议
NDS建议对共享程序使用调用者权限在动态SQL中使用AUTHIDCURRENT_USER子句，来实现调用者模型。例子：PROCEDUREexec_DDL(ddl_string IN VARCHAR2)AUTHID CURRENT_USERISBEGINEXECUTEIMMEDIATE ddl_string;END; 预测并处理动态错误当我们进行大量的
2017-09-09 08:30:26
297
原创 动态SQL中的绑定变量——参数模式、占位符以及NULL值的处理
今天接着来学习DNS语句（原生动态SQL），学习有关绑定变量或绑定参数的使用规则。参数模式绑定参数可以有3种模式：IN 只读值（默认模式）OUT 只允许写IN OUT 可以读取输入的值，也可以把值传递出去当我们执行动态S查询时，所有绑定参数必须是IN模式，除非我们使用的是RETURNING子句，如下所示：PROCEDU
2017-09-07 16:43:57
3913
原创 动态SQL中使用Open for语句
Open for本是为了支持游标变量，现在用它实现多行动态查询。OPEN FOR的语法如下：OPEN{cursor_variable | :host_cursor_viable}FOR SQL_string [USING bind_argument [, bind_argument]…];解释：Cursor_variable是一种弱类型的游标变量。
2017-09-06 19:35:55
19134
原创 动态SQL(nds语句)中的execute immediate语句
使用原生动态SQL（NDS）时，可以使用EXCUTE IMMEDIATE语句来立即执行指定的SQL语句，语法如下： EXECUTEIMMEDIATE SQL_string [[ BULK COLLECT ] INTO {define_variable[, define_variable]… | record} ]
2017-09-05 19:37:05
2317
原创 《SQL必知必会》学习笔记
第一次开始写博客，内容为最近看的《SQL必知必会》这本书里截取的些许知识。虽难登大雅之堂，但初踏技术之路，开始和大家分享点滴，也算是程序人生的一个起步了。需要的表结构和数据的下载地址为：http://download.csdn.net/download/keven2840/9963811以下语句适用于Oracle数据库，测试执行通过。//使用order by排序时，可以将表名用数字当做序号代替SE
2017-09-04 18:34:44
390
《SQL必知必会》书本所需的表结构和表数据，适用Oracle数据库
2017-09-04
求教连接mysql数据库的一个问题
2016-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人