- 博客(1162)
- 资源 (47)
- 收藏
- 关注
RSS订阅
原创 【个人书籍】《Spring MVC+MyBatis开发从入门到项目实战》
《Spring MVC+MyBatis开发从入门到项目实战》书 号：978-7-121-33390-3出版日期：2018-01-29书籍特色：· 经验多：百万访问量博主倾囊相授，带你走进Web开发的方方面面。· 零基础：从简单的样例做起，逐渐深入技术核心。· 内容全：涵盖Spring MVC与MyBatis的33个技巧，56个实例。· 重实战：与真实项目案例相结合，深入实战开发的5层架构。...
2019-09-06 21:32:19
2450
7
原创 关于本技术博客的声明
每天不定时发表技术总结文章，这些都是我在学习IT技术的时候总结的，因为开源精神，我会将总结好的文章不定时发到博客上来。由于工作繁忙，加上编写博文时需要调试相关代码，并进行验证和总结，所以一些博文是先编写后可能隔一段时间后再发，所以有些系列可能会更的慢一些，不过一般都会坚持保持周更。希望我的技术总结能解决大家技术上的一些问题，也希望大牛们多多指教！所有标注"原"(即原创)的文章，全部是...
2015-02-02 16:58:18
2851
21
原创 【Python从入门到进阶】52、CrawlSpider链接提取器的使用
CrawlSpider是Scrapy框架中的一个特殊爬虫类型，它主要用于处理需要遵循特定规则和链接提取的网站。通俗地说，CrawlSpider就像一个智能的探险家，它按照我们设定的规则（Rule）在网页上“探险”，自动跟踪链接、提取信息，并将这些信息收集起来供我们使用。
2024-04-01 00:30:34
1163
原创 【Python从入门到进阶】51、电影天堂网站多页面下载实战
上一篇我们讲解了使用Scrapy框架在当当网抓取多页书籍数据的效果，本篇我们来抓取电影天堂网站的数据，同样采用Scrapy框架多页面下载的模式来实现。
2024-03-24 21:00:34
1521
1
原创 【Python从入门到进阶】50、当当网Scrapy项目实战（三）
上一篇我们讲解了的Spider与item之间的关系，以及如何使用item，以及使用pipelines管道进行数据下载的操作，本篇我们来讲解Scrapy的多页面下载如何实现。
2024-03-10 17:18:28
1125
原创 【Python从入门到进阶】49、当当网Scrapy项目实战（二）
上一篇我们正式开启了一个Scrapy爬虫项目的实战，对当当网进行剖析和抓取。本篇我们继续编写该当当网的项目，讲解刚刚编写的Spider与item之间的关系，以及如何使用item，以及使用pipelines管道进行数据下载的操作。
2024-02-25 16:09:40
955
1
原创 【Python从入门到进阶】48、当当网Scrapy项目实战（一）
本篇我们将正式开启一个Scrapy爬虫项目的实战，对当当网进行剖析和抓取，在实战过程中学习spider、item、pipelines等组件类的使用。
2024-01-28 19:32:23
873
原创 【Python从入门到进阶】47、Scrapy Shell的了解与应用
Scrapy Shell可以在未启动spider的情况下尝试及调试我们的爬取代码。其本意是用来测试提取数据的代码，不过我们可以将其作为正常的python终端，在上面测试任何的Python代码。该终端是用来测试xPath或css表达式，查看他们的工作方式及从爬取的网页中提取的数据。在编写我们的spider爬虫时，该终端提供了交互性测试我们的表达式代码的功能，免去了每次修改后运行spider的麻烦。旦熟悉了scrapy终端后，我们会发现其在开发和调试spider时发挥的巨大作用。
2024-01-21 17:29:19
1203
原创 【Python从入门到进阶】46、58同城Scrapy项目案例介绍
上一篇我们学习了Scrapy框架的核心组件的使用。本篇我们进入实战第一篇，以58同城的Scrapy项目案例，结合实际再次巩固一下项目结构以及代码逻辑的用法。
2024-01-07 15:33:01
1180
原创 【Python从入门到进阶】45、Scrapy框架核心组件介绍
上一篇我们学习了Scrapy框架的基础介绍以及环境的搭建，本篇我们来学习一下Scrapy框架的核心组件的使用。包括引擎（Scrapy Engine）、调度器（Scheduler）、爬虫器（Spiders）、管道（Item Pipeline）、下载器（Downloader）、数据容器（item）等
2023-12-24 21:43:43
935
原创 【Python从入门到进阶】44、Scrapy的基本介绍和安装
Scrapy框架具有简单易用、高效稳定、功能强大等特点，它采用了异步IO和事件驱动的设计模式，使得其可以轻松地处理大量并发请求，提高抓取效率。同时，Scrapy框架还提供了丰富的数据处理和输出功能，方便用户进行数据清洗、分析和可视化等工作。
2023-12-17 12:24:09
922
原创 【Python从入门到进阶】43.验证码识别工具结合requests的使用
上一篇我们通过requests的session方法，带着原网页登录后的Cookie进入个人中心，访问到了登录后的界面数据。但是，我们在登录的过程中，对于验证码的识别，是先下载相关图片然后人工输入进行校验的，没有通过程序自动识别验证码。本篇我们来学习如何识别图片验证码，以及调用第三方工具自动识别图片验证码。
2023-12-03 11:38:39
1649
原创 【Python从入门到进阶】42、使用requests的Cookie登录古诗文网站
上一篇我们介绍了requests代理的基本使用，本篇我们来学习如何利用requests的Cookie登录古诗文网。
2023-11-19 16:56:11
322
原创 【Python从入门到进阶】41、有关requests代理的使用
在网络爬虫和数据抓取的过程中，在某些情况下，直接发送请求可能会受到限制或被阻止，这时就需要借助代理来完成任务。代理在网络通信中起到中间人的作用，它代表我们与目标服务器建立连接并传递请求和响应。通过使用代理，我们可以隐藏真实的IP地址、绕过访问限制，并增加请求的匿名性。Python中的requests库提供了便捷且强大的功能来处理HTTP请求，并且支持代理的配置。本篇博客将重点介绍如何在Python中使用requests库来利用代理进行网络请求。
2023-11-05 15:33:56
2670
原创 【Python从入门到进阶】40、requests的基本使用
大家在前面的学习中，访问网络服务基本上一直使用的都是urllib库，而这个requests库和urllib库的作用十分相似，都是用于发送HTTP请求、读取和解析网页内容等场景，但是他们也有一些本质上的区别。requests库更加简洁和易于使用。它提供了简单而直观的API，使得发送HTTP请求变得非常简单。相比之下，urllib库的接口相对复杂，需要编写更多的代码来完成同样的任务。
2023-10-28 11:30:46
292
原创 【Python从入门到进阶】39、使用Selenium自动验证滑块登录
本篇我们使用selenium做一些常见的复杂验证功能，首先我们来讲解如何进行滑块自动验证的操作。图片识别技术主要使用的技术是cv2库
2023-10-14 17:42:11
15085
22
原创 【Python从入门到进阶】38、selenium关于Chrome handless的基本使用
Chrome Headless是一个无界面的浏览器环境，它是Google Chrome浏览器在59版本之后新增的一种运行模式。与传统的浏览器不同，Chrome Headless可以在后台执行网页操作，而无需显示可见的用户界面。Chrome Headless提供了一种方便的方式来进行自动化测试、网络爬虫和数据抓取等任务。它通过模拟用户在浏览器中的行为，实现了对网页的自动化操作和交互。在执行过程中，Chrome Headless可以访问和操纵网页的DOM结构、执行JavaScript代码、提交表单、点击按钮
2023-10-06 15:16:42
2142
原创 【Python从入门到进阶】37、selenium关于phantomjs的基本使用
Selenium通常需要一个真实的浏览器窗口来执行测试或爬虫任务。这就意味着它会打开一个可见的浏览器窗口，这可能不是理想的选择，因为大部分同学都希望在后台运行这些自动化任务。而PhantomJS通过提供无界面浏览器的功能，解决了Selenium直接使用的一些缺点。它能够在后台执行任务，加快执行速度，并且占用较少的内存资源。这使得PhantomJS成为一个强大的工具，适用于自动化测试、网络爬虫、屏幕截图等各种应用场景。
2023-09-23 12:59:41
739
原创 【Python从入门到进阶】36、Selenium 动作交互
动作操作在爬虫领域具有重要的作用和意义。虽然传统的爬虫主要关注数据的抓取和解析，但随着网站的逐渐发展和演变，越来越多的网页采用了动态加载、异步加载或基于 JavaScript 的交互式元素。在这种情况下，传统的静态页面爬取方法可能无法获取到完整的数据或准确的页面状态。而动作操作则可以模拟人类用户与网页的交互行为，使爬虫能够处理这些动态页面并正确获取所需的数据。
2023-09-17 20:19:36
554
原创 【Python从入门到进阶】35、selenium基本语法学习
Selenium元素通过定位和访问网页上的元素，可以模拟用户与网页的交互操作，通过访问和操作元素，自动执行各种操作，如点击按钮、输入文本、填写表单、选择下拉框等用户界面操作，从而完成各种网页任务。
2023-09-09 20:26:51
1333
原创 【Python从入门到进阶】34、selenium基本概念及安装流程
Selenium是一种用于自动化Web浏览器操作的开源工具。它提供了一组API（应用程序接口），使开发人员能够使用多种编程语言（如Python、Java、C#等）来控制浏览器的行为。本篇博客我们来了解Selenium的基本概念，并且安装Selenium，编写一个简单的自动化脚本。
2023-09-01 21:12:49
1167
原创 【Python从入门到进阶】33、使用bs4获取星巴克产品信息
上一篇我们介绍了BeautifulSoup的基本概念，以及bs4的基本使用，本篇我们来使用bs4来解析星巴克网站，获取其产品信息。
2023-08-27 11:29:12
509
原创 【Python从入门到进阶】32、bs4的基本使用
BeautifulSoup可以处理不规则标记、修复糟糕的HTML和提供简单的遍历和搜索功能。使用BeautifulSoup，可以通过标签名称、属性值和文本内容等条件来搜索文档元素，并提取所需的数据。通过BeautifulSoup，可以轻松地提取文档中的数据，例如标题、段落、链接、表格等。您还可以通过遍历树状结构，定位某个特定元素、获取其属性值以及修改文档内容。
2023-08-20 18:36:38
419
原创 【杂谈】电脑城的消失：时代变迁中的一段峡谷
在过去很长一段时间里，想要购买电子设备都逃不开一个叫“电脑城”的地方，那里鱼龙混杂良莠不齐，是令许多人记忆深刻分外难忘之处。但是随着时代发展电商兴起，采用传统线下销售的电脑城却逐渐衰退甚至面临消失，对此你怎么看？你觉得电脑城的衰退是好是坏呢？
2023-08-11 10:17:26
296
原创 【Python从入门到进阶】31、使用JSONPath解析淘票票网站地区接口数据
淘票票网站的地区接口数据具有嵌套的JSON结构，其中包含不同层级的地区信息。通过解析这样的复杂数据结构，童鞋们可以学习如何处理和导航嵌套的JSON数据，并运用JsonPath表达式从中提取特定字段或信息。
2023-08-05 16:55:18
932
2
原创 【Python从入门到进阶】30、JSONPath的介绍和使用
JSONPath是一种用于在JSON（JavaScript Object Notation）数据中定位和提取特定元素的查询语言。它类似于XPath对XML的作用，可以帮助我们轻松地按照特定的路径表达式从复杂的JSON结构中获取所需的数据。通过使用JSONPath，开发人员可以更有效地处理和解析JSON数据，同时减少冗余代码和手动遍历的工作量。它在Web开发、API集成、数据转换等领域具有广泛的应用。
2023-07-29 13:15:00
3819
原创 【Python从入门到进阶】29、xpath抓取站长素材图片
我们本次需要利用python的urllib+xpath技术，抓取站长之家首页大概有40张左右的图片，我们会根据图片抓取的深度，分为抓取图片缩略图、详情页面图和高清大图三种类型。
2023-07-22 10:45:00
927
原创 【Python从入门到进阶】28、xpath的安装以及使用
XPath是由W3C（World Wide Web Consortium）组织发布的。W3C是一个国际性组织，负责制定Web标准和推动Web技术的发展。XPath最初在1999年发布，并成为XML Path Language的一部分。它由James Clark提出并提交给W3C进行标准化，目的是为XML文档提供一种统一而强大的查询语言。XPath是一种用于在XML文档中定位和提取数据的查询语言。它可以通过路径表达式来描述XML文档中的节点结构，并根据这些路径表达式来选择特定的节点或节点集合。
2023-07-15 10:30:00
4482
2
原创 【程序人生】如何在工作中保持稳定的情绪？
在工作中保持稳定的情绪是现代生活中一个备受关注的话题。随着职场压力和工作挑战的增加，我们常常发现自己情绪波动不定，甚至受到负面情绪的困扰。然而，保持稳定的情绪对于我们的工作效率、人际关系和整体幸福感都至关重要。无论你是一位职场新人还是一位资深专业人士，掌握如何在工作中保持稳定的情绪都是非常有益的。这可以帮助我们更好地应对挑战、提高抗压能力，并且提升自身的工作表现。本篇博客将为你介绍一些实用的方法，帮助你在工作中保持情绪的稳定。
2023-07-13 08:17:05
2235
1
原创 【Python从入门到进阶】27、Handler处理器使用及代理和Cookie登录实现
在Python的urllib库中，Handler处理器是一个关键的组件，它提供了处理不同协议和功能的网络请求和响应的灵活性和可扩展性。通过使用Handler处理器，我们可以更加灵活地进行网络编程和请求处理。它使得我们能够以统一、可扩展和易于维护的方式处理不同协议和功能的网络请求和响应，为开发网络应用提供了方便的工具和接口。
2023-07-08 09:30:00
2373
原创 【Python从入门到进阶】26、urllib的异常处理
URLError类是urllib库中的一个异常类，用于表示在进行网络请求时发生的错误。它是所有与网络请求相关的异常类的基类，包含了多种可能导致请求失败的错误情况。在urllib库中使用URLError类可以捕获和处理与网络连接有关的异常，例如无法建立连接、网络超时等。它提供了一种统一的方式来处理这些错误，并能够提供错误的详细信息，以便进一步调试和处理问题。URLError类的定义包含在urllib.error模块中。当进行网络请求时，如果发生任何与网络连接相关的错误，都会抛出一个URLError异常。
2023-07-02 10:27:55
988
原创 【Python从入门到进阶】25、urllib获取快餐网站店铺数据
作为全球最大的快餐连锁店之一，某某基以其独特的味道和创新的产品而备受消费者喜爱。作为一个时尚、现代和互联网化的品牌，某某基官网是与时俱进的，为广大消费者提供了更多的选择和方便。在某某基官网上，用户可以轻松地浏览所有的产品，并了解每种菜品的详细信息和口味。还可以通过网上订购，在家中享用美食。本篇我们来讲解如何使用urllib的post请求抓取某某基快餐网站店铺数据。
2023-06-29 11:34:15
629
原创 【Python从入门到进阶】24、urllib获取网站电影排行
上一篇我们讲解了如何使用urllib实现百度翻译的效果。本篇我们来讲解如何使用urllib抓取某某电影排行榜信息。某某电影成立于2005年，最初只是一个小型的电影社区，但随着时间的推移逐渐发展成为了一个拥有海量用户和内容的大型电影网站。目前，某某电影已成为全球最大的中文电影数据库之一，其数据库包含了来自各个国家和地区的电影信息。
2023-06-17 19:12:02
895
原创 【Python从入门到进阶】23.urllib使用post请求百度翻译
在许多场景中，我们需要编写程序来获取并使用在线翻译服务。例如，如果我们正在开发一个Web应用程序，需要编写代码来翻译用户输入的文本。在这种情况下，我们可以使用Python编写代码来访问百度翻译API，并在应用程序中使用它提供翻译服务。本篇我们来使用urllib实现百度翻译的效果。
2023-06-04 14:57:48
2038
原创 【Python从入门到进阶】22、urllib库基本使用
上一篇我们介绍了爬虫的相关概念，本篇我们来介绍一下用Python实现爬虫的必备基础，urllib库的学习。urllib是Python标准库中的一个模块，它包含了很多用于处理URL的功能。常见的用法包括发送HTTP请求、读取和解析网页内容等。
2023-05-31 19:05:43
1657
原创 【Python从入门到进阶】21、爬虫相关概念介绍
如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的数据。通俗一点的解释，就是使用程序模拟浏览器，去向服务器发送请求，根据url(http://taobao.com)进行爬取网页，获取有用信息。
2023-05-28 12:42:12
2013
原创 【Python从入门到进阶】20、HTML页面结构的介绍
从本篇开始，我们进入Python的实战教程，学习爬虫的相关技术，学习Python爬虫之前，我们要了解我们爬取的目标，即整个HTML文档的结构是什么样的，我们怎么去爬这种结构的文档，本篇主要讲解要爬取的HTML页面的结构。
2023-05-21 12:16:37
1657
原创 【Python从入门到进阶】Python异常处理
在编写代码时，我们无法完全掌控程序运行过程中会出现哪些问题。例如，文件不存在、网络连接中断、用户输入非法数据等错误都可能导致程序崩溃或者产生不可预知的行为。因此，为了提高程序健壮性和可靠性，我们需要使用异常处理机制来处理这些情况。Python中的异常处理机制指的是当程序执行过程中出现异常时，通过捕获异常并进行适当的处理，使得程序能够正常退出。
2023-05-15 11:20:34
1480
原创 【Python从入门到进阶】18、文件内容序列化和反序列化操作
通过文件操作，我们可以将字符串写入到一个本地文件。但是，如果是一个对象(例如列表、字典、元组等)，就无法直接写入到一个文件里，需要对这个对象进行序列化，然后才能写入到文件里。设计一套协议，按照某种规则，把内存中的数据转换为字节序列，保存到文件，这就是序列化。反之，从文件的字节序列恢复到内存中，就是反序列化。Python中提供了JSON这个模块用来实现数据的序列化和反序列化。
2023-05-07 16:01:01
1555
原创 【Python从入门到进阶】17、文件的读写操作
上一篇我们学习了Python打开和关闭文件的操作。本篇我们主要学习Python文件对象包含哪些方法，并学习文件如何进行读、写、定位和删除。
2023-04-20 09:36:26
1323
vue判断输入的快递单号是否符合规则Demo
2022-07-22
使用Sidecar支持异构平台的微服务-代码部分.zip
2020-01-30
Hystrix Dashboard的使用-代码部分.zip
2019-10-20
Feign对Hystrix的支持-代码部分.zip
2019-10-04
覆写Feign的默认配置-代码部分.zip
2019-08-06
将微服务注册到Eureka Server上-代码部分.zip
2019-07-01
Eureka简介与Eureka Server-代码部分.zip
2019-06-26
Spring Boot与MyBatis整合工程
2018-09-08
osgi-SpringDM
2016-03-16
TortoiseSVN-1.8.11.26392-x64-svn-1.8.13.msi
2015-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人