2 故明所以

学生身份

我要认证

清心、静思、实干、寡言。

等级
TA的排名 2w+

Python爬取安居客(base64加密)

测试base64加密:http://tool.chinaz.com/Tools/Base64.aspx基本原理:https://www.cnblogs.com/hongru/archive/2012/01/14/2321397.html一、分析url访问网址:https://bj.zu.anjuke.com/发现字体部分是加密得到的,可以猜想到大概是css加密,尝试查看它的字体。去style中找下这个字体的来源查看自定义字体的格式,如下所示:@font-face { font-f

2020-10-14 08:15:54

Python爬取有道翻译(js-加密)

一、分析URL先尝试爬取一下:import requests# url = "http://www.httpbin.org/post"url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"headers = { 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (Macintosh; In

2020-10-13 14:37:59

python破解验证码

一、需求分析在爬虫过程中,有的时候需要登录,而登录的时候一般需要验证码。如果手动输入验证码肯定来不及的或达不到预期要求,这里就需要自动登录,这就意味着需要破解验证码。验证码的类型有很多,常见的两类:(1)文字验证码(2)滑动图形验证验证码有很多种类,下面以这两种为讲解思路引导。文字验证码(1)使用selenium访问(2)将验证码图片保存(3)识别滑动验证(1)计算滑动距离(2)模拟人滑动(总体思路是先快再慢)实现文字验证码,可以使用图像识别技术,有很多第三方做好的图

2020-10-10 17:46:17

Python爬取斗鱼直播网站信息

一、需求爬取斗鱼直播网站信息,如直播名字、主播名字、热度、图片和房间网址,将这些数据保存到csv文件中,并单独创建文件夹保存图片。斗鱼直播网址:https://www.douyu.com/g_LOL二、分析url先单击【直播】,然后单击分页,发现分页的时候url没发生变化,基本可以确定是通过异步加载的。现在找到了异步url。此时,可以直接向url发送请求后去数据,还可以使用selenium获取加载之后的网页总数据,提取。三、数据提取有两种办法可以选择:(1)如果使用ajax异步u

2020-10-10 09:08:12

Python爬取豆瓣读书

一、需求爬取豆瓣读书Top250(csv存取数据)豆瓣读书网址:https://book.douban.com/top250?start=0二、代码实现import requestsimport csvfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' '(KHTML, like

2020-10-09 16:40:11

Python爬取腾讯招聘信息

一、分析需求腾讯招聘网址:https://careers.tencent.com/search.html分析获取url:提取数据的方法:使用json转字典二、代码实现import requestsimport csvurl = "https://careers.tencent.com/tencentcareer/api/post/Query"headers = { "user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKi

2020-10-09 11:44:41

Python爬取豆瓣电影

一、分析url单击分类信息,跳转到分类电影列表。这个页面是有多页数据加载的,当用户向下滚动右侧的滚动,加载数据,这个经过分析是ajax加载的数据,需要找到ajax请求的网址。先找到分类,提取分类的名字和类型编号,然后再爬分类下的电影数据。二、提取数据的方法ajax返回的数据是json,response.json()得到的是字典,用字典操作就可以了,当然肯定可以用正则。其实专门操作json的有一个模块叫jsonpath。三、代码实现import requestsimport rei

2020-10-09 09:34:34

Python爬取古诗词

一、需求爬取网址:https://www.gushiwen.org/需求:(1)获取侧边栏【类型】信息;(2)获取每个类型中古诗文详情页信息;(3)提取详情页数据:古诗文名、作者、朝代、类型、内容、译文及注释;(4)将数据保存到 csv 文件;二、代码实现import requestsimport csvfrom lxml import etreestart_url = "https://so.gushiwen.cn/shiwen/"base_url = "https://so

2020-10-08 11:39:06

Python爬取扇贝Python必背词汇

一、需求分析爬取网址:http://www.shanbay.com/wordlist/110521/232414/需求:获取所有的 python 词汇数据,形成字典,存储数据。二、代码实现#导入包from urllib import requestfrom lxml import etree#词汇表words = []def shanbei(page): url = "http://www.shanbay.com/wordlist/110521/232414/"

2020-10-07 16:48:57

Python爬取网易云音乐所有歌手的名称和链接

一、需求Python爬取网易云音乐所有歌手的名称和链接二、代码实现import requestsfrom lxml import etreefrom urllib import requestimport timeclass WangYiYun: def __init__(self, base_url): # 初始化tree self.html = self.request_url(base_url) self.parse_html(

2020-10-07 16:36:59

Python编写简单的剪刀石头布小程序

一、程序要求(1)提示用户选择石头剪刀布(2)计算机随机选择石头剪刀布(3)判断用户输赢(4)打印结果二、代码实现import random# 电脑人随机出拳computer = random.randint(1, 3)user = int(input('请出拳:1.拳头,2.剪刀,3.布'))if computer == 1: computer = '拳头'elif computer == 2: computer = '剪刀'else: compute

2020-10-05 18:03:11

Python编写简单的计算器,用户输入两个数字和一个四则运算符,计算结果

一、程序要求(1)提示用户从键盘输入第一个数字(2)提示用户从键盘输入第二个数字(3)提示用户选择运算符(4)打印结果二、代码实现a = int(input("请输入第一个数:"))b = int(input("请输入第二个数:"))symbol = input("请输入四则运算符号:(+-*/)")if symbol == "+": print("%s%s%s=%s"%(a,symbol,b,a+b))elif symbol == "-": print("%s%s%s=

2020-10-05 17:41:34

RDD 的五大特性(详细解析)

RDD 的五大特性一、简介版二、详细版一、简介版(1)A list of partitions一组分区:RDD由很多partition构成,有多少partition就对应有多少task(2)A function for computing each split一个函数:对RDD做计算,相当于对RDD的每个split或partition做计算(3)A list of dependencies on other RDDsRDD之间有依赖关系,可溯源(4)Optionally, a P

2020-09-28 17:20:16

Cache缓存和checkpoint检查点的区别

(1)Cache缓存只是将数据保存起来,不切断血缘依赖。Checkpoint检查点切断血缘依赖。(2)Cache缓存的数据通常存储在磁盘、内存等地方,可靠性低。Checkpoint的数据通常存储在HDFS等容错、高可用的文件系统,可靠性高。(3)建议对checkpoint()的RDD使用Cache缓存,这样checkpoint的job只需从Cache缓存中读取数据即可,否则需要再从头计算一次RDD。(4)如果使用完了缓存,可以通过unpersist()方法释放缓存。...

2020-09-25 19:05:10

MySQL与Redis的区别与联系(详细解析!!!)

MySQL与Redis的区别与联系一、MySQL和Redis的数据库类型二、MySQL和Redis的运行机制三、什么是缓存数据库?四、Redis和MySQL的区别总结4.1 数据库类型4.2 数据库作用4.3 业务需求4.4 应用场景4.5 数据存放位置4.6 存放数据类型(常用)五、数据可不可以直接全部用Redis存储?一、MySQL和Redis的数据库类型1、Mysql是关系型数据库,主要用于存放持久数据,将数据存放在硬盘中,读取速度相对较慢。2、Redis是NOSQL数据库,即非关系型数据库,也

2020-09-24 17:34:23

HDFS、Hbase、MySQL、Redis和hive之间的区别分析

(1)HDFS:为分布式存储提供文件系统(1)Redis:分布式缓存,基于内存并且强调缓存,支持数据持久化,支持事务操作。(2)MySQL:传统关系型数据库,注重关系,注重事务性。(3) hive:数据仓库工具,底层是mapreduce。不是数据库,不能用来做用户的交互存储1、HDFS为分布式存储提供文件系统针对存储大尺寸的文件进行优化,不需要对HDFS上的文件进行随机读写直接使用文件数据模型不灵活使用文件系统和处理框架优化一次写入,多次读取的方式2、HBase提供表状的面向列的数据

2020-09-22 22:41:54

Spark和Hadoop的异同点比较分析(很详细哦!!!)

Spark和Hadoop的异同点分析一、两者实现原理的比较二、 两者多方面的对比三、Spark和MR两者之间的详细对比分析(重点)3.1 速度3.2 容错性3.3 适用性3.4 框架和生态3.5 运行环境四、三大分布式计算框架系统(1)Spark:是分布式计算平台,是一个用scala语言编写的计算框架,基于内存的快速、通用、可扩展的大数据分析引擎 。(2)Hadoop:是分布式管理、存储、计算的生态系统;其中包括三大部分:HDFS(存储)、MapReduce(计算)、Yarn(资源调度)一、两者实现

2020-09-22 20:57:20

intellij idea在编写代码时无法使用回车键

1、问题:在使用intellij idea编写代码时无法使用回车键,换到下一行继续编写代码,按下回车键之后下一行代码却被删除了。2、解决方法:可能是在编写代码时不小心按了 Insert 键,只需要再次按下 Insert 键即可。那么有些笔记本键盘没有insert键怎么办呢?因为我用的惠普电脑,以惠普为例:(1)首先,按住shift+fn 是的fn键上的灯亮起。(2)然后,按住fn+E回车键就有原来的换行功能啦!惠普笔记本的隐藏按键:...

2020-09-21 09:27:13

R语言入门之R与RStudio的详细安装过程(图文很详细哦!!!)

R与RStudio的安装教程一、什么是R二、什么是RStudio三、R和RStudio安装前说明四、安装R五、安装RStudio六、测试软件安装是否成功七、RStudio界面介绍一、什么是RR是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。简单来说,R是一门统计计算语言,是一套开源的数据分析解决方案。二、什么是RStudioRStudio是一款R语言的IDE,R自带的环境操作起来可能不是方便,而Rstudio很好地

2020-09-20 19:49:28

Flink常见面试题总结(全是干货哦!!!)

Flink常见面试题总结1、面试题一:应用架构2、面试题二:压测和监控3、面试题三:为什么用 Flink4、面试题四:checkpoint 的存储5、面试题五:exactly-once 的保证6、面试题六:状态机制7、面试题七:海量 key 去重8、面试题八:checkpoint 与 spark 比较9、面试题九:watermark 机制10、面试题十:exactly-once 如何实现11、面试题十一:CEP12、面试题十二:三种时间语义13、面试题十三:数据高峰的处理更多关于Flink的详细内容请查

2020-09-20 10:58:01

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)