killer不冷-CSDN博客

GlidedSky验证码识别采用跟腾讯防水墙的滑动验证码是一样的验证码这里需要注意的就是它在iframe中，iframe属于内嵌页面。所以需要进入内嵌页面才能获取到它的滑动验证码的背景图片和滑块图片等信息，selenium进入内嵌页面的代码# 因为滑动验证码面板存在另一个iframe中 # 获取iframe对象 iframe = driver.find_element_by_id('tcaptcha_iframe') # 进入iframe对象中 driver.switc

2021-09-03 09:57:24 399

原创 GlidedSky——CSS反爬（偏移+伪类）

CSS可以排版出精美的页面；CSS也可以通过各种操作，使得用户最终看到的内容和HTML源码的内容千差万别。让我们通过一些基本的CSS防爬手段（伪类+位置偏移），来巩固下大家的前端基础知识。伪类是什么？伪类对元素进行分类是基于特征(characteristics)而不是它们的名字、属性或者内容；原则上特征是不可以从文档树上推断得到的需要获取伪类的父标签在通过标签匹配到它的content的值div = response.xpath('.//div[@class="col-md-1"]/div')

2021-09-01 10:28:39 1596

原创 The Windows version of Redis allocates a memory mapped heap for sharing with the forked process used

解决方法：redis-server.exe redis.windows.conf --maxheap 1gb

2021-06-02 14:13:24 1675

原创百度api验证码识别

在爬虫操作中难免会遇到文字验证码识别，处理方法有很多这次要说得是百度api的调用来对文字进行识别。分两步走第一：百度AI开放平台注册并建立自己的项目。第二：写代码。百度AI平台创建项目创建自己的账号，登录之后出现页面如下：你需要文字识别就点击文字识别，并点击创建应用。我的已经创建好了，有个API Key和Secret Key要记住也不要给别人哈，点击技术文档。点击技术文档那里在调用方式可以看到他们的使用方法看完之后需要什么的代码直接复制，我这里使用的是python代码# en

2021-06-02 10:20:16 4443 2

原创 python 163邮箱的收发

一、邮箱需要设置1、点击设置2、点击开启pop3/SMTP服务，点击开启会有个授权码点击开启之后可以收到一串密钥，也就是当作你邮箱密码的东西。3、基本配置163邮箱代码如下：```pythonimport smtplib # smtp服务器from email.mime.text import MIMEText # 邮件文本# 邮件构建subject = "滴滴答答" # 邮件标题sender = "xxxxxx" # 发送方邮箱content = "新年快乐！"

2021-06-01 18:13:21 1959

原创 selenium元素定位

1、2个私有的方法来帮助页页面对象的定位from selenium.webdriver.common.by import Bydriver.find_element(By.XPATH,'//button[text()="Some Text"]')driver.find_elements(By.XPATH,'//button')2、根据id定位举例，自己创建的一个网页html```python<html> <body> <form id="loginFo

2021-05-17 10:22:23 2438

原创 .py转化成.exe应用程序

.py转化成.exe应用程序1、安装相应模pip install pyinstaller2、进入相应的文件目录3、执行命令pyinstaller -F test.py当有图片的话，需要将图片转成.ico格式再执行如下命令pyinstaller -F -i 图片名.ico text.py 4、执行完命令后，需要的exe文件就在dist文件夹中...

2021-05-17 10:01:05 1114

原创最简单的免费采集器——易数云

最简单的免费采集器——易数云采集器为什么说易数云采集器简单呢？这个采集器已经包含有大量的采集规则，对于小白来说简直是轻松上手而且当前采集器还属于迭代中客服非常的认证几乎达到一对一服务，当前采集器拥有的功能：1、数据可视化 2、多任务多服务器并行 3、定时自动任务 4、自定义爬取规则话不多说直接进入正题。。。。。。。。。采集器下载链接：http://cloud.yisurvey.com/先说明才软件还属于迭代中，所以有用户下载不了可以留言我给你们安装包打开采集器的界面是这样：大家可以自行注册登录

2021-02-03 17:51:33 1638 2

原创 scrapy爬虫框架详细讲解

1、 ** scrapy框架的架构图示：**它的组成部分：Scrapy Engine（引擎）：用来处理整个系统的数据流处理、触发事务，是整个框架的核心。Item（项目）：定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。Scheduler（调度器）：用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候提供给引擎。Item Pipeline（项目管道）：负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。Downloader（下载器）：用于下载网页内容，并将网页内

2020-11-21 11:27:02 629

原创 python装饰器之讲

装饰器：装饰器本质上是一个 Python 函数，它可以在让其他函数在不需要做任何代码的变动的前提下增加额外的功能。装饰器的返回值也是一个函数的对象。这里写一个简单的统计双层for循环耗时多少，了解装饰器之前得先去了解一下闭包。（不懂留言）代码如下：import timedef one(fun): def tow(): start_time = time.time() fun() end_time = time.time() pr

2020-11-21 10:07:50 1396

原创 python的单例模式

在python面试中必问的两组代码（python的单例模式）python的单例模式单例模式：比如你在某地工作，你有回出差在附近。那你是不可能住哪里就在那里买一套房吧？而你回选择力公司附近买一套房就好。单例模式如此，就是在一个类中定义一个私有属性实例化共接下来调用，不需要创建更多的实例来浪费资源。单例模式的要点有三个；一是某个类只能有一个实例；二是它必须自行创建这个实例；三是它必须自行向整个系统提供这个实例。class getline(object): __raw = None de

2020-11-21 10:00:35 1433

原创基于python的django框架开发

本项目适合出血python的django框架开发者学习用户模块：先是注册，注册单独定义一个form表单类的 py文件来实现，注册时一定要同意协议；注册好了提交到df-user-userinfo将跳转到登陆界面，登陆会提交post请求与数据库数据进行对比，记住用户名这里如果记住用户名将通过cookies保存起来，否则浏览器关掉就没了。登陆检查的话是用一个装饰器来完成的，这样可以避免有些需要判断是否登陆的地方代码冗余，登陆进去就进入到用户中心，用户中心这边有设置最近浏览、基本信息、查看订单和添加收获地址，填

2020-11-21 09:40:42 454

原创 tensorflow报错

上一章做了tensorflow的踩坑发现坑不够啊，硬生生有被拉进AttributeError: module ‘tensorflow.compat.v1’ has no attribute 'XXXXXX’这类坑里，这个坑是兼容性问题，我个人觉得应该很少人的会出现这种情况吧？这类报错的原因是“模块“tensorflow”没有属性“XXXXXXXX””先来看看第一个坑AttributeError: module ‘tensorflow’ has no attribute ‘histogram_summary

2020-06-17 17:44:06 973 1

原创 Tensorflow2.0.0安装及踩坑

在python3.x中安装Tensorflow2.0.0版，pip install tensorflow==2.0.0安装会发现格外的慢，我采用的安装方法就是使用豆瓣的源进行安装，其他包一样适合pip install tensorflow==2.0.0-alpha0 -i https://pypi.doubanio.com/simple/安装完Tensorflow2.0.0，进入你的python运行环境通过运行import tensorflow as tf测试tensorflow是否安装好了。接下来不

2020-06-09 23:30:54 3270

翻译线性回归股票篇

性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。我们对“668012 中微公司股票”线性回归来分析一下，我们首先需要导入股票数据的包pip install tushare

2020-05-29 15:01:37 3919 1

空空如也

空空如也