Amoor123-CSDN博客

原创浏览器复制的curl转换为Python requests库代码的python代码

是的，你没看错，读起来有点拗口，但真的会很好用。这是转换浏览器中复制的curl语句的代码代码来源于curltopy库的源代码。需要的朋友可以前往github查看安装后发现直接按照他的介绍运行不起来，所以这里修改了一些地方，才可以正常使用！如何复制curl命令复制的时候选curl bash，另外一个cmd以^作为换行，会影响解析如果是Charles这种工具里，选第二个带request的选项，将复制出来的字符串的url放到curl 开头，不然url会解析错误charles的和浏览器的区别一个

2022-04-11 01:27:15 2570 3

原创 Django获取文件的方式及文件MD5的多种方法

最近对文件处理比较多，给大家分享下文件的使用方法获取文件 files = request.FILES.get('my_file')文件的属性file.name 上传的文件名称file.content_type 内容类型file.size 文件字节大小file.read() 文件内容获取MD5值的3种方式chunks的方式 import hashlib files = request.FILES.get('m

2022-04-05 01:10:43 1666

原创 echarts和pyecharts的主题河流图-两种风格对比

前面echarts和pyecharts都做了简单的介绍，这里用主题河流图做对照，来展示这里面的区别echarts式echarts式的主题河流图主要以网页内的配置为主，django的视图函数起到传递数据的作用。前面我改编的主题河流图还有缩放数据的功能视图函数def myriver(request): names = ['Tom', 'may', 'jim'] today = datetime.now().date() data = [] for i in range(5

2022-01-21 23:23:50 4439

原创 Pyecharts库及其与Django的结合使用

在上一周发表的echarts和Django的结合使用中，有粉丝提出想要学习下pyecharts，我特地花了点时间研究了下，写出此篇文章，希望喜欢的能够给我点点赞~这篇文章不会提到太多的语法，也不会把每个图形都讲一遍，还是那句话，作为初学者，我们先要模仿着写。官方文档对图形使用的解析已经很清楚了，我只抓取我感觉比较重要的讲一些。代码仓库地址还是原来的那个地址，示例资源和静态资源文件都已经集成到这个项目里了。https://gitcode.net/sabian2/myechartdemo简介Echar

2022-01-21 00:37:14 4278 11

原创 Python中Django与Echarts的结合用法

今天为大家分享Echarts在Python 的Django框架中的使用项目仓库为https://gitcode.net/sabian2/myechartdemo.git公开仓库，大家可以通过如下命令获取项目文件git clone https://gitcode.net/sabian2/myechartdemo.git什么是EchartsEcharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。官网地址为https://echarts.a

2022-01-13 22:51:49 7752 6

原创《2021爱智先行者—初体验-图文解析精灵1号边缘计算机的安装与调试、启动自带的WiFi路由器功能、编写安装一个计算器小程序》

都说万事开头难，这篇文章能够帮助大家对精灵1号的设备开发有个简单顺利的开头，介绍了组装、设备激活和使用、开发工具搭建、简单程序开发四个部分，希望能对大家有所帮助。

2021-11-17 16:34:35 1001 2

原创用scrapy-redis分布式框架采集站点的漂亮图片，代理服务器，随机UA技术

分享点以前做的项目，攒点项目经验前面讲了怎么做scrapy-redis的配置，这次做个采集的实例网站是彼岸图网：https://pic.netbian.com/4kmeinv/分析采集上面这个链接分类下的所有图片，分析网站是148页，读取下一页的链接前往下一页，读取上面的图片链接进入详情取大图的地址运行效果redis的存储中途停了以后也可以在命令行重新输入命令继续再次运行它还是从那里开始接着继续数据处理数据库设计数据库存储大图的标题和下载url建表语句为CREATE TAB

2021-11-07 15:34:28 1124 1

原创简单易用，几行命令实现使用scrapyd部署

要部署首先你要有个写好的scrapy项目，刚创建的也可以安装安装scrapyd和scrapyd-client两个库在项目中terminal启动scrapyd部署先在scrapy.cfg 里面配置scrapyd-deploy my -p mypro启动爬虫my是建立的项目名称，sta是爬虫的名称，这个是在前面创建项目时指定的curl http://localhost:6800/schedule.json -d project=my -d spider=sta 运行效果此时可

2021-11-06 11:44:28 314

原创 Scrapy-redis的分布式爬虫改造，基本概念和配置

这个包名字就是scrapy-redis利用redis为scrapy提供分布式队列、调度器和去重的功能设置配置设置中主要修改ITEM_PIPELINES = { 'my.pipelines.MyPipeline': 300, 'scrapy_redis.pipelines.RedisPipeline': 400,}# 分布式的配置SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 调度DUPEFILTER_CLASS = "scr

2021-11-06 11:04:10 191

原创 Scrapy笔记，基本的流程与方法介绍

安装pip install scrapy有时候会有错误，cryptograph库存在问题进入rust网站，下载自己的系统版本https://www.rust-lang.org/tools/install运行后，确认安装，出现选1default，安装成功后会在自动退出，用检查版本的方式看是否安装成功这样的话scrapy不能在虚拟环境安装，只能在自己的主环境安装，会影响一些包可以重新建个虚拟环境继承系统环境启动项目创建项目scrapy startproject my创建s

2021-11-05 19:26:33 535 1

原创用边缘检测算法和像素点对比处理滑块验证码原理解析

算法原理边缘检测算法提供滑块图，背景图作为数据，检测缺口左边缘的坐标最终检测出来的区域在红线框内像素点对比需要原图和缺口背景图作为数据，原理是检测第一个像素点数值不一样的位置的x坐标作为参考的移动距离，但是对有假缺口的数据不是很友好，提取到第一个就停了，如果假缺口在前面就会识别失败。比如这样的就会输出第一个缺口的位置但用cv2做边缘检测，可以很正常的找出数据位置从网页读数据网页上获取图片数据canvas元素可以通过toDataURL函数转换为指定格式的数据然后在selenium

2021-11-04 14:54:38 609 1

原创用ddddocr识别图形字符验证码

函数很简单，这里主要分享流程目标这是一个网站的注册页面找接口先在抓包工具或者浏览器检查界面找到验证码的位置测试测试下重放，发现数据可以正常发送，那就拷贝headers里面的一些参数和cookie到Postman做测试逐步添加headers信息直到能拿到数据组合带带弟弟编码拷贝python-requests代码到编译器，修改下即可为什么是带带弟弟，因为他就叫这个名字get_time_stamp13函数用于生成13位时间戳，作为文件名，文件会保存到本地进行比较ddddocr的用

2021-11-03 19:13:05 6323

原创 Charles手机端抓包，抓取小说软件整本小说的示例

基本配置点击如下界面，根据提示修改手机的网络代理参数自己手机连接同一个网络，设置代理服务器参数设置好后Charles会有一个提示消息，点击alllow允许就可以了然后手机上也要装证书，访问那个网站，如果老是卡在界面不下载的话，建议给文件改个名字提示要到CA中心去安装找到CA证书，进去安装即可这样采集的数据就不是乱码了查看小说软件数据查看手机小说软件的接口，如果他不对数据加密的话就能成功了这个软件的数据就没加密，可以直接看我打开了一本书，在上面的位置找到了书的信息去po

2021-11-01 18:46:27 2238

原创第一百篇，真实可重现，详细实现昨日剩下的功能

这是上一篇Charles抓取数据包操作的实践详细教程，半自动是因为先要取得自己的token和cookie来修改为自己的登录账号，id也需要自己修改。修改的地方基本都替换掉用了中文提示具体内容放到项目文档里了项目地址：https://codechina.csdn.net/sabian2/mooc.git先解决上一篇代码直接使用的SSL错误上一篇的代码是从Postman直接获得的，Postman也有这个问题，只是关了设置里的ssl就没了，但在python程序运行中，一上来发现访问出错requests.

2021-11-01 12:53:57 126 2

原创史上最细，Charles抓包工具的基本配置、查找接口的方法、爬取中国大学Mooc整门课程

今天给大家分享Charles这个软件，讲解基本配置和接口查询操作，最后用一个中国大学mooc的示例来展示Charles在Windows端的用法。内容丰富，技术要点详细，站里面搜索中国大学MOOC爬虫的不是讲了一半就关注公众号的，还是讲了一点的，或者只有代码的，都没我讲的详细，这就是对抗路的细节，欢迎阅读点赞评论收藏！

2021-10-31 20:06:12 6014 9

原创重磅！全站首发，新鲜出炉，1024特辑，手把手教你采集高德地图搜索结果，获取全国海底捞信息并可视化

这一篇讲如何用简单的工具获取高德地图的搜索结果数据，并做基本的可视化分析这里以海底捞为示例，希望大家有所收获

2021-10-24 15:29:40 2463 16

原创小白也能轻松上手selenium，无忧获取淘宝商品信息，献给手把手教的会的你

本文在python环境下使用selenium库，利用浏览器模拟来采集淘宝指定搜索关键字的商品数据，内容丰富，一看就会，一学就能上手，一拷贝就能自己用起来，举一反三！

2021-10-21 22:23:13 4931 1

原创 2021-10-21 Flask-03 请求与响应，cookies与session，操作这些得心应手

请求对象request访问如下路径，查看request的属性@blue.route('/myrequest',methods=['GET','POST'])def myrequest(): for k in request.__dict__: print(k) return ' '编辑模板查看这些属性# 查看请求对象@blue.route('/myrequest',methods=['GET','POST'])def myrequest(): fo

2021-10-21 17:09:59 245

原创 2021-10-21-Flask-04 模型关系的建立，增删改查的演示，一篇文章让你直接搞懂Flask模型

项目地址：https://codechina.csdn.net/sabian2/myflask.git这节是模型操作1：N的模型操作创建模型在user_model.py创建两个模型类：用户模型和卡模型db是flask的SQLAlchemy对象，在模块init文件中已定义from models import db#用户模型class UserModel(db.Model): #主键 id = db.Column(db.Integer,primary_key=True,auto

2021-10-21 17:09:05 247

原创 2021-10-20-Flask-02 路由与参数解析

项目地址：https://codechina.csdn.net/sabian2/myflask.git这一节讲路由和参数的解析获取链接参数类似于这样的链接，直接从网址中读取参数http://localhost:5000/user/pathtest?username=dsadsa&password=abcdefg下面看视图代码在user_view.py中@blue.route('/pathtest',methods=['GET','POST'])def pathtest():

2021-10-20 17:47:53 266

原创 2021-10-20-Flask-01- 基本运行框架及配置文件

这里搭建一个基本的Flask框架的项目结构项目地址：https://codechina.csdn.net/sabian2/myflask.gitgit clone https://codechina.csdn.net/sabian2/myflask.git选择好的10月20日的带初始框架的最后一个版本项目结构解析myflask是项目目录名，需要把它mark 为source root，下面的根据目录的缩进看层次。manage.py项目的主运行文件，只要在目录下的命令行使用python m

2021-10-20 13:33:20 240

原创在CSDN的开源中国社区建立自己的项目仓库

创建项目CSDN也有自己的源码仓库进入的方法是首页上点击开源选项概览中点击新建项目创建空白项目这些信息自己填进项目之后是这样的，那个提示用不到的可以忽略，下面的命令行指引很重要，我节选几个用到的给大家讲一讲配置并上传项目接下来打开你的编程工具，做一些配置，我这里是Pycharm，可以直接在命令行使用git，如果你的不行，那就跑到项目目录下运行命令行进行配置。全局设置用户名和邮箱，用户名和邮箱一般都是自己的，可以直接复制提示你的指引命令设置git config --global

2021-10-18 10:51:17 545

原创 CSDN C4 Python工程师基础能力认证考试参与经验分享

10月16号参加了C4 Python工程师基础能力认证考试，这里给大家分享分享经验首先考试报名必须要先通过C1的见习工程师考试，C1那个考试挺简单的，主要是JS的技巧，有些问答知识百度一下就知道了。官方页面上考试的介绍我觉得只要大家学过一整个Python的语法，基本都没问题，偶尔有点不清楚的，百度上一看就知道了先讲讲考试的流程，流程可以在模拟考试上体验一把。准备工作OBS软件推流设置考试要求是在OBS软件上摄像头打开，共享屏幕这个OBS软件考试页面是有下载入口的，进去之后是这样的界面

2021-10-17 22:43:15 1293 3

原创 2021-10-08 用Python写的Linux下的转换word的docx文件为pdf文件，并使用Docker容器自动化部署

文档层级完整项目资源代码先上源代码程序的基本思路是在数据库中存储文件名和他的MD5信息，校验这两个数据，如果数据库里面没有就转换，如果有就不转换，如果文件名有但MD5不同，就要删除原有的数据条目，避免word文档回到旧版本时转换不了import subprocess# from win32com.client import gencache# from win32com.client import constants, gencacheimport osimport sysimport

2021-10-08 11:44:57 1094 3

原创 2021-09-29 wget命令的使用

wget的使用wget专注于下载文件在centos系统下演示，一般系统自带，无需安装wget下载文件以服务器名称下载wget httpbin.org/image/jpeg以自定义名称下载wget -O xx.png httpbin.org/image/png限定速度–limit-rate=200k断点续传-c后台下载-b用户代理UA设置-U镜像–mirror下载页面中的相关资源-p递归下载所有链接-r镜像下载python文档的网站wget -c --mi

2021-09-30 15:45:03 210

原创 2021-09-29 python中curl的使用和curl的语法

本文主要写curl的用法安装的话根据正常的系统提供的方法安装，ubuntu就是apt install，centos就是yum install这里演示在windows下的Pycharm演示执行命令的内置方法第一种是用os的popen方法，不仅可以获取结果，还可以用readlines或者read方法储存结果，在 linux中效果比较好，在windows中因为编码的问题无法显示，如果大家有办法解决，记得给我留言哦import osxx=os.popen('curl www.baidu.com').

2021-09-29 15:25:01 6494 2

原创 2021-09-26-python MD5散列算法

MD5信息摘要算法（英语：MD5 Message-Digest Algorithm），一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。MD5由美国密码学家罗纳德·李维斯特（Ronald Linn Rivest）设计，于1992年公开，用以取代MD4算法。这套算法的程序在 RFC 1321 标准中被加以规范。1996年后该算法被证实存在弱点，可以被加以破解，对于需要高度安全性的数据，专家一般建议改用其他算法，如SHA-2。2004年，

2021-09-26 15:45:34 303

原创 2021-09-26-python RSA非对称加密、解密

RSA非对称加密这种方法用同一个人的公钥加密，用私钥解密产生私钥和公钥from Crypto import Randomfrom Crypto.PublicKey import RSAfrom Crypto.Cipher import PKCS1_v1_5 as Cipher_pkcs1_v1_5import base64# 伪随机数生成器random_generator = Random.new().read# rsa算法生成实例rsa = RSA.generate(1024, r

2021-09-26 15:33:32 232

原创 2021-09-26-python AES加密，ECB模式和CBC模式

密码学中的高级加密标准（Advanced Encryption Standard，AES），又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。ECB电子密码本模式示例代码from base64 import b64decodefrom Crypto.Cipher import AESimport base64BLOCK_SIZE = 16pad = lambda s: bytes(s + (BLOCK_SIZE - len(s) % BLOCK_SIZE) * chr(B

2021-09-26 13:14:45 1261 2

原创 2021-09-25-python DES加解密

DES是分组加密算法，秘钥长度为56位，加密后的长度是8的整数倍，数据交互的双方必须有相同的秘钥准备工作安装库为pycryptodome,直接安装Crypto，可能会找不到库，可以参阅这篇文章里面的文件会帮我们直接安装Crypto库示例代码解析import base64from Crypto.Cipher import DESclass DESCrypter(): def __init__(self, key, iv=None): self.key = key

2021-09-25 23:23:57 830 1

原创 2021-09-25-python读取配置文件，ini类型和yml类型

ini配置文件格式放入一个叫base.ini的文件里释义[redis]代表的是分项区域，他下面的是配置，以（键=值）成对的形式存在导包与读取导入内置库configparserimport configparser# 读取cf = configparser.ConfigParser()cf.read('base.ini')获取分项区域secs=cf.sections() # 获得所有区域获得的是一个列表获取区域的配置项opts=cf.options("user")

2021-09-25 20:36:42 264 1

原创 2021-09-23-CR-014 Python爬虫，pyppetter的基本操作

pyppetter的基本操作准备阶段先安装 pyppeteer库导入的名称同库名查看浏览器版本pyppeteer.__chromium_revision__查看浏览器存储路径pyppeteer.executablePath()简单示例from pyppeteer import launchimport asyncioasync def main(): browser =await launch(headless=False, args=['--disable-info

2021-09-23 21:35:24 750 2

原创 2021-09-18-CR-013 Python 爬虫，使用selenium做自动化测试

selenium使用安装selenium可使用pip install selenium。配置浏览器先安装Google浏览器和相应的驱动Google浏览器百度搜索下载驱动在这里，下载对应对的浏览器版本，差不多的版本http://chromedriver.storage.googleapis.com/index.html驱动下载好以后拷贝到浏览器安装目录（chrome.exe所在位置）和python安装目录（python.exe所在位置）即可如果是安装的浏览器，一般不需要设置浏览器的环境变量，

2021-09-18 13:24:53 318 2

原创 2021-09-02-CR-012 Python爬虫用requests带参数的方式获取网课媒体文件

这里下载极客时间网站的免费音频先分析网页数据结构与算法之美https://time.geekbang.org/column/intro/126点进去第一个可以看到都有个article的数据，数据里有一个data，data中有个audio_download_url，是个MP3这里可以直接拷贝到浏览器，确定就是这个课程这一节的音频，我们的目标就找到了，就是这个东西这个可以看到是请求的路径，并非上面的网址参数在下面因为需要登录，所以封装自己的请求头抄浏览器的一长串，里面的cookie

2021-09-08 20:18:49 496 2

原创 2021-09-02-CR-011 Python爬虫使用异步的方式爬取数据，每天一个爬虫小技巧

这里持续改进前几节原有的代码异步的使用异步就是指的程序在运行过程中的步骤是不同步的，后面的与前面的可以不按照顺序结束，互相之间是不干涉的这里需要导入asyncio库并将函数加上异步前缀修改主函数的代码即可主函数里面构建任务列表，并运行异步任务import asyncioimport codecsimport multiprocessingfrom concurrent.futures import ThreadPoolExecutorimport requests,refrom

2021-09-02 09:01:11 234 2

原创 2021-09-01-CR-010 Python 爬虫使用进程与进程池实现

这里再接着上一节的内容，用进程和进程池来爬取多核电脑在这里就还有更大优势了，我的电脑就双核，所以并不明显简单进程if __name__ == '__main__': url = 'http://www.xiladaili.com/gaoni/{}/' for i in range(1,1000): p = multiprocessing.Process(target=cr, args=(url.format(i),)) p.start()这里只是

2021-09-01 20:42:12 158 1

原创 2021-09-01-CR-009 Python爬虫使用进程池辅助爬取

使用线程池来爬取数据依旧是前面那个爬取代理服务器列表的任务和上节的结尾限制线程数的操作效果几乎一致import codecsfrom concurrent.futures import ThreadPoolExecutorimport requests,refrom bs4 import BeautifulSoup as bfsheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36(KH

2021-09-01 19:54:12 220

原创 2021-08-31-CR-008Python爬虫用多线程的方式获取网页数据

用多线程去实现代理服务器列表的获取参考006节这里用多线程去实现import reimport timeimport requestsfrom bs4 import BeautifulSoup as bfsimport codecsimport csvf = codecs.open('daili.csv','a','gbk')w = csv.writer(f)w.writerow(["IP",'协议'])import threadingdef cr(url):

2021-08-31 20:55:32 245 3

原创 2021-08-31-CR-007 Python 爬虫，动态变更浏览器用户代理，给与随机的访问延迟，每天一个爬虫小技巧

爬虫中浏览器UA与访问随机延迟的模拟前面在requests库的使用中，模拟了headers其中有一项是user-agentheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}Google浏览器显示的就这么多，火狐还能更多点其中Windows NT 是指的用户操作系统Ch

2021-08-31 15:24:21 511 2

原创 2021-08-30-CR-006 Python爬虫使用requests和BeautifulSoup爬取网站上的代理服务器列表，每天一个爬虫小技巧

这里爬取西拉代理的高匿服务器列表先分析页面的格式这里可以看出来页面的第几页就是链接后面加数字和斜杠然后测试下第一页也是可以的，2000页就是一个循环即可调整url需要的数据在网页源代码的table里面，用BeautifulSoup即可选择出来代码：import codecsimport reimport requestsfrom bs4 import BeautifulSoup as bfsimport csv#T1f = codecs.open('daili.csv

2021-08-30 15:00:22 300 7