- 博客(61)
- 收藏
- 关注
RSS订阅
原创 PYTHON 动态创建类或修改父类的方法
近期对PYTHON动态创建类或修改父类的方法进行了学习，总结记录一下：方法1：工厂函数def createClass(cls): class CustomizedClass(cls): ....... return CustomizedClassClassList = createClass(list)此方法比较容易理解，向函数传入父类即可方法2：type完全动态构造def create_read_thread(obj): '''typ.
2020-07-24 13:09:01
1678
原创 python sqlalchemy 动态创建表，，或动态修改__tablename__的两种方法
最近在学习sqlalchemy，有个动态修改__tablename__的需求，搜索了好几天，没有太完美的答案，要么看不懂，要么比较古老了，通过研究，整理以下几种sqlalchemy动态修改__tablename__的方法：一、函数封装table model在tablemodel类外层嵌套函数，通过函数参数传递tablename给dbmodel类，代码如下：def make_model(_BOOKNAME): Model = declarative_base() # 生成一个SQ..
2020-07-15 10:48:35
5595
1
原创 Python Mixin 混入方式实现单例
最近学习单例以及继承，写了一个以混入方式实现单例，代码如下：class Singleton_MiXin: '''混入方式继承单例，部分无效''' _lock = Lock() def __new__(cls, *args, **kwargs): if not hasattr(cls, "_instance"): with cls._lock: if not hasattr(cls, "_insta...
2020-07-13 15:11:53
175
原创 对PYTHON三方异步爬虫库ahttp的探讨
近期在学习异步爬虫，在论坛发现这个帖子：https://blog.csdn.net/getcomputerstyle/article/details/103014896看了之后发现很适合新手使用，于是按照尝试，发现ahttp库近期没有更新，有一些问题存在（也有可能是我不会用啊）自己对ahttp库做了一些修改，主要是基于自己的使用习惯和需求，代码在下面，主要做了一下修改：1、增加了爬...
2020-03-12 17:12:38
1955
4
转载 pyqt5学习之自定义信号
2.建立信号和槽的连接： 信号所在类实例.信号名.connect(self.槽函数名)注意：一个信号连接另外一个信号时，必需保证参数类型和个数一致。1.信号的定义：在类内部，以类属性形式定义；步骤分三步：1.创建信号： 信号名 = pyqtSignal(类型)信号的接收: 信号所在类实例.信号名.connect(接收函数)3.发射信号：信号名.emit()信号的声明: 信号名 = pyqtSignal(类型)信号的触发: 信号名.emit(信号内容)2.利用装饰器自动连接信号与槽。
2023-10-09 13:57:52
302
转载 PyQt 5信号与槽的几种高级玩法
高级自定义信号与槽，是自己定义信号与槽函数，并传递参数。自定义信号的一般流程如下：（1）定义信号。（2）定义槽函数。（3）连接信号与槽函数。（4）发射信号。通过类成员变量定义信号对象。
2023-10-09 13:52:47
771
转载 装饰器的六种写法
装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。装饰器的使用方法很固定就像下面这样子实际上，装饰器并不是编码必须性，意思就是说，你不使用装饰器完全可以，它的出现，应该是使我们的代码。
2022-12-30 09:54:18
161
转载 python 装饰器详解
python装饰器本质上就是一个函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外的功能，装饰器的返回值也是一个函数对象。装饰器函数的外部函数传入我要装饰的函数名字，返回经过修饰后函数的名字；内层函数（闭包）负责修饰被修饰函数。从上面这段描述中我们需要记住装饰器的几点属性，以便后面能更好的理解：实质： 是一个函数参数：是你要装饰的函数名（并非函数调用）返回：是装饰完的函数名（也非函数调用）作用：为已经存在的对象添加额外的功能特点：不需要对对象做任何的代码上的变动。
2022-12-28 19:51:41
991
1
转载 这 14 个 VSCode 插件，让你写代码如同神一般
分享 14 个非常实用 VSCode 插件，可以让你写代码如同神一般，尤其是 Python 代码。鉴于 VSCode 的轻量级，老用户也不用不担心安装的扩展“太多”导致性能问题，工欲善其事必先利其器，所以放心安装吧
2022-12-27 16:59:48
2412
转载 PyQt5之布局管理
QFormLayout是label-field式的表单布局，顾名思义，就是实现表单方式的布局。表单是提示用户进行交互的一种模式，其主要由两列组成，第一列用于显示信息，给用户提示，一般叫做label域；所谓嵌套布局就是综合应用上述的布局进行嵌套以完成整体窗口的布局。PyQt提供了一个特殊的布局管理器QSplitter，它可以动态地拖动子控件之间的边界，算是一个动态的布局管理器。在布局中添加控件，stretch为伸缩量，alignment为对齐方式。如果改变一个窗口的大小，窗口中控件的大小和位置不会随之改变。
2022-11-29 22:30:33
63
转载 python并发编程之asyncio协程
python并发编程之asyncio协程(三)转载自：https://www.cnblogs.com/cwp-bg/p/9590700.html协程实现了在单线程下的并发，每个协程共享线程的几乎所有的资源，除了协程自己私有的上下文栈；协程的切换属于程序级别的切换，对于操作系统来说是无感知的，因此切换速度更快、开销更小、效率更高，在有多IO操作的业务中能极大提高效率。系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进
2020-08-18 09:55:20
301
1
原创 windows 下 torch安装方法
https://pytorch.org/ pytorch官网windows下 torch安装方法pip install torch==1.5.1+cpu torchvision==0.6.1+cpu -f https://download.pytorch.org/whl/torch_stable.html
2020-07-13 18:36:22
1847
1
转载 python---aiohttp的使用
https://www.cnblogs.com/ssyfj/p/9222342.htmlpython---aiohttp的使用
2020-07-07 14:34:44
161
转载 tenacity -- Python中一个专门用来retry的库
【AMAD】tenacity -- Python中一个专门用来retry的库转自：https://www.cnblogs.com/thomaszdxsn/p/amadtenacity--python-zhong-yi-ge-zhuan-men-yong-la.html动机 简介 用法 基本用法 何时停止 尝试间的等待 何时retry 其它 热度分析 源码分析 个人评分动机很多时候，我们都喜欢为代码加入retry功能。比如oauth验证，有时候网络不太灵，我们希望
2020-07-04 17:06:52
693
转载 python重试组件tenacity介绍
python重试组件tenacity介绍 - 云+社区 - 腾讯云https://cloud.tencent.com/developer/article/1399533
2020-06-30 18:53:28
352
原创 python threading线程装饰器，可以获取线程结果
根据网络资料整理，并进行了优化和测试，编写了python的thread线程装饰器，用于装饰函数如下：from threading import threadclass thread_wrap_class: ''' 函数的线程装饰器，返回thread线程实例，getResult获取结果, thread_wrap_class.getAllResult 获取结果集合 ''' Result_dict = {} thread_dict = {} .
2020-06-22 12:53:52
858
转载 爬虫框架推荐对比（附源码）
爬虫框架推荐对比（附源码） - 程序员大本营https://www.pianshen.com/article/1454531805/
2020-06-09 15:34:35
369
转载 哪些 Python 库让你相见恨晚？
哪些 Python 库让你相见恨晚？【转】 - 狂师 - 博客园https://www.cnblogs.com/jinjiangongzuoshi/p/6596268.html网页抓取和数据处理的Python库-电子发烧友网http://www.elecfans.com/d/667380.htmljobbole/awesome-python-cn: Python资源大全中文版，包括：Web框架、网络爬虫、模板引擎、数据库、数据可视化、图片处理等，由伯乐在线持续更新。https://..
2020-06-09 14:46:03
143
转载 网页抓取和数据处理的Python库
网页抓取和数据处理的Python库-电子发烧友网http://www.elecfans.com/d/667380.html
2020-06-09 13:58:06
171
1
转载 用Python实现网页自动化朗读
我不想浏览网页，那么我就用Python实现网页自动化朗读！ - 简书https://www.jianshu.com/p/9e8f63a402d3
2020-06-09 13:46:55
348
转载 PyQt5-事件处理机制
PyQt5-事件处理机制转载自：https://www.cnblogs.com/ygzhaof/p/10132824.htmlPyQt中提供了两种针对事件处理的机制：一种是信号和槽，另一种则是事件；事件处理在PyQt中是比较底层的，这里的事件常见如下类型：键盘事件、鼠标事件、拖放事件、滚轮事件、定时事件、焦点事件、进入和离开事件（光标移入控件或者移出），移动事件（窗口位置变化），显示和隐藏事件，窗口事件（窗口是否为当前窗口）、以及常见的Qt事件：Socket事件、剪贴板事件、文字改变事.
2020-05-21 22:42:27
824
转载 Python参数体系的完整介绍
转资：Python 为什么会有命名关键字参数？ - 知乎https://www.zhihu.com/question/57726430千字预警！接下来的内容试图以最准确、同时尽可能清晰的语言，将Python函数定义时的形式参数，以及函数调用（使用）时的实际参数，其诸多形式分别介绍清楚，乍一看未必好理解，但完全值得反复阅读几次，到时定能给你茅塞顿开之感。本文假设你了解Python中元组(tuple)和字典(dict)等基本数据类型，并且知道函数定义# 函数定义，独立成块的代码，圆括号内是形
2020-05-19 12:34:56
367
转载 python aiohttp的使用详解
python aiohttp的使用详解转载自：https://www.jb51.net/article/163537.htm更新时间：2019年06月20日 14:56:16 作者：山上有风景这篇文章主要介绍了python aiohttp的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧1.aio...
2020-05-06 12:47:50
3092
2
转载 python 深入理解 赋值、引用、拷贝、作用域
https://www.cnblogs.com/jiangzhaowei/p/5740913.html在 python 中赋值语句总是建立对象的引用值，而不是复制对象。因此，python 变量更像是指针，而不是数据存储区域，这点和大多数 OO 语言类似吧，比如 C++、java 等 ~1、先来看个问题吧：在Python中，令values=[0,1,2];values[1]=va...
2020-04-07 09:01:02
148
原创 word自动设置表格格式
在处理word时，经常会需要调整表格样式，工作比较繁琐，收集整理了自动设置表格格式的宏，代码如下：Sub 设置表格格式() '功能：光标在表格中处理当前表格；否则处理所有表格！ Application.ScreenUpdating = False '关闭屏幕刷新 Application.DisplayAlerts = False '关闭提示 On E...
2020-04-07 08:09:52
1021
转载 python---aiohttp的使用
目录1.aiohttp的简单使用(配合asyncio模块)2.发起一个session请求3.在url中传递参数（其实与requests模块使用大致相同）4.获取响应内容（由于获取响应内容是一个阻塞耗时过程，所以我们使用await实现协程切换）5.特殊响应内容json（和上面一样）6.字节流形式获取数据（不像text,read一次获取所有数据）7.自定义请求头（和requests一样）8.自定义...
2020-04-02 18:44:05
354
转载 Python类变量和实例变量（类属性和实例属性）
Python类变量和实例变量（类属性和实例属性）<Python selfPython实例方法、静态方法和类方法>C语言中文网推出辅导班啦，包括「C语言辅导班、C++辅导班、算法/数据结构辅导班」，全部都是一对一教学：一对一辅导 + 一对一答疑 + 布置作业 + 项目实践 + 永久学习。QQ在线，随时响应！无论是类属性还是类方法，都无法向普通变量或者函数那样，在类的...
2020-03-25 20:23:16
990
转载 Scrapy-Redis代码实战
Scrapy-Redis代码实战Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下四种组件：Scheduler Duplication Filter Item Pip...
2020-03-04 12:05:17
263
转载 Python黑魔法 --- 异步IO（ asyncio） 协程
Python黑魔法 --- 异步IO（ asyncio） 协程人世间关注62017.01.17 11:12:26字数 3,396阅读 53,936python asyncio网络模型有很多中，为了实现高并发也有很多方案，多线程，多进程。无论多线程和多进程，IO的调度更多取决于系统，而协程的方式，调度来自用户，用户可以在函数中yield一个状态。使用协程可以实现高效的并发任务。P...
2020-03-01 14:49:56
137
转载 python---异步IO(asyncio)协程
python---异步IO(asyncio)协程目录简单了解定义一个协程（不同于上面的实例）创建一个任务（对协程进一步封装，可以查看状态等）绑定回调add_done_callback我也可以不使用回调函数，单纯获取返回值阻塞和await并发：使用gather或者wait可以同时注册多个任务，实现并发协程嵌套，将多个协程封装到一个主协程中协程停止上面讨论的都是在同一线程下的事件循环，下...
2020-03-01 14:48:34
404
转载 Scrapy之dupefilters(去重)以及源码分析/depth
避免重复访问 scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'2 DUPEFILTER_DEBUG = False3 JOBDIR = "保存记录的日志路径，如：/root/" # 最终路径为 /root/...
2020-02-25 00:51:05
1597
转载 Scrapy-redis之RFPDupeFilter、Queue、Scheduler
scrapy-redis去重应用看不懂，先存一下 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.http import Request 4 5 6 class ChoutiSpider(scrapy.Spider): 7 name = 'chouti' 8 allowed_domain...
2020-02-25 00:38:36
830
转载 Scrapy框架-分布式爬虫实现及scrapy_redis使用
Scrapy框架-分布式爬虫实现及scrapy_redis使用中乘风关注转载自：https://www.jianshu.com/p/b40c1f973c54scrapy是不支持分布式的。分布式爬虫应该是在多台服务器(A B C服务器)，他们不会重复交叉爬取(需要用到状态管理器)。有主从之分的分布式结构图重点一、我的机器是Linux系统或者是MacOSX系统，...
2020-02-24 23:59:45
649
转载 爬虫（十三）：scrapy中pipeline的用法
爬虫（十三）：scrapy中pipeline的用法当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理item pipeline的主要作用：清理html数据 验证...
2020-02-18 18:38:52
1846
转载 Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1)
Python爬取豆瓣音乐存储MongoDB数据库(Python爬虫实战1)1. 爬虫设计的技术 1）数据获取，通过http获取网站的数据，如urllib,urllib2,requests等模块； 2）数据提取，将web站点所获取的数据进行处理，获取所需要的数据，常使用的技术有：正则re，BeautifulSoup,xpath； 3）数据存储，将获取的数据有效的存储，常见的存...
2020-02-18 15:54:52
591
转载 Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)
Python爬虫获取异步加载站点pexels并下载图片(Python爬虫实战3)1. 异步加载爬虫 对于静态页面爬虫很容易获取到站点的数据内容，然而静态页面需要全量加载站点的所有数据，对于网站的访问和带宽是巨大的挑战，对于高并发和大访问访问量的站点来说，需要使用AJAX相关的技术来实现异步加载，即根据需要来获取数据，以pexels网站为例，按F12，切换到Network的XHR标签，通过...
2020-02-18 15:53:39
672
转载 Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2)
Python多线程爬虫与多种数据存储方式实现(Python爬虫实战2)1. 多进程爬虫 对于数据量较大的爬虫，对数据的处理要求较高时，可以采用python多进程或多线程的机制完成，多进程是指分配多个CPU处理程序，同一时刻只有一个CPU在工作，多线程是指进程内部有多个类似"子进程"同时在协同工作。python中有多种多个模块可完成多进程和多线程的工作，此处此用multiprocessin...
2020-02-18 15:48:11
685
转载 Python使用Scrapy框架爬取数据存入CSV文件(Python爬虫实战4)
Python使用Scrapy框架爬取数据存入CSV文件(Python爬虫实战4)1. Scrapy框架 Scrapy是python下实现爬虫功能的框架，能够将数据解析、数据处理、数据存储合为一体功能的爬虫框架。2. Scrapy安装1. 安装依赖包 1 2 yum install gcc libffi-devel python-devel ...
2020-02-18 15:47:13
4205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人