- 博客(109)
- 收藏
- 关注
RSS订阅原创 MySQL笔记
参考资料：MySQL 5.7 从入门到实战 作者：张婷b站视频：老杜带你学_mysql入门基础（mysql基础视频+数据库实战)所有的操作都是通过命令去做的连接 mysqlservice mysql start # 启动service mysql stop # 停止service mysql restart # 重启service mysql status # 服务状态mysql -u root -p # 进入 MySQL数据库操作注意：SQL 命令结束时都要带有 ; 符号。
2022-01-02 20:55:12
441
原创 openpyxl-(操作Excel)
文档：https://openpyxl.readthedocs.io/en/stable/index.html注意事项：1、查看正在打开的excel表格就不会报错，但是，如果操作正在打开的excel表格，就会报错。# 写入异常，因为你正在打开当前的 excel。关闭即可。PermissionError: [Errno 13] Permission denied: '审计模板.xlsx'1、实例化感觉好像两个都可以用。from openpyxl import load_workbook
2021-10-02 14:43:05
558
2
转载 python-DRF_restful规范_APIView源码分析_Request类分析_序列化组件的使用及字段类型和字段参数_保存功能_字典校验_read_only和write_only
DRF-Django rest framework1. restful1. 什么是RESTful REST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移” REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通过URL来获取资源的表征，获得这些表征致使这些应用转变状态 所有的数据，不过是通过网络获取的还是操作（增删改查）的数据，都是资源，将一切数据视为资源
2021-04-17 16:33:20
207
转载 一文解读 virtualenv & venv & pipenv 之间的联系与区别
Python应用程序通常会使用不在标准库内的软件包和模块，且有时会需要包或者模块的特定版本，如应用程序A需要特定模块的1.0版本但应用程序B需要2.0版本。这意味着只安装其中一个版本可能无法满足每个应用程序的要求，此时我们可以使用虚拟环境来解决这一问题。 在学习虚拟环境的时候遇到了virtualenv、venv、pipenv等名词，这些都与Python的虚拟环境有关，那么这些到底是什么及相互之间又有什么联系呢？virtualenv:virtualenv 是目前最流行的 Python 虚拟环...
2021-04-17 16:29:54
1033
转载 python 进阶知识点selenium的cookies转变成requests的cookies
一. 将selenium的cookies转换成requests的字符串cookies1.selenium的cookies写入json文件with open('cookies.json','w') as f: f.write(json.dumps(driver.get_cookies()))2.selenium的cookies改成requests字符串cookiesself.cookies = '; '.join(item for item in [it...
2021-04-17 16:26:31
840
转载 python 视频下载神器(you-get) 的安装和用法
0x01 安装pip3 install you-get$ pip3 install --upgrade you-get命令行输入you-get 如果有以下回显说明安装成功 0x02 用法Usage: you-get [OPTION]... [URL]...Startup options:-V | --version 版本信息-h | --help 帮助Dry-run option...
2021-04-17 16:25:58
2815
1
转载 django 查询时间范围_Django 查询时间段
Django 查询时间段大于某个时间gtnow = datetime.datetime.now()start = now – datetime.timedelta(hours=23, minutes=59, seconds=59)a=yourobject.objects .filter(youdatetimcolumn__gt=start)[, , ]大于等于某个时间：gte查询的时候用a=yourobject.objects .filter(youdatetimcolumn_...
2021-04-17 16:25:18
2754
转载 Git使用教程：最详细、最傻瓜、最浅显、真正手把手教！
转载自 Git使用教程预警：因为详细，所以行文有些长，新手边看边操作效果出乎你的预料）一：Git是什么？ Git是目前世界上最先进的分布式版本控制系统。 工作原理 / 流程： Workspace：工作区 Index / Stage：暂存区 Repository：仓库区（或本地仓库） Remote：远程仓库二：SVN与Git的最主要的区别？SVN是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完...
2021-04-01 22:46:37
61
转载 mysql 之general_log日志开启详解以及清空
General_log 详解1.介绍开启 general log 将所有到达MySQL Server的SQL语句记录下来。一般不会开启开功能，因为log的量会非常庞大。但个别情况下可能会临时的开一会儿general log以供排障使用。 相关参数一共有3：general_log、log_output、general_log_file show variables like 'general_log'; -- 查看日志是否开启 set global general_log=on;...
2021-03-29 09:20:43
1786
转载 Python Selenium破解滑块验证码最新版（GEETEST 95%以上通过率）
一、滑块验证码简述 有爬虫，自然就有反爬虫，就像病毒和杀毒软件一样，有攻就有防，两者彼此推进发展。而目前最流行的反爬技术验证码，为了防止爬虫自动注册，批量生成垃圾账号，几乎所有网站的注册页面都会用到验证码技术。其实验证码的英文为 CAPTCHA（Completely Automated Public Turing test to tell Computers and Humans Apart），翻译成中文就是全自动区分计算机和人类的公开图灵测试，...
2021-03-29 09:20:35
2060
1
转载 Python 并行分布式框架 Celery 详解
Celery 官网：http://www.celeryproject.org/Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.htmlCelery 官方文档中文版：http://docs.jinkan.org/docs/celery/celery配置：http://docs.jinkan.org/docs/celery/configuration.html#configuration参考：http://www.cnbl...
2021-03-29 09:20:27
962
1
转载 python 人脸识别demo
使用python第三方模块face_recognition实现人脸识别，并根据已命名的图片把名字显示在屏幕上。安装模块 需要安装opencv，face_recognition,face_recognition模块需要先安装dlib，而dlib需要先安装cmake和boost 所以按顺序安装pip install cmakepip install boostpip install dlibpip install face_recognitionpip install opencv-p...
2021-03-29 09:20:20
171
原创 selenium add_argument 常用参数表收集
https://peter.sh/experiments/chromium-command-line-switches/chrome_options.add_argument('--user-agent=""') # 设置请求头的User-Agentchrome_options.add_argument('--window-size=1280x1024') # 设置浏览器分辨率（窗口大小）chrome_options.add_argument('--start-maximized') # 最大
2021-03-29 09:19:45
770
转载 【Python爬虫+js逆向】使用Python爬取腾讯漫画的逆向分析（典型签名验证反爬虫的解决方案）——以腾讯动漫《一人之下》第一话为例
前一段假期期间，博主已经自学完了Python反爬虫的相关内容，面对各大网站的反爬机制也都有了一战之力。可惜因实战经验不足，所以总体来说还是一个字——菜。前两天，在学习并实战爬取了博主最爱看的腾讯动漫后，博主对于js逆向的相关反爬技术有了更加深入的理解。目录目标网站爬取分析反爬思路分析反爬解密分析Python代码实战分析解密数据获取JavaScript逆向漫画数据解析整体代码优化整体代码...
2021-03-29 09:19:36
2022
1
转载 python实现可视化的MD5、sha256哈希加密小工具
效果图：刚启动的状态输入文本、触发加密按钮后支持复制超过十条不全量显示代码import hashlibimport tkinter as tk#窗口控制windowss=tk.Tk()windowss.title(‘Python_md5’)#窗口title，并非第一行windowss.geometry(‘820x550’)windowss.resizable(width=True, height=True)#宽度可变，高度可变#label组件-文本标...
2021-03-29 09:19:26
219
转载 [进阶]-Python3 异步编程详解（史上最全篇）
目录1 什么是异步编程1.1 阻塞1.2 非阻塞1.3 同步1.4 异步1.5 并发1.6 并行1.7 概念总结1.8 异步编程1.9 异步之难(nán)2 苦心异步为哪般2.1 CPU的时间观2.2 面临的问题2.3 解决方案3 异步I/O进化之路3.1 同步阻塞方式3.2 改进方式：多进程3.3 继续改进：多线程3.4 非阻塞方式3.5 非阻塞改进3.5.1 epoll3.5.2 回调(Callback)3.5.3 事件循环（Event Loop）...
2021-03-29 09:19:19
824
1
转载 python3实现链表的基础操作
python3实现链表的基础操作实现的步骤：一、建立链表模型二、遍 历 链 表三、获取链表长度四、追 加 节 点五、插 入 操 作六、主 调 函 数分析：（1）建立链表模型：首先我们节点的概念如图中的单个方块（代码实现）：class linkNode(): """ 链表节点类 """ def __init__(self,date): self.date=date self.next=None其次我们脑...
2021-03-29 09:19:11
616
转载 Python的运行效率太低？几行代码快速提升！！！
快速提升Python的运行效率 1、GPU加速2、CPU加速2.1、定义函数2.2、jit加速2.3、运行 “佐佑思维”公众号有更多关于Python的小知识，欢迎交流！ 亲测有效 1、GPU加速利用多个GPU提升运行效率#利用多个GPU加速import osos.environ['CUDA_VISIBLE_DEVICES'] = '2,1,0'这是存在多个GPU的电脑上可以实现的，只要放在你编写的代码中即可。 其中，os库提供通用的，基本的操作系统交互功能，与操...
2021-03-28 20:22:40
821
转载 常见反爬虫机制
在采集网站的时会遇到一些比数据显示在浏览器上却抓取不出来更令人沮丧的事情。也许是向服务器提交自认为已经处理得很好的表单却被拒绝，也许是自己的 IP 地址不知道什么原因直接被网站封杀，无法继续访问。原因可能是一些最复杂的 bug，也可能是这些 bug 让人意想不到（程序在一个网站上可以正常使用，但在另一个看起来完全一样的网站上却用不了）。最有可能出现的情况是：对方有意不让爬虫抓取信息。网站已经把你定性为一个网络机器人直接拒绝了，你无法找出原因。接下来就介绍一些网络采集的黑魔法（HTTP he...
2021-03-28 20:22:19
705
转载 一文搞懂什么是TCP\IP协议
什么是TCP/IP协议?计算机与网络设备之间如果要相互通信,双方就必须基于相同的方法.比如如何探测到通信目标.由哪一边先发起通信,使用哪种语言进行通信,怎样结束通信等规则都需要事先确定.不同的硬件,操作系统之间的通信,所有这一切都需要一种规则.而我们就将这种规则称为协议 (protocol).也就是说，TCP/IP 是互联网相关各类协议族的总称。TCP/IP 的分层管理TCP/IP协议里最重要的一点就是分层。TCP/IP协议族按层次分别为 应用层，传输层，网络层，数据链路层，物理...
2021-03-28 20:22:12
782
转载 解决 Win10 安装 MongoDB 4.0 无法启动服务的问题（ 踩了个大坑）
最近学爬虫学到了建代理池，redis 官方没有 Windows 版的，微软维护的已经好久没更新了，所以就在想着换成 MongoDB。于是一趟被我复杂化的踩坑之旅就开始了，同时也记录一下，避免有人遇见跟我一样的问题。下面是分析步骤，解决方法请下拉（后面若用到 CMD 或 Poweshell，请用管理员权限）首先在 官网 上下载 msi 安装包开始安装。 我不喜欢把软件装在系统盘，所以我选择 Custom，自己选要装在哪里，然后就跳出来下面这张图。针对下面这张图我翻译一下官方文档上的内容...
2021-03-28 20:22:06
844
转载 python爬虫学习
Python爬虫(1):基本原理Python爬虫(2):Requests的基本用法Python爬虫(3):Requests的高级用法Python爬虫(4):Beautiful Soup的常用方法Python爬虫(5):豆瓣读书练手爬虫Python爬虫(6):煎蛋网全站妹子图爬虫Python爬虫(7):多进程抓取拉钩网十万数据Python爬虫(8):分析Ajax请求爬取果壳网Python爬虫(9):Cookie介绍和模拟登录Python爬虫(10):Selenium+PhantomJS基本操作Pyth...
2021-03-28 20:21:59
265
转载 ubuntu中python虚拟环境安装mysqlclient报错解决办法
1.安装mysqlclientpip install mysqlclient2.如果错误如下3.解决办法一sudo apt-get install update #更新软件列表sudo apt-get install upgrade #更新软件4.更新后继续下载，如再次报错。错误同上sudo apt-get install libmysqlclient-dev5.再次下载成功安装...
2021-03-28 20:21:52
348
转载 使用pycharm在本地开发，并实时同步到服务器
本教程使用的是python 3 和django为事例打开pycharmfile -> new project... -> 弹出窗口点击djangolocation就是新建的项目在本地的路径project interpreter 项目解释器 -> 我这里选择的是python 3.6more se...
2021-03-28 20:21:46
172
转载 python开发app实战
准备工作 利用python开发app需要用到python的一个模块Kivy，kivy是一个开源的，跨平台的Python开发框架，用于开发使用创新的应用程序。简而言之，这是一个python桌面程序开发框架（类似wxpython等模块），强大的是kivy支持linux、mac、windows、android、ios平台，这也是为什么开发app需要用到这个模块。Python系列教程,免费获取,遇到bug及时反馈,讨论交流可加扣裙<60 61 15 02 7> 虽然kivy是跨平台的，但...
2021-03-28 11:25:26
607
转载 python3 nmap 函数简介
简介python-nmap是一个使用nmap进行端口扫描的python库，它可以很轻易的生成nmap扫描报告，并且可以帮助系统管理员进行自动化扫描任务和生成报告。同时，它也支持nmap脚本输出。可以看到python-nmap只有四个py文件(__init__.py, nmap.py, test.py, test_nmap.py)，下面就一一进行解读 __init__.py 除去几十行的注释外，真正的代码只有四行，基本内容就...
2021-03-27 15:46:51
563
转载 解决Linux关闭终端(关闭SSH等)后运行的程序自动停止
CSDNGitHub解决Linux关闭终端(关闭SSH等)后运行的程序自动停止AderXCoding/system/tools/ssh_exit 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可 1 问题发现之前在服务器上起一个python的服务, 放到后台运行. 我关闭这个SSH之后，该服务不可用，再次登入到服务器，已经没有这个python进程.为此我写了一个测试程序来描述此问题/// hello.c/#include <stdio...
2021-03-27 15:46:43
2357
原创 selenium 使用已打开的chrome浏览器
首先说明下这样做的好处：就是你不用验证登陆状态，可以先登陆，再爬虫1.先打开windows cmd 进入chrome安装目录，一般在C:\Program Files (x86)\Google\Chrome\Application下，然后运行chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\selenum\AutomationProfile"就打开了一个chrome浏览器，后面就是操作这个浏览器了，你可以先登陆，然后cooki...
2021-03-27 15:46:36
983
转载 pyppeteer：比 selenium 更高效的爬虫利器
pyppeteer github 地址：https://github.com/miyakogi/pyppeteerpyppeteer 英文文档地址：https://miyakogi.github.io/pyppeteer/ pyppeteer 官方文档 API Reference ：https://miyakogi.github.io/pyppeteer/reference.htmlpuppeteer（ Nodejs 版 selenium ...
2021-03-27 15:46:15
3009
转载 Python二维码应用（一）QRcode二维码生成&识别
基于Python的二维码实验一、机器视觉之QRcode二、基于Python的QRcodetest（一）配置环境（二）生成自己的二维码（三）识别二维码三、调用opencv库摄像头识别图像（一）用opencv找出（条形码&二维码）位置（二）调用解码函数进行解码一、机器视觉之QRcode问：什么是QRcode呢？ 答：二维码（2-dimensional bar code），是用某种特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的图形记录数据符号信息的。它能将数...
2021-03-27 15:46:01
3017
转载 强迫症适用的python中文对齐问题.format细节修改
原代码print('{:^9}\t'.format(ii),end = '') # 采用居中对齐 左图print('{:<9}\t'.format(ii),end = '') # 采用左对齐 右图运行结果 一点都不齐 =，=原因因为我们的输出结果中有中文，当我们输出的中文宽度不够约定的宽度时，系统会自动进行填充。而问题恰恰出现在填充这里：系统填充的是英文字符，而我们输出占用的是中文字符的宽度。单位不一致，自然会显得很别扭。解决方案...
2021-03-27 15:45:51
481
转载 python selenium破解极验3滑动验证码
python selenium破解极验3滑动验证码，解决物理公式不可用的问题一、采用物理加速度公式算法def get_track(self, distance): """ 获取滑块移动轨迹的列表 :param distance: 第二个缺块的左侧的x坐标 :return: 滑块移动轨迹列表 """ track = [] current = 2 mid = distance * 1 / 2 mid0 = distance...
2021-03-27 15:45:45
291
转载 python数据结构与算法总结
python常用的数据结构与算法就分享到此处，本月涉及数据结构与算法的内容有如下文章：《数据结构和算法对python意味着什么？》《顺序表数据结构在python中的应用》《python实现单向链表数据结构及其基本方法》《python实现单向循环链表数据结构及其方法》《python实现双向链表基本结构及其基本方法》《python实现双向循环链表基本结构及其基本方法》《python实现堆栈数据结构及其基本方法》《Python实现双端队列数据结构及其基本方法》《python中的树数据结构...
2021-03-27 15:45:38
74
转载 selenium.common.exceptions.WebDriverException~ Message~ ‘chromedriver‘解决
今天在做selenium测试的时候,可能是很久没用了,直接报了这个异常! 相信很多第一次学习selenium的同学们也对这个异常不陌生了,但具体该如何解决这个bug呢? 主要的原因还是因为selenium模拟...
2021-03-27 15:45:32
422
转载 pyinstaller设置图标出现“struct.error~ unpack requires a buffer of 16 bytes”
我直接用png图片改后缀名为ico，然后pyinstaller -i icon.ico app.py 报错：struct.error: unpack requires a buffer of 16 bytes ，解决方法：使用在线转换ico工具来转换图片就可以了，需要转换成尺寸为16*16的 这里有一个在线转换成ico的工具：http://ico.duduxuexi.com/...
2021-03-27 15:45:26
1745
1
转载 python+appium，回车，手机键盘等调用
代码就一句driver.keyevent()括号内填入的是物理按键的数字代号代号表： 电话键KEYCODE_CALL 拨号键 5 KEYCODE_ENDCALL 挂机键 6 KEYCODE_HOME 按键Home 3 KEYCODE_MENU 菜单键 82 KEYCODE_BACK 返回键 4 KEYCODE_SEARCH 搜索键 84 KEYCODE_CAMERA 拍照键 27 KEYCODE_FO...
2021-03-25 09:38:37
777
转载 Appium-控制多台安卓设备执行的入门级实现
环境：win7 appium-desktop 夜神模拟器（多开器） 前言：在浏览了testerhome社区大量的关于Appium-grid的实现方式，鉴于博主刚刚入门appium，水平有限，还没有到去修改appium源码的能力，另外理想的情况实现应该是全命令行实现驱动appium server，然后模拟器执行测试，后面会继续研究更理想的情况夜神配置多安卓模拟器安装新版的夜神模拟器之后，桌面上会有一个多开器的工具，添加一个新的安卓设备，可以直接复制之前已经安装的模拟器，这里博主已经启动了两...
2021-03-25 09:37:56
563
转载 Appium中文API文档
转载自：https://blog.csdn.net/qq_30044187/article/details/52447293?locationNum=5python+appium方法整理：https://blog.csdn.net/bear_w/article/details/50330565python+appium方法整理2：https://blog.csdn.net/bear_w/article/details/50330565global driver# 元素定位driver....
2021-03-25 09:35:19
2306
转载 Django中ajax的get请求使用示例
普通请求普通请求：会携带整个页面提交，最明显特征是刷新页面，并且请求可能阻塞整个服务。这样会导致请求内容和响应内容冗余，用户体验差。基于这些问题出现了ajax请求。AJAX请求Ajax介绍：asynchronousJavascript and xml(异步JS 和 xml)。异步不会阻塞主线程。1.ajax可以发起局部请求，页面整体不刷新，局部刷新。2.Ajax可以发起异步请求，请求过程中不会阻塞web正常操作和访问。Ajax需要js编写。原生js繁复，我们通常用jq封装过的aja...
2021-03-25 09:29:09
704
转载 python+appium获取元素属性值
元素的属性我们经常会用到，当定位到某个元素后，有时会需要用到这个元素的text值、className、resource-id、checked等。 一般标准的属性我们都可以通过get_attribute(“属性名称”)来获取，我们来看看下面截图的元素都是怎么获取的吧。从上到下来看。我们从text开始讲，我们先通过xpath方式定位到这个元素 获取text方法有：虽然有两种方法，但一般都用第一种，因为写法比较简单。知道有第二种方法就好了。获取resource-id值...
2021-03-25 09:28:37
920
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人