- 博客(206)
- 收藏
- 关注
RSS订阅原创 selenium headless 无头模式慢
最后测试发现升级到selenium最新版本，selenium==4.15.2。设置--headless=new，解决了，速度正常了。selenium设置headless=True发现非常慢headless=False要快很多。
2023-11-10 15:31:27
1159
1
原创 django cloudflare csrf 403
网站套了cloudflare flare发现登录接口403了，csrf验证失败，CSRF_TRUSTED_ORIGINS=[“网站域名.com”]debug设置为False。
2023-10-18 14:26:34
1231
原创 mac 启动mysql Error: Failure while executing； `/bin/launchctl bootstrap gui/501
然后直接用/usr/local/opt/[email protected]/bin/mysqld_safe命令启动，看到具体报错信息，提示权限不够，发现有个文件夹用户组不对，改下用户组就好了。查看 [email protected]文件，能看到具体的启动命令。homebrew 给的提示看不到具体消息。
2023-10-18 13:27:07
1654
原创 Windows10用Navicat 定时备份报错80070057
navicat定时任务实现也是创建一个Windows任务计划程序，创建好navicat定时备份后，可以在【任务计划程序】中看到，直接选中右键运行测试一下，点击运行后会状态会变成正在运行，但是不会启动navicat，可以去Documents\Navicat\MySQL\Servers\lnavicat连接\数据库\ 对应的文件夹下看看是否有文件正在生成，逐渐变大，说明定时任务就成功了。查找用户可以通过随便右键一个文件夹，然后下图所示，最后点击立即查找，在所查出来的所有用户中，双击，然后复制完整的用户名即可。
2023-10-17 01:06:45
447
原创 m3u8DL-RE Padding is invalid and cannot be removed
不加任何参数直接用m3u8DL-RE执行没问题，加了目录相关参数报错，最后发现原因是之前有旧的目录文件在，删掉就好了。
2023-10-01 22:32:53
192
原创 pycharm django template解析识别跳转失效
竟然是settings文件里的一句配置，原因也不知道，去掉就好了，windows有问题，mac正常，突然发现pycharm不能识别的django的静态文件和模板了，没法Ctrl+B跳转了。
2023-09-29 00:48:17
88
原创 google sitemap Sitemap could not be read
google一直也不提示具体原因。直到换个域名，发现可以提交sitemap。去别就是没有www的可以，带www的不行。应为sitemap的地址带www，但是sitemap里面的url内容是不带www，属于非法格式，所以一直报错。更正了sitemap地址后，其他的问题一并都解决了。想什么超出负载，绝收收录。
2023-09-24 05:30:19
233
原创 ValueError: check_hostname requires server_hostnam
可能是代理原因，关掉ss，v2,clash等。
2023-09-20 19:59:51
56
原创 Python requests爬虫豆瓣图片返回数据为空。
爬个豆瓣图片，记录个小问题，发现爬取豆瓣原图的时候拿不到数据，返回为空，爬小图可以，爬其他网站的也都正常，最后发现是header中If-Modified-Since这个参数的原因，加上了就拿不到数据，去掉就行。
2023-09-08 22:14:10
848
原创 Python url转换成a标签
tornado中自带的工具可以实现from tornado.escape import linkifylinkify('https://www.google.com/')Out[8]: '<a href="https://www.google.com/">https://www.google.com/</a>'linkify('https://www.google.com/',extra_params='target="_blank"')Out[9]: '<.
2022-05-30 16:36:51
824
1
原创 Python 正则 匹配URL
正确匹配URL的正则表达式网上流传着多种匹配URL的正则表达式版本，但我经过试验，最好用的还是从stackoverflow上查到的：(https?|ftp|file)://[-A-Za-z0-9+&@#/%?=~_|!:,.;]+[-A-Za-z0-9+&@#/%=~_|]IP地址、前后有汉字、带参数的，都是OK的。另外几个有问题的版本：摘自微软MSDN：(ht|f)tp(s?)\:\/\/[0-9a-zA-Z]([-.\w]*[0-9a-zA-Z])*(:(
2022-05-30 13:21:15
1607
原创 Python subprocess.run 执行ffmpeg卡主无响应
跟requests库一样，加一个timeout参数即可，超时自动报错。subprocess.run(command,timeout=60)
2022-05-12 21:46:53
1018
原创 ffmpeg下载直播流视频测试，2022.05可用
ffmpeg -i https://test.spotme.com/hls_benchmark_stream/index.m3u8 -c copy dump.flv
2022-05-09 17:20:24
965
原创 window execjs执行js脚本报错：execjs._exceptions.ProgramError: Error: 此脚本包含恶意内容，已被你的防病毒软件阻止
execjs._exceptions.ProgramError: Error: 此脚本包含恶意内容，已被你的防病毒软件阻止用用人JScript环境会报错。换成node环境即可。
2022-05-06 22:28:26
1478
原创 Python全角与半角相互转换
unicode - Python: How can I replace full-width characters with half-width characters? - Stack Overflow2.9 将Unicode文本标准化 — python3-cookbook 3.0.0 文档
2022-03-12 15:09:39
1508
原创 pycharm UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\u0e21‘ in position 17: illegal mult
命令行输出正常，pycharm打印报错。文件编码试了gbk和utf-8都不行。如下图：原来还要再pycharm设置系统和项目级别的编码，都设置成utf-8就可以了。如下图：
2022-03-12 15:05:29
739
原创 a padding to disable MSIE and Chrome friendly error page
https://github.com/python-poetry/poetry/issues/4398
2021-12-19 13:36:13
8883
2
原创 python pillow 修改gif尺寸大小
from PIL import Imagefrom PIL import ImageSequenceim = Image.open('large.gif')resize_frames= [frame.resize((frame.width//2,frame.height//2)) for frame in ImageSequence.Iterator(im)]resize_frames[0].save("small.gif", save_all=True, append_images=resize.
2021-09-24 18:33:16
1096
原创 图片加载完在执行js
// $(window).on("load", function () {// var article_summarys = $('.article_summary')// for (var i = 0; i < article_summarys.length; i++) {// var article_summary = article_summarys[i]// lay_one_article(article_summary)// .
2021-06-14 11:24:36
517
原创 Es ConnectionError([SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1056)) caused by: SSLErr
elasticsearch.exceptions.SSLError: ConnectionError([SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1056)) caused by: SSLError([SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1056))
2021-06-08 19:20:53
2943
4
原创 RequestError(400, ‘mapper_parsing_exception‘, ‘Root mapping definition has unsupported parameters
RequestError(400, 'mapper_parsing_exception', 'Root mapping definition has unsupported parameterses相关库的版本如下：django-elasticsearch-dsl==7.2.0elasticsearch==7.12.0elasticsearch-dsl==7.2.0之前mac上不小心启动了一个homebrew的es6的版本，倒是切了半天es版本还是报错。把homebrew的es停了手动启动e
2021-04-28 00:38:46
1128
原创 jquery 基于某元素基础上的上下文范围选择器
之前通过选定的某元素的基础上，在进行jquery的css选择，搜索了子选择器，链式选择器，范围选择器、变量选择器都不对，今天慢慢找了下，发现这个功能叫选择器的上下文。。。平时看的菜鸟教程，有些内容不全，没介绍这个context参数。官方的api上写了。https://api.jquery.com/jQuery/#jQuery-selector-contextjQuery( selector [, context ] ) selector Type:Selector A stri..
2021-04-12 01:26:56
227
原创 实现图片验证码点击刷新
基础Django语法的指定一下img的onclick='this.src="{% url "user:captcha" %}?"+Math.random()'> 注意要添加随机数Math.random()，让浏览器每次都读取新地址。<img id="refresh" src='{% url "user:captcha" %}?Math.random()' alt="" onclick='this.src="{% url "user:captcha" %}?"+Math.r...
2021-04-05 11:51:58
1276
原创 ajax提交form表单，禁用默认表单提交并保留input的数据校验
设置表单的onsubmit="return login()"，让login函数返回false，注意false小写，Python写惯了，之前写成False。html代码:<form method="POST" id="login_form" onsubmit="return login()"> <div class="input"> <input type="text" name="username" plac.
2021-04-05 11:36:40
539
原创 django 提交表单密码错误时保留密码
password = forms.CharField(label='密码', max_length=100, widget=forms.PasswordInput(render_value=True, attrs={'placeholder': '密码(最短6位)'}))https://docs.djangoproject.com/en/2.2/ref/forms/widgets/#passwordinputhttps://st...
2021-02-08 23:49:45
393
原创 浏览器保存下载不带后缀的图片文件名命名规则
最近搞爬虫的时候对于下载图片的时候如何命名碰到的问题。对于一般地址规则的图片，例如：https://pic2.zhimg.com/80/v2-2e4868da9f91f3320f3fdad248c28ff8_720w.jpg?source=1940ef5c，https://wx3.sinaimg.cn/mw690/005uuxWfly1gn6r1cxl15j30xc0ipjz0.jpg之前都是这么：filename = url.split('/')[-1].split('?')[0]或
2021-01-31 12:28:18
3332
原创 https加密了哪些内容，Charles抓包演示https加密
https加密原理不多说了，我是看了这篇文章觉得不错：https://zhuanlan.zhihu.com/p/43789231至于如何演示https加密，以及到底加密了哪些内容一直没搞清楚。今天终于用Charles抓包形象的演示理解了。之前用Fiddler不太行，Fiddler默认不抓https的包。...
2021-01-29 19:57:53
1199
原创 Python 获取JavaScript变量，JavaScript转Python
以百度未登录状态下为例：import js2pyimport requestsfrom lxml import etreeurl = 'https://www.baidu.com'headers = { 'Connection': 'keep-alive', 'Cache-Control': 'max-age=0', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows .
2021-01-28 20:07:58
2285
原创 Python kmp算法部分匹配表(pmt)和next
# -*- coding: utf-8 -*-def get_part_match_table(target_str): """ 获取部分匹配表 例如： target_str = 'aaabaa' part_table = [0,1,2,0,1,2] :param target_str: 要匹配的字符串 :return: """ i = 1 j = 0 part_table = [0] * len(target_s.
2021-01-17 16:53:20
875
原创 python 原地快速排序
#核心部分def partition(arr, low, high): i = low #最初的pivot位置 pivot = arr[high] # 取最后一个元素当做pivot for j in range(low, high): # 当前元素小于或等于 pivot if arr[j] <= pivot: arr[i], arr[j] = arr[j], arr[i] i = i + 1 .
2021-01-14 14:49:45
805
原创 celery 定时任务demo
目录结构：celery_schedule_demo├── __init__.py├── celery_server.py└── celery_task.pycelery_server.py# -*- coding: utf-8 -*-from celery import Celerymyapp = Celery('schedule')myapp.conf.broker_url = 'redis://localhost:6379/0'myapp.conf.result_b..
2021-01-05 00:38:18
434
2
原创 mongodb配置replica set 主从
简单点，单机不同端口两个节点，一主一从：mongod1.confsystemLog: destination: file path: /usr/local/var/log/mongodb/mongo.log logAppend: truestorage: dbPath: /server/mongodb/data1net: bindIp: 127.0.0.1 port: 40000replication: replSetName: rs-demomongod.
2020-11-26 00:57:52
720
原创 查询 mysql 事务状态
SELECT * FROM information_schema.innodb_trx\Ghttps://dev.mysql.com/doc/refman/5.7/en/information-schema-innodb-trx-table.htmlhttps://stackoverflow.com/a/30555715/9917670
2020-11-22 16:22:30
1082
原创 confluent kafka 单机集群、消费者组、多分区配置
mykafka_producer.py# -*- coding: utf-8 -*-from confluent_kafka import Producerfrom confluent_kafka.admin import AdminClientfrom confluent_kafka.cimpl import NewTopictopic = 'topic-demo'groud_id = 'demo.id'# kafka单机集群kafka_host = 'localhost:909.
2020-11-18 23:10:33
1460
原创 supervisor 重载修改、新添加的配置文件
之前习惯用reload 命令，这直接重启supervisord进程，相当于重启了所有supervisor程序。但是有时候只改动了某个配置文件，只想重载这个配置文件然后重启，不影响其他配置文件。可以用update命令supervisorctl update如果新添加了一个配置文件，此时update命令没用了，要用reread命令，重新读取配置文件。然后再update重启supervisorctl reread...
2020-11-18 22:37:44
7359
原创 mongoengine.errors.OperationError: Update failed (BSON field ‘no_cursor_timeout‘ is an unknown field
updated_obj = cls.objects(prefix=id_prefix).modify(set__prefix=id_prefix, inc__current=1, upsert=True, new=True)mongoengine.errors.OperationError: Update failed (BSON field 'no_cursor_timeout' is an unknown field.)
2020-11-11 23:52:28
1593
原创 mongodb WT_ERROR: non-specific WiredTiger error
mac mongo版本降级后无法启动，日志错误如下：2020-11-11T23:09:39.744+0800 E STORAGE [initandlisten] WiredTiger (-31802) [1605107379:744746][7046:0x11559ddc0], file:WiredTiger.wt, connection: unable to read root page from file:WiredTiger.wt: WT_ERROR: non-specific WiredTi
2020-11-11 23:19:02
3201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人