- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 微信自动化发送消息以及点击
需求来源：公司在更新一些某信数据的时候，总是按照电脑的像素来对为获取，每次部署总需要更新一下代码的位置，为了代码能够更加的严谨，适用于更多的电脑，本次进行了调研更新完善代码备注：本次代码仅适用于win环境，因为mac环境缺少某些包，如果是mac请自行调研相关第三方库进行使用前期准备：1、python准备，本文在此使用的为3.8.5版本，如有相关问题，请自行问问度娘哦，哈哈2、第三方库：import reimport sysimport timeimport pyperclipfrom .
2021-11-19 15:28:59
1404
1
原创 爬虫重定向问题
与大神一起工作的日常问题1：*之前一直在使用requests进行爬虫，虽然说也能执行并且获取数据，但是相对来说scrapy更为有效* scrapy日常出错背景：今天在进行scrapy修改的时候发现requests 重定向问题：requests的重定向只需要在请求的时候添加：allow_redirects=False样例：r = requests.get(‘http://github.com’, allow_redirects=False)scrapy简单重定向：遇到简单的框架性的
2021-03-30 19:55:34
619
原创 qcc信息爬虫获取（亲测有效）
废话不多说，直接上主题：如果说有什么问题的话，可能就是文字与URL的转换区别userAgent = [“Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0”,“User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11Opera 11.11”,“User-Agent:
2020-10-27 17:52:16
2470
1
原创 Fiddler配置及使用
使用Fiddler并不是单独安装过Fiddler即可，需要使浏览器能够通过Fiddler进行转交，将内容进行转发，即可查看到对应的网页内容通过网盘链接进行下载：ProxyswitchySharp_V1.0_XiTongZhiJia.zip下载：链接：https://pan.baidu.com/s/15EAnL4VAR252qboXw2brBA提取码：tmij复制这段内容后打开百度网盘手机App，操作更方便哦Fiddler下载链接：https://pan.baidu.com/s/1mqgM
2020-10-13 17:53:37
797
原创 Python图片识别
本文不介绍那么多，直接上内容一、需要下载的文件：tesseract-orcpip install pytesseract # python与tesseract-orc之间的关联语言包：简体中文包，繁体中文包将上面下载到的东西进行安装即可二、环境配置：tesseract-orc下载完毕之后傻瓜式安装即可但是一定记住安装的路径，等下需要配置系统环境变量增加一个TESSDATA_PREFIX变量名变量值还是我的安装路径：D:\python_tozhan\Tesseract-OCR
2020-09-22 15:22:39
700
原创 在线教你如何学习多国语言
首先介绍一下自己的想法来源，现在网站上基本上就是有道翻译等等进行一个翻译的软件，对于我们常用的英语还好说，但是对于西班牙语、荷兰语等等就不支持进行读出来了，本章就介绍一下如何运用python去写发音脚本while True: try: s = input(‘输入自己想要读出来的文字，也可以是句子，按回车执行：’) speaker.Speak(s) except: if sys.exc_type is EOFError: .
2020-08-29 14:47:27
695
原创 Ubuntu部署scrapy框架---crontab部署
1、编写脚本随便找一个位置创建.sh文件为了方便，本文创建在项目的同级目录中创建文件包 ：mkdir -- 文件名创建文件： vim scrapy_shscrapy_sh内容：export中启动虚拟环境cd 进入到启动的scrapy项目中scrapy crawl pythonPosition 为启动项目，一般为spiders文件中的对应的py文件，将.py去掉即为启动方法>> 为重定向 pythonPosition.log 2>&1 这句就是将运行的日志
2020-06-11 18:17:00
212
原创 下载到本地的vue项目相关配置
安装vue：https://www.cnblogs.com/1285026182YUAN/p/10540602.html第二种：https://www.jianshu.com/p/4023b70ab737webpack：https://blog.csdn.net/github_38336924/article/details/100020408
2020-06-09 17:35:05
239
原创 Django restframework实现的去重
使用distinct进行去重，例子：gap = Vocation.objects.values('change_time').distinct().count()进行去重计算，使用values找到需要去重的字段模板：xxxx.objects.values("field_name").distinct()#或者xxxx.objects.distinct().values("field_name") ...
2020-06-09 10:32:34
526
原创 python操作excel表之---写入表最舒服的第三方
用过openpyxl、xlrd、xlwd等操作excel的第三方库之后，自我感觉最好用的就是xlsxwriter模块了，下面介绍一下自己使用之后的感觉1、xlsxwriter模块介绍xlsxwriter模块可以想excel表格中导入文本、数字、公式图片等等许多功能但是xlsxwriter也有个非常大的缺点：不支持读取excel表格，也不能修改已经存在的excel表格，也就是说如果使用该模块去操作excel表，那么就必须从新创建文件进行文件写入工作，否则就会覆盖数据导入：import xlsxwri
2020-06-06 17:54:23
870
原创 json.loads与eval的区别，小心使用
对json.loads与eval解析json.loads对于格式的转换仅限于双引号之内的json格式字符串转化，单引号格式的数据没有兼容性，不能够进行转换而eval对于单引号与双引号的数据并没有严格的要求，做一下试验就能一目了然了双引号：test = '{"m":"shopitemsearch","vm":"nw","sversion":"4.6","shopId":106376474,"sellerId":1779881393,"style":"wf","page":1,"sort":"_sale
2020-05-27 16:00:10
524
2
原创 python进行爬虫设置代理ip之后不知道是否已经启用代理ip
设置代理ip：根据每个代理平台的格式不同，代理设置的方式也不尽一致，这里进行演示芝麻代理的配置：def ip_get(): url = '形成的代理的链接' ip_list_con = requests.get(url=url).json() ip_list = ip_list_con['data'] ip_cookie = [] for i in ip_list: ip_cookie.append(str(i['ip']) + ":" + str
2020-05-21 15:26:33
4054
原创 执行exe文件展示报错
python使用installer打包exe之后出现闪退的情况，想查看相关的报错信息：使用cmd，进入到exe所在的文件包内，执行exe文件就可以展示出来错误信息，而不会闪退；大部分的闪退基本上就是模块没有导入：打包单文件涉及到特殊模块时，使用 pyinstaller -F -p 模块路径; demo.py...
2020-05-06 09:14:06
766
原创 解决本地运行项目时产生的：（1043, 'Bad handshake'）问题和1193问题
问题产生的原因旧版pymysql不支持新的MySQL链接解决：更新pymysql即可python -m pip uninstall pymysqlpython -m pip install pymsyql此时问题已经决绝，但是就又出现一个问题：sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1193, “Unkn...
2020-05-04 10:54:09
1925
转载 工具tcping
ping这个小工具大家都非常熟悉，但是他不能ping端口，当我们需要知道目的地址的某端口是否开放时，这时需要用到这个tcping小工具了，Windows没有自带这个小工具，需要自己下载下来，放到指定目录里面。下载地址：https://elifulkerson.com/projects/tcping.phpX64下载链接：https://download.elifulkerson.com/fil...
2020-05-03 17:42:43
292
转载 项目已经部署到Linux中，且启动成功，但是却访问不到
背景今天新增加了一台新服务器，暂时nginx啥的都未启用，所以就准备先把项目跑上去，通过ip+端口进行访问，能用即可，但部署成功之后，却一直访问不了，在浏览器访问之后，一直在转圈就是不显示，这里有个特点：首先不是一访问就出现找不到页面，其次是，感觉访问得到，但一直在解析，就是不显示页面；一般出现以上情况，我们可以通过多种方式进行一一排除，排查出原因：第一种：通过浏览器访问，但不显示，这是最直...
2020-05-03 17:33:23
10345
3
原创 爬虫获取APP内的数据之--模拟器的配置以及使用原因
Xosed框架：起因：有些手机APP应用程序无法抓到数据包，因为APP启动了SSL Pinning(又叫“ssl证书绑定”)HTTPS通讯过程HTTPS在简历ssl通道的过程中，当客户端发送连接请求后，服务器会发送自己的证书（包括公钥、证书有效期、服务器信息等）给客户端，如果客户端是普通的浏览器，比如IE浏览器，则：1、使用内置的CA证书去校验服务器证书是否被信任，如果不被信任，则会弹出H...
2020-04-15 14:06:27
1018
1
原创 python-爬虫：请求头信息过多，懒得自己去打并且测试---一键构建请求头信息
python数据爬虫工程师每次打交道最多的的就是请求头信息了吧每次请求一个网页的时候最先进行的就是请求头的设计与查找，如果是少量请求头的时候自己编写也还好，但是如果遇到请求头数量过多时，每次都要自己去手动复制修改格式，非常的麻烦，用python就是为了方便，现在介绍一个简单的方法：找到自己需要的信息所在的页面：确定自己需要的数据存在与当前接口内，选择：进行Copy as cURL(ba...
2020-03-26 18:00:56
514
原创 pandas处理excel时在原本的文件中添加数据原来的数据不覆盖
book = load_workbook(filename)writer = pd.ExcelWriter(filename,engine='openpyxl')writer.book = book其实就是这几段代码，主要的是engine=‘openpyxl’下载openpyxl库之后可以进行使用引入from openpyxl import load_workbook伺候在进行数据...
2020-03-11 14:39:51
8753
原创 pandas操作excel表格与xlrd操作表格效率进行对比
两种操作都是对所选文件的遍历循环的出的结果，这种结果无法进行更改，那么执行的效率其实就是对表格的准备工作，在这时候就会出现时间上的落差xlex = pd.ExcelFile(filename)print(xlex.sheet_names)sheet = input('请选择想要操作的表格：') # 查询出文件中所有的表格名df = pd.read_excel(filename, shee...
2020-03-02 14:54:55
1432
原创 在电脑直接配置第三方下载
python下载第三方库的时候默认使用国内镜像下载实现在我的电脑->Users->用户（C:\Users\Administrator|）创建pip文件在文件中继续创建一个pip.ini的文件编写：[global]timeout = 6000index-url = http://pypi.douban.com/simpletrusted-host = pypi.douban...
2020-03-02 14:53:49
257
1
原创 MySQL中去除某一个键的唯一性
当在数据库进行更改数据的时候会发现有的值会出现不能重复的概念，虽然说你在创建表的时候没有设置该键的唯一性，但是却依然存在，可以使用 ：desc+表格名查看当前表格的信息，会发现其实你没有设置的唯一性但是表格内却存在，此时执行：ALTER TABLE 表格 DROP INDEX 字段名;再次插入数据就会发现已经可以执行。谢谢关注小智...
2020-02-20 17:10:08
1009
原创 服务器中svn update出现了字节冲突的情况：Node remains in conflict
root@localhost code]# svn up .Updating ‘.’:Skipped ‘timerange.c’ – Node remains in conflictAt revision 14.Summary of conflicts:Skipped paths: 1解决办法是：[root@localhost code]svn revert --depth=infi...
2020-02-19 22:12:57
582
转载 MySQL导入本地sql文件出错
导入到本地的sql文件不会存在说是服务器出问题了应该，已经实现了本地化存储，所以在导入到自己的数据库时报出了“ERROR 2006 （HY000）：MySQL server has gone away”出现这样的问题就可以查看一下自己的数据库语句是不是太大了稍微难以测试和验证，但是MySQL使用最大数据包站站点进行服务器和客户端之间的通信。如果语句包含大字段，则可能由于SQL语句的大小，而被中...
2020-02-11 11:58:31
470
原创 pandas处理excel文件处理，比较繁琐，需要的可以参考一下
import pandas as pdimport numpy as npimport timeimport refrom pandas.core.frame import DataFrameimport copydef new_sheet(filename): xlex = pd.ExcelFile(filename) writer = pd.ExcelWrite...
2020-02-08 17:50:49
637
转载 MySQL 5.7.5以上only_full_group_by操作
在执行sql语句的时候，别人电脑上可以跑，但是到了自己电脑上出现了问题，爆出：Expression #3 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'userinfo.t_long.user_name' which is not functionally dependent on colum...
2020-01-07 11:51:37
168
原创 虚拟环境问题
进入设置，查看虚拟环境此时能看到自己当前的环境内包含的第三方库，此时想要自己添加自己的虚拟环境，就可以执行以下操作进入之后第一个选择为没有虚拟环境，自己从新创建，第一行选择自己想要创建的环境的位置，此时我感觉就相当于创建了一个虚拟环境，与外界断开了联系，区分开来，当然，此时创建的必须为一个空的文件夹，如果当前文件夹不存在的话会自动创建出来，以供使用，如果选择已经创建好的，必须是一个空的文件...
2019-12-24 14:12:24
215
原创 django中的mysqlclient下载
现在直接在PyCharm中直接下载mysqlclient的版本不适用于当前项目的需求，因此大多从网站上进行下载mysqlclient，但是一些朋友下载的时候还会出一些小问题，我也是做一个小的总结，首先查看自己的python版本号，如果还没有下载python的朋友可以通过：https://www.python.org/downloads/有很多版本，到目前为止最新版本为python3.8.1，如...
2019-12-24 13:59:20
539
原创 python第三方库下载时可用的国内镜像
python第三方库下载时的国内镜像国内镜像：清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大...
2019-12-15 13:49:17
4801
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人