- 博客(34)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 windows 查看端口占用，并杀死
杀死端口占用的进程： taskkill /PID 进程号 -T -F。查看端口：netstat -aon|findstr 端口号。
2023-04-19 18:25:56
213
原创 python pip更新包
pip install --upgrade 包名更新指定包的版本：pip install --upgrade 包名==版本号
2023-04-12 15:26:39
274
原创 pipenv 使用
修改Pipfile文件，url = “https://pypi.douban.com/simple”,pypi源。会在当前目录下生成Pipfile,Pipfile.lock 文件。
2023-03-19 21:42:52
75
原创 Macos 查看JAVA_HOME 以及设置
1.查看java$ which java2. 查看JAVA_HOME$ echo $JAVA_HOME3. 查看java 路径$ /usr/libexec/java_home -V输出:1.8.0_121 (x86_64) "Oracle Corporation" - "Java SE 8" /Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home4.设置 JAVA_HOME编辑.bash_profile文件：vi
2021-09-11 12:25:50
4898
1
原创 scrapy框架 POST请求报400错误
scrapy框架 POST请求报400错误最近使用scrapy post 经常出现400错误，经过排查，大部分原因是因为headers 里面有 content-length;去掉即可。
2021-04-06 17:27:00
350
1
原创 pymongo.errors.CursorNotFound
pymongo.errors.CursorNotFound:查询大量数据引起的：解决方式：find({}, no_cursor_timeout=True)
2020-07-10 22:40:58
199
原创 pyinstaller打包exe带图标
1.安装pyinstallerpip install pyinstaller2. 打包pyinstaller -F -i test.ico test.py-F: 不加依赖
2020-06-28 11:44:24
3382
原创 pandas 出现 DLL load failed while importing aggregations
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\m\AppData\Local\Programs\Python\Python38-32\lib\site-packages\pandas\__init__.py", line 55, in <module> from pandas.core.api import ( File "C:
2020-06-11 16:05:15
5048
1
原创 PyMongo游标超时问题
当读取数据量比较大的时候，PyMongo会出现游标连接超时的问题;设置下timeout 参数即可get_collection(XXXX).find({}, timeout=False)
2020-05-29 11:34:14
1071
原创 python---实现字符串反转
实现字符串反转def fanzhuan(s): s = list(s)[::-1] return "".join(s)print(fanzhuan("abcdef"))>>> fedcba
2020-01-13 18:05:41
198
原创 python---字符串转float or int
字符串转 整型或者 浮点型“12.2” -> 12.2“12” -> 12def str_to_float(s): data = {"0": 0, "1": 1, "2": 2, "3": 3, "4": 4, "5": 5, "6": 6, "7": 7, "8": 8, "9": 9, ".": "."} if "." in s: _num =...
2020-01-10 18:42:34
1914
原创 python基础学习---实现优先队列
使用堆实现优先队列:# coding: utf-8import heapqclass PriorityQueue(object): def __init__(self): self.queue = [] self._index = 0 def push(self, item, pri): heapq.heappush(s...
2020-01-08 11:18:46
148
原创 爬虫--西瓜视频app弹幕url分析
说明： 仅供学习同事需要搞 西瓜视频app的 弹幕，他抓到了包，找到了弹幕的api，但是api返回的数据不对，混淆了或者格式有问题，初步猜测可能做了混淆，逆向咱也不会，咋办，，，， 能咋办，放弃呗。返回数据如下:仔细想一下，应该不是 混淆 ，不然中文不可能能显示出来，这时想起我以前遇到过这个奇怪的是，数据返回也是乱码，通过分析是 request 的headers 有个参数'Accept-E...
2019-08-08 09:20:56
1130
4
原创 腾讯课堂IT培训课程爬虫+分析
说明： 仅供自己学习matplotlip和数据分析。闲来无趣，安卓刚兴起，培训班兴起，网上培训如雨后春笋。培训机构刚开始在网上放些免费的，入门级的课程，提高自己的机构的知名度，从而引流到付费课程。网友到都是 尚学堂。黑马程序，马哥教育的‘泄露’机密课程视频。从心理学角度看待这个问题就会明白，这类视频应该是机构自己泄露的。现在腾讯课堂里面的课程相对来说越来越多，学的人也很多。免费的东西多多少少还是...
2019-08-02 16:28:11
1146
2
原创 一道有趣的Python面试题--引发的思考
最近遇到一个Python的面试题，挺有意思，虽然很简单，但是猛的一想还真不会呢，先上题：编写一个函数或者类实现以下功能:with f() as f: print("hello world")# out:starthello worldend应该是可以想到python里面的上下文管理器；Pyhton class 里有__enter__ 和__exit__，他们是可以实现这个...
2019-07-20 11:43:10
202
原创 macos 运行docker出现错误 could not read CA certificate
$ docker ps出现 一下错误，是因为我使用docker-machine rm swarm-master 导致的，没有在把这个节点从 swarm集群中删掉;$ could not read CA certificate "/Users/***/.docker/machine/machines/swarm-master/ca.pem": open /Users/**/.docker/mac...
2019-07-07 17:58:56
1091
原创 mongodb 的批量更新
db.collection.update( query, update, { upsert: multi: writeConcern: }) 1. query : update的查询条件，类似sql update查询内where后面的。 2. update的对象和一些更新的操作符，也可以理解为sql update查询内set后面的 3. 可选
2019-07-07 17:58:39
12792
原创 scrapy 出现400 Bad Request 问题
scrapy 出现400 Bad Request 问题遇到400解决思路： 1.检查url连接，有的url最后有’/’ 有的没有，看看是不是这个原因造成。如有’/’,去掉试试,没有去掉试试; 2.设置 scrapy COOKIES_ENABLED = False
2019-07-07 17:58:33
3349
原创 Flask + Gunicorn + Nginx 部署
flask 部署gunicorn1. 安装gunicorn:pip install gunicorn 2. 配置gunicorn:创建 wgis.py 文件# coding: utf-8from app import app #导入自己的应用application = app()3. 启动gunicron:gunicorn -w 4 -b 127.0.0.1:9080 wsgi:applic
2019-07-07 17:58:20
637
原创 爬虫之scrapy和splash 结合爬取动态网页
scrapy和splash 结合爬取动态网页安装scrapy-splash: pip install scrapy-splash安装splash: sudo docker pull scrapinghub/splash运行splash: docker run -it -d -p 8050:8050 --name splash scrapinghub/splash编写scrap...
2019-07-07 17:58:06
1401
原创 Python-happybase操作Hbase
通过happybase 操作hbase，在此只是使用了一些常规，简单的操作;详细自行查看官方文档【http://happybase.readthedocs.io/en/latest/】# coding: utf-8import happybasefrom pprint import pprint'''pip install happybasetime: 08/05/2018...
2019-07-07 17:57:59
567
原创 爬虫好搭档之 w3lib
time: 2018/04/10w3lib 是scrapy的基础插件,用来处理html,灰常的好用,清理文本带有HTML标签的数据;官方文档 1. w3lib.encoding.html_body_declared_encoding(html_body_str) 作用是返回网页的编码,如果网页有&lt;meta charset=utf-8&gt;就会返回utf-8 2. w3lib...
2019-07-07 17:57:53
2116
原创 爬虫好搭档之parsel
parsel 是scrapy 出品的，也是scrapy内置的选择器包含re、css、xpath选择器,依赖lxml,比起bs4好用的不要不要的。 用过scrapy，再用它，其实都是一样的，scrapy团队把它单独出来了个库，这样可以单独使用，不必使用scrapy 1. 安装: pip install parsel or easy_install parsel 2. 结合requests...
2019-07-07 17:57:46
11075
原创 Tornado RequestHandler包含的方法
方法 说明 RequestHandler.initialize() 初始化变量和init()一样 RequestHandler.prepare() 在get/post之前调用 RequestHandler.on_finish() 在request完成之后调用 RequestHandler.flush(include_footers=Fal...
2019-07-07 17:57:37
1674
原创 爬虫之 爬取京东计算机书籍
爬取京东的计算机类书籍1. 工具： requests, pycharm, scrapy, mongodb2. 网页提取工具: xpath1. 分析京东网页:打开京东网站 查看源码发现不是动态网页，而且都是列表, 说明了很好处理；开始分析;我们只要提取书名，书的链接， 书的出版社，书的作者，评价数，价格I注意一下,书的价格， 评论数,源码并没有，说明是ajax请求；...
2019-07-07 17:56:41
5306
原创 连接mongo使用URI 有特殊字符 '@' 或者":"
连接mongo使用URI 有特殊字符 '@' 或者":"举个例子：使用pythonMONGO_URI="mongodb://user:pass@[email protected]:27017"密码里面有个@ 连接会报错解决方法:把 @ 换成 %40把 : 换成 %3A感谢: https://blog.csdn.net/u013732444/article/details...
2019-07-07 17:54:10
5410
原创 字体文件反反爬-- 起点中文网
工作中遇到一个，以前没有遇到的问题是，网站把重要的数字都转换成 其他的东西爬取网站https://book.qidian.com/info/1011454545 起点女生网通过审查元素是这样的:查看网页源码:通过搜索查找,原来网站做了反扒的措施，正好前几天看个关于这样的文章，教怎样反爬的。通过搜索引擎查找相关的资料，原来有人做过类似的反反爬，猫眼，汽车之家都是这种方式....
2019-07-07 17:53:58
2985
3
原创 一个奇怪的网站-- 猫眼
偶尔的机会发现一个神奇的网猫眼，有个同事想把猫眼的首页的 城市的 url和ID 搞下来。根据以往的经验 如果网页源码里面没有，那就是ajax 抓包分析，查看源码:查找上海没有。那就抓包：我擦，就这个请求，没有ajax请求的url。这怪了，那城市是从哪过来的呢，没有 ajax 请求，那就一个个分析js吧，：先找个关键词:一个一个的去js查找这个：从他开始：哈哈哈，居然有了：...
2019-07-07 17:53:28
1451
原创 爬虫-猫眼电影票房
背景最近也不知道咋了，一直遇到 字体反爬手段，起点中文网，抖音等等吧，猫眼我一直想搞，只是没有精力了，前面搞了2个了，不差这一个。搞完这个，不在搞字体反爬了。目标网站 猫眼票房：https://piaofang.maoyan.com/?ver=normal就这个鬼看源码：这不和抖音 起点一样，窃喜.jpg那就查找字体 的url 或者文件 。这个网页没有，好像详情页是有url的 ...
2019-07-07 17:53:08
32361
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人