- 博客(8)
- 收藏
- 关注
RSS订阅原创 数据可视化分析之新闻数据分析
本文对多个平台的多个类型的新闻数据信息进行爬虫，并且进行数据分析提取出相关主题新闻的关键词，并进行可视化分析和机器学习，对新的新闻主题进行判定。
2022-09-03 01:55:16
2222
原创 数据可视化分析之python论坛爬虫可视化分析
随着数据可视化分析的流行，对python的论坛进行可视化分析可以有效帮助论坛进行引流，达到优化论坛资源，分析论坛走势的目的。该程序分为数据爬虫和数据分析两个部分。
2022-09-02 00:34:09
573
原创 记一次知乎数据爬虫
1、需求1、爬取知乎话题为"如何看待xxx"的数据。2、根据话题下的回答者分析他们的用户的信息，找到高质量答主的信息。2、解析数据接口使用chrome抓包。可知话题数据的接口为https://www.zhihu.com/api/v4/search_v3?t=general&q=%E5%A6%82%E4%BD%95%E7%9C%8B%E5%BE%85&correction=1&offset={offset}&limit=20&lc_idx=0&show
2021-04-02 12:13:26
698
4
原创 记一次pymongo+多线程遇到的too many open files问题
使用多线程时 pymongo写入数据 一定要讲client = MongoClient ()放入子进程中.
2020-04-07 14:31:07
431
原创 基于python爬虫的豆瓣自动回复.
最新的豆瓣自动回复废话不多说 直接挂代码.import requestsimport reimport time#from chaojiying import *from random import choice , randintran = [.....自动回复的内容]# 用于维持登录会话，requests高级用法s = requests.Session ()header...
2020-03-08 17:03:05
965
原创 python爬虫之热搜爬取
首先安装必要的库pip install requestspip install jsonpip install re代码如下import datetimeimport jsonimport requestsfrom requests.exceptions import RequestExceptionimport reimport timedef get_one_page(...
2019-06-11 18:53:56
596
原创 MongoDB：WiredTiger error (13) 问题解决.
今天在调试MongoDB的时候，mongo无法正常打开huangzhengtaodeMacBook-Pro:~ huangzhengtao$ mongoMongoDB shell version v4.0.8connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb2019-05-08T20:21:17.923+0...
2019-05-09 14:48:09
20258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人