- 博客(4)
- 收藏
- 关注
RSS订阅原创 使用python构建招聘信息爬虫(二)拉勾网爬虫
构建关于拉勾网的网络爬虫，首先要分析站点结构，然后设计足够的函数构建。由此可知，此时拉勾网的招聘信息并不存在与页面中，由此，我们分析其ajax请求。 经分析发现，拉勾网的招聘信息是通过ajax返回到前台，然后通过javaScript渲染到页面上的。 而且，关于招聘信息的ajax请求使用的是post请求，我们要对此设置相应的data部分，作为http请求的一部分。 data...
2018-07-01 16:01:24
200
原创 使用python构建招聘信息爬虫(一)
爬虫是这段时间我自己的学习重点，目标是构建一个自己的招聘信息分析和处理网站，作为一个自己练手的项目和为自己和他人进行参考。 活不多说，第一次讲的是环境配置和项目文件的设置。 首先确定的环境是Python3的开发环境，使用MongoDB作为存储数据库，使用到的python库主要有requests、json、time、mutiprocessing、bs4等,开发软件为PyCharm...
2018-07-01 14:52:22
316
转载 pip3 更新与安装
这其实不是什么高深的东西，但对于不常接触pip的朋友来说可能会蒙圈。通常情况下，你的电脑里如果安装了python2.x也同时安装了python3.x，那么应该就会有两个pip。一个是pip2，另一个是pip3。好吧，可能还有一个既没有2，也米有3的pip，一般情况下，pip==pip2。有时候我们使用pip安装东西会提示我们pip的版本过低，建议我们升级，一般情况下我们用pip3的时候固然会想到用...
2018-06-09 10:32:35
7006
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人