- 博客(4)
- 收藏
- 关注
RSS订阅原创 爬虫第三弹：图灵社区书籍信息爬取
爬虫第三弹：图灵社区书籍信息爬取一、目的：将图灵社区所有书籍的网址、书籍名称，作者，译者，阅读数，标签，出版日期，定价，页数，印刷方式，出版状态全部爬取下来存入mysql数据库，并导出xml格式，最后转化为csv格式。并对数据通过R语言分析，通过对标签和阅读数，出版日期的联合分析，分析现在计算机不同知识板块的热度信息。二、爬虫的功能分析1、通过对"http://www.ituring.com.cn...
2018-06-14 10:16:49
719
原创 爬虫第二弹：千图网电商淘宝模板图片下载
爬虫第二弹：千图网电商淘宝模板图片下载 一、功能分析：1、下载千图网电商淘宝的所有模板图片要求是高清版本；2、并按照主页面将图片归类文件夹。 二、思路分析：1、利用scrapy构建scrapy startproject qtpjt，搭建项目，并通过scrapy genspider -t basic qtspd 58pic.com构建基本的爬虫文件；2、通过item.py构建所有数据项;3、sett...
2018-06-14 10:14:50
1365
原创 爬虫第一弹：安居客房地产数据爬虫
爬虫第一弹：安居客房地产数据爬虫 一、功能分析：1、我们要爬取的安居客南昌新房的420个楼盘的信息，每个楼盘涵盖'楼盘名称' '楼盘特点' '参考单价' '物业类型' '开发商' '区域位置' '楼盘地址' '售楼处电话' '最低首付' '楼盘户型' '最新开盘' '交房时间' '售楼处地址' '预售许可证' '建筑类型' '产权年限' '容积率' '绿化率' '规划户数' '楼层状况' '工程进...
2018-06-14 10:12:51
9255
4
原创 数据清洗宝箱第一弹：批量替换
工具虽小，但是很实用一、不废话，直接上宏 Sub batchReplace()'' 批量替换 宏''字符串声明 Dim str1 As String Dim str2 As String'两层循环嵌套，i表示行号 For i = 1 To 500'拼接An，并取其中的值 'str1为A列为批量替换中原值，str2为B列为替换后的值。 str1 = Sheets("Sheet2").C...
2018-06-14 10:09:30
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人