- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 四、Spyder 下使用 Scrapy 开发爬虫之腾讯视频抓取
上一篇文章简单配置了一下 Spyder 工具窗口，现在开始进入开发阶段。我也是刚开始学习，难免出现笔误和理解不当的地方，欢迎指正：）。我目前主要的学习资源是 Scrapy 官方文档 以及 百度，个人比较喜欢去官网，虽然全英文，学习起来比起看别人的中文博客要慢很多，但是毕竟官网上给出的解决方案都是保持更新的，现在的很多博客都是一两年前的文章，随着版本跟新很多方案可能不再适用，所以我一边学习，一边更新...
2018-04-28 23:38:27
8354
5
原创 三、使用 Spyder IDE 工具
上一篇文章 中创建项目名称的时候出现笔误，项目名称应该是tencent_video而我却错写成 tencent_viedo. 如果单纯在项目根目录下修改文件夹名称的话存在问题，应该要把文件夹下所有出现项目名称依赖的文件内容全都修改过来才行。如果刚开始创建项目就发现项目名称不满意的话，直接删除这个项目文件夹，再使用 scrapy startproject 命令重新创建就可以。Scrapy 项目在 I...
2018-04-28 16:52:13
5459
1
原创 二、创建 Scrapy 爬虫项目
在使用 Anaconda 创建好环境之后，就可以使用 Scrapy 框架创建一个爬虫项目. 笔者使用的桌面系统为 Windows 10.使用 Prompt 创建 Scrapy 项目首先，熟悉一下 Windows 下常用的一些命令# 查看当前路径>cd# 查看当前目录下的文件夹和文件>dir# 进入指定目录>cd path\to\your_project# 查看当...
2018-04-28 00:35:55
1325
原创 一、python3 爬虫环境搭建之 Anaconda 和 Scrapy
python3 只是爬虫开发的编程语言，开发爬虫还需要很多其他环境，比如 IDE 工具，常用库等等. 根据我的使用体验，推荐如下环境搭建步骤，桌面环境为 Windows 10. 安装 AnacondaAnaconda 是一个集成度很高的基于 python 的数据科学平台，无论在开发爬虫还是机器学习等方面，都游刃有余. Anaconda 包含 250 多个数据科学包和自带的包管理工具 conda，一...
2018-04-27 21:33:04
12576
1
原创 LeetCode-String to Integer (atoi)-My Java Solution
最近打算换工作，为了准备面试，不得不预习数据结构与算法，想了想还是刷题吧。。言归正传，字符串转整数，核心思想非常简单，就是根据字符'0'到'9'的整型值是连续的，所以嘛只要把字符转换成整数值，再减去'0'字符的值，就能对应得到其十进制值了。也就是说：int charValue = myChar - '0';如果字符是'0'到'9'，那么通过上述方法得到的字符整数值就是对应的0到9；如果字符是非数字...
2018-02-28 20:07:40
226
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人