李燕西-CSDN博客

原创 Scrapy爬虫(十)：爬虫总结以及扩展

Scrapy爬虫(十)：爬虫总结以及扩展Scrapy爬虫十爬虫总结以及扩展爬虫总结爬虫的一些扩展最后爬虫总结本专题介绍了scrapy的框架原理，并用了5个实例由浅入深的进行了演示。还讲到了scrapy的调试技巧，对于入门scrapy爬虫应该有一定的帮助。对于爬虫开发者来说，无非就是分析url、由url下载数据、解析数据，存储数据并应用。对url的分析主要是找规律，应为开发网站的开发者为了框架

2016-12-28 13:18:28 4662 3

原创 Scrapy爬虫(九)：scrapy的调试技巧

Scrapy爬虫(九)：scrapy调试技巧Scrapy爬虫九scrapy调试技巧scrapy的调试浏览器调试scrapy命令调试本章将介绍scrapy的一些调试技巧。scrapy的调试在开发爬虫时调试工作是必要的且重要的，无论是开发前的准备工作，比如测试该网站在scrapy爬虫中是否可用；或者是下载时的伪装工作，比如为爬虫设置请求参数模拟浏览器；亦或是在解析下载下来的数据，比如如何使

2016-12-28 11:50:38 11300

原创 Scrapy爬虫(八)：中间件的使用实例

Scrapy爬虫(八)：中间件的使用实例Scrapy爬虫八中间件的使用实例user-agent最简单的中间件settingspy中配置中间件本章将介绍最简单的中间件user-agent中间件的使用。user-agentuser-agent是咱们模拟浏览器比较重要的参数，主要是防止爬虫被ban，前几章我们了解到在settings.py中可以设置user-agent，如：USER_AGEN

2016-12-27 15:44:08 10647 4

原创 Scrapy爬虫(七)：爬虫数据存储实例

Scrapy爬虫(七)：爬虫数据存储实例Scrapy爬虫七爬虫数据存储实例数据存储配置mysql服务在mysql中创建好四个item表创建项目运行爬虫本章将实现数据存储到数据库的实例。数据存储scrapy支持将数据存储到文件,例如csv、jl、jsonlines、pickle、marshal、json、xml，少量的数据存储到数据库还行，如果超大量的数据存储到文件（当然图片还是要存

2016-12-27 15:22:00 8301 1

原创 Scrapy爬虫(六)：多个爬虫组合实例

Scrapy爬虫(六)：多个爬虫组合实例Scrapy爬虫六多个爬虫组合实例需求分析创建项目运行爬虫本章将实现多个爬虫共同工作的实例。需求分析我们现在有这么个需求，既要爬取音乐详情又要爬取乐评，既要爬取电影详情又要爬取影评，这个要怎么搞，难道是每一个需求就要创建一个项目么，如果按这种方式，我们就要创建四个项目，分别来爬取音乐、乐评、电影、影评，显然这么做的话，代码不仅有很多重合的部分，而

2016-12-27 14:07:36 22212 6

原创 Scrapy爬虫(五)：有限爬取深度实例

Scrapy爬虫(五)：有限爬取深度实例Scrapy爬虫五有限爬取深度实例豆瓣乐评分析爬虫爬取策略创建项目运行爬虫该章节将实现爬取豆瓣某个音乐下所有乐评的scrapy爬虫。豆瓣乐评分析豆瓣音乐是国内音乐资料及评论网站，现在我们有个需求就是爬取豆瓣音乐下所有的音乐评论（乐评），但是乐评属于音乐介绍下的子菜单，那么如何来爬取这些乐评呢？咱们先不急，先看看豆瓣乐评的结构。以周杰伦的叶惠美为

2016-12-27 11:34:07 14928 3

原创 Scrapy爬虫(四)：imdb.cn爬虫实例

Scrapy爬虫(四)：imdb.cn爬虫实例Scrapy爬虫四imdbcn爬虫实例imdbcn网站结构分析创建爬虫项目运行imdb爬虫该章节将实现爬取imdb.cn所有影视资料的scrapy爬虫。imdb.cn网站结构分析imdb.cn是国内的一个影视资料库，应该也是作者爬取别人的数据生成的一个网站,并不是imdb的中文网站。学会爬虫后其实我们也可以做一个这样的网站。我们打开ht

2016-12-26 23:55:05 7729 2

原创 Scrapy爬虫(三)：scrapy架构及原理

Scrapy爬虫(三)：Scrapy原理Scrapy爬虫三Scrapy原理scrapy爬虫尝鲜scrapy data flow流程图scrapy项目结构scrapy爬虫尝鲜scrapy现在已经完美支持python3+，所以后面的实例我都会使用python3+的环境。首先我们来尝下鲜，下面的代码是scrapy官方文档中的一段演示代码，就这么几行代码就完成了对http://quotes.toscr

2016-12-26 19:01:17 18714 4

原创 Scrapy爬虫(二)：爬虫简介

Scrapy爬虫(二)：爬虫简介Scrapy爬虫二爬虫简介什么是爬虫爬虫的价值最简单的python爬虫爬虫基本架构scrapy环境配置什么是爬虫？爬虫的本质就是将互联网网页(数据)下载下来的程序。爬虫通常为PC端爬虫、以及移动端爬虫（接口数据窃取抓包 wap站），当然我们更多的是使用PC端的爬虫。如下图可以看出爬虫相对于人浏览网页的不同，可以在脑袋里有个简单的概念。通过对互联

2016-12-26 17:36:17 5103

原创 Scrapy爬虫(一)：专题概要

Scrapy爬虫(一)：专题概要Scrapy爬虫一专题概要准备工作专题概要准备工作在最近做的智能项目中，我们在获取到用户需求的文本后，需要对用户的行为意图进行分析，然后做出响应，比如语义解析、内容推荐、数据整合等。和windows小娜一样，需要对相关的垂直领域进行语义分析，比如视频、音乐、应用、天气、股票、新闻、网站等，因此需要通过获取网络上的价值数据来进行人工神经网络的训练。而快到年末了，项目

2016-12-26 17:03:42 4281

原创 Ubuntu16.04安装ftp服务器

1有问题时完全卸载vsftpd2安装vsftpd3创建ftp用户4配置vsftpdconf5启动停止重启服务1、有问题时完全卸载vsftpdsudo apt-get purge vsftpd2、安装vsftpdsudo apt-get install vsftpd3、创建ftp用户方法一：直接在系统设置添加用户方法二：创建用户目录 sudo mkdir /home/uftp创建用户 su

2016-10-11 18:17:21 15768 11

原创 Ubuntu16.04配置python环境

1安装更新python2安装pycharm3更新pip4安装scrapy1、安装更新pythonubuntu16.04自带python2.7.11+、3.5.1+ 执行如下命令更新就可sudo apt-get updatesudo apt-get upgrade2、安装pycharm下载http://www.jetbrains.com/pycharm/download/ 解包sudo -

2016-10-11 18:14:10 8771

原创 Ubuntu16.04中MySQL安装配置

1、安装mysql sudo apt-get install mysql-server apt isntall mysql-client apt install libmysqlclient-dev期间会弹出设置root账户的密码框，输入两次相同密码。2、查询是否安装成功 sudo netstat -tap | grep mysqlroot@ubuntu:~# netstat

2016-10-10 18:07:16 19934 1

原创 Android gradle实用教程(一)：Android studio中的gradle

本章将解答下面几个问题 1. gradle是个什么鬼？ 2. 为什么要使用gradle？ 3. android studio中gradle的结构是什么样子的？gradle是个什么鬼？gradle是一种先进的编译系统，以及先进的构建工具，它允许通过插件来创建自定义生成的逻辑。基于Groovy的特定语言（DSL），用来描述和操纵构建逻辑基于Groovy的构建文件，允许通过DSL声

2016-10-06 19:56:06 698

原创 Android多渠道打包(七)：系列总结及展望

本章将介绍将对多渠道打包进行总结，以及多渠道打包的展望。Android多渠道打包(一)：原始多渠道打包 Android多渠道打包(二)：友盟多渠道打包 Android多渠道打包(三)：美团多渠道打包 Android多渠道打包(四)：360多渠道打包 Android多渠道打包(五)：360多渠道打包+ Android多渠道打包(六)：maven&gradle Android多渠道打包(七

2016-10-06 16:11:01 2591

原创 Android多渠道打包(六)：maven&gradle

本章将介绍maven、gradle构建工具打包方式Android多渠道打包(一)：原始多渠道打包 Android多渠道打包(二)：友盟多渠道打包 Android多渠道打包(三)：美团多渠道打包 Android多渠道打包(四)：360多渠道打包 Android多渠道打包(五)：360多渠道打包+ Android多渠道打包(六)：maven&gradle Android多渠道打包(七)：总

2016-10-06 15:21:44 3786 2

原创 Android多渠道打包(五)：360多渠道打包+

本章将介绍360多渠道打包的进阶方法Android多渠道打包(一)：原始多渠道打包 Android多渠道打包(二)：友盟多渠道打包 Android多渠道打包(三)：美团多渠道打包 Android多渠道打包(四)：360多渠道打包 Android多渠道打包(五)：360多渠道打包+ Android多渠道打包(六)：maven+gradle Android多渠道打包(七)：多渠道打包总结来

2016-10-06 14:42:45 4180 1

原创 Android多渠道打包(四)：360多渠道打包

本章将介绍360多渠道打包方法Android多渠道打包(一)：原始多渠道打包 Android多渠道打包(二)：友盟多渠道打包 Android多渠道打包(三)：美团多渠道打包 Android多渠道打包(四)：360多渠道打包 Android多渠道打包(五)：360多渠道打包+ Android多渠道打包(六)：maven+gradle Android多渠道打包(七)：多渠道打包总结来源这个

2016-10-06 14:05:51 5701

原创 Android多渠道打包(三)：美团多渠道打包

本章将介绍美团多渠道打包方法Android多渠道打包(一)：原始多渠道打包 Android多渠道打包(二)：友盟多渠道打包 Android多渠道打包(三)：美团多渠道打包 Android多渠道打包(四)：360多渠道打包 Android多渠道打包(五)：360多渠道打包+ Android多渠道打包(六)：maven+gradle Android多渠道打包(七)：多渠道打包总结来源本方法

2016-10-06 13:24:23 3837

原创 Android多渠道打包(二)：友盟多渠道打包

Android多渠道打包(二)Android多渠道打包二来源原理实现官方说明优缺点引用本章将介绍umeng的多渠道打包方法来源该方法是友盟几年前公布的多渠道打包方式，并且在github开源了打包工具，友盟多渠道打包方式经历了多次迭代，主要有两种方式，一种是通过反编译apk修改渠道信息，另一种是通过AXML解析器编辑修改渠道信息。原理第一种方法：通过ApkTool进行解包，然后

2016-10-06 11:24:29 5927

原创 Android多渠道打包(一)：基础多渠道打包

多渠道设置的价值Android多渠道打包系列预告Android原始多渠道打包来源原理实现本章将介绍多渠道数据对于开发者的价值、Android原始多渠道打包多渠道设置的价值开发者常在应用中设置渠道ID，并获取相应的应用数据。这些数据可以帮助应用开发者统计和分析流量来源、内容使用、用户属性和行为数据，以便开发者利用数据进行产品、运营、推广策略的决策。数据对于开发者具有非常重要的价值，

2016-10-05 15:00:31 5990 1

原创 MAC串口开发环境搭建

MAC串口开发环境搭建MAC串口开发环境搭建什么是串口安装USB转串口驱动安装终端仿真程序配置SecureCRT参数串行通信参数SecureCRT开发配置什么是串口串行接口 (Serial Interface) 是指数据一位一位地顺序传送，其特点是通信线路简单，只要一对传输线就可以实现双向通信，从而大大降低了成本，特别适用于远距离通信，但传送速度较慢。一条信息的各位数据被逐位按顺序传送

2016-07-22 16:58:54 6219

李燕西的博客