rossisy-CSDN博客

原创 Scrapy - 普通的Spider（二）

XMLFeedSpider这个Spider是用于解析XML的，它可以通过指定的节点迭代的解析XML。迭代器可以选择iternodes，xml或html。由于xml和html都需要一次性读取整个DOM然后才能解析XML，这样会有性能的问题，所以推荐使用iternodes迭代器。但是当解析有错误标记的XML时，使用html迭代器会有些帮助。使用XMLFeedSpider必须定义以下类属性来设置迭代器

2017-11-02 22:21:11 342

原创 Scrapy - 普通的Spider（一）

CrawlSpider这个是Spider中爬取一般网站最常用的一种Spider，因为它提供了一种方便的机制可以自定义一套规则去追踪链接。它可能对特殊的网站或项目来说不是最适合的Spider，但是对一般情况来说已经足够了，因此我们可从这种Spider开始学习，然后修改它，或重新写一个自定义的Spider。除了从父类集成来的属性，这个Spider还有特有的属性和方法：rules - 一个Rul

2017-11-02 21:24:18 433

原创 Scrapy - Spiders详解

Spiders是Scrapy中最重要的地方，它定义了如何爬取及解析数据，可以说Spiders是Scrapy框架中的核心所在。对Spiders来说，一般工作的步骤如下：根据初始的URLs生成Requests对象并指定处理requests对象response的回调方法。初始的URLs是由spider的start_urls属性指定的，然后默认调用start_requests方法生成对应的

2017-10-29 09:03:35 2128

原创 Scrapy - 命令行工具

Scrapy是由scrapy命令行工具来控制的，它的命令行工具为多种用途提供了一些不同的命令，每一个命令都有不同的参数和选项。一些Scrapy命令必须在Scrapy项目目录下执行，另一些可以在任何目录下执行。而那些可以在任何目录下执行的命令，如果在Scrapy项目目录下执行可能会有些不同。Scrapy命令执行环境Global commandsProject-only

2017-10-25 19:44:31 1793

原创 Scrapy - 简要指南

创建项目开始爬取数据之前，你必须先创建一个Scrapy项目。进入你想将项目代码保存的目录，并执行以下代码MacBook-Pro:scrapy $ scrapy startproject projectname这会创建一个以projectname命名的文件夹，文件夹中包括一个部署配置文件scrapy.cfg和一个项目的python模块（以projectname命名的另一个文件

2017-10-15 16:03:27 1013

原创 GIT - 基本使用命令

一. 获取GIT仓库有两种方法可以获取GIT工程项目：1. 将一个已经存在的工程或目录导入到git2. 克隆一个已经存在的git仓库1. 初始化一个已经存在的工程(目录)cd到工程的根目录，使用命令git init将其初始化MacBook-Pro:~ $ cd ~/Project/my_repository/MacBook-Pro:my_repository $ gi

2017-10-07 15:52:16 357

原创 GIT - 安装、设置和帮助

一. 安装使用brew安装GITMacBook-Pro:~ $ brew install gitUpdating Homebrew...==> Auto-updated Homebrew!Updated 1 tap (homebrew/core).==> New Formulaeakamai dep

2017-09-25 22:35:01 2161

原创 Python三神器之virtualenv&virtualenvwrapper

virtualenv是一个用于创建独立Python环境的工具，可以解决多项目之间依赖库版本不一致的问题，每个虚拟环境都是一个独立的Python环境，可以安装只属于这个环境的库。virtualenvwrapper是virtualenv的一个扩展工具，它可以是我们在使用、管理虚拟环境时更简便、易用。一. 安装1. 安装virtualenv[root@localhost bin]#

2017-09-06 20:38:03 606

原创 CentOS7安装Python3

一. Linux默认安装的python版本都是2，安装python3需要先安装相关包1. gcc[root@localhost ~]# yum install gccLoaded plugins: fastestmirror, langpacksbase

2017-09-05 23:32:26 2840

原创 CentOS7设置固定IP

IP地址的设置一般是指设置某个网卡端口的IP，所以想设置IP，首先需要弄清楚是要为哪个网卡端口设置IP，CentOS7与一般的Linux系统一样，可以通过ifconfig命令查询当前的网络设置。由上图可知我的系统目前是使用网卡enp0s3访问Internet的，我们要设置的就是enp0s3的IP地址。弄清楚要设置IP的对象后，需要到etc/sysconfig/network-scr

2017-09-05 21:56:04 37334 7

原创 iTerm2 + VIM配色(Solarized)

一. iTerm2中选择配色iTerm2中的配色是在Preferences中的Profiles下设置的，如图所示的下拉列表中第一部分提供的是自带的一些配色，第二部分则是自导入的配色，第三部分则是相关的一些功能，这里直接选择自带的Solarized Dark。ITerm2配色完成后的效果如下图二. VIM配色1. 将下载的solarized配色文件(solarized

2017-07-01 14:01:10 15422

原创 MAC Python3&virtualenv&virtualenvwrapper安装

一. 使用Homebrew安装python3RossideMacBook-Pro:~ rossi$ brew install python3二. 使用pip3安装virtualenv和virtualenvwrapperRossideMacBook-Pro:bin rossi$ pip3 install virtualenv virtualenvwrapper

2017-06-11 15:28:32 1942

原创 CentOS7下curl使用

curl工具NAMEcurl - transfer a URLSYNOPSIScurl [options] [URL...]DESCRIPTIONcurl is a tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, G

2017-06-07 22:17:40 8701

原创 CentOS7下安装Nginx

一. 为Nginx设置yum仓库1. 创建文件/etc/yum.repos.d/nginx.repo，写入以下内容：[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/7/$basearch/gpgcheck=0enabled=12. 安装Nginx[r

2017-06-06 23:07:13 1137

原创 MYSQL - 计算行数

1. COUNT(*)计算table的行数计算pet表中的动物mysql> select count(*) from pet;+----------+| count(*) |+----------+| 9 |+----------+1 row in set (0.00 sec)mysql>计算每个人有多少宠物mysql>

2017-04-24 21:32:12 6886 1

原创 MYSQL - 模式匹配

MySQL提供标准的SQL模式匹配，可以使用"_"匹配单个字符，%匹配任意数量的字符(包括0个字符)。当使用模式匹配时，用LIKE和NOT LIKE比较操作取代=和查询以"b"开头的名字的宠物mysql> select * from pet where name like 'b%';+--------+--------+---------+------+------------+-

2017-04-12 22:36:05 741

原创 MYSQL - NULL

1. 测试NULL值，使用IS NULL和IS NOT NULL操作mysql> select 1 is null, 1 is not null;+-----------+---------------+| 1 is null | 1 is not null |+-----------+---------------+| 0 | 1

2017-04-12 20:45:14 261

原创 MySQL - 日期计算

1. TIMESTAMPDIFF() - 返回两个日期或日期表达式的差语法：TIMESTAMPDIFF(unit, datetime_expr1, datetime_expr2)返回datetime_expr2 - datetime_expr1, datetime_expr2和datetime_expr1是日期或日期时间表达式。一个表达式datetime_expr1可能是日期而另一个d

2017-04-10 21:10:53 408

原创 Maven Assembly Plugin - 将依赖包，模块，文件集和单独的文件打包输出

Maven项目中一般只会将项目的源代码编译分发，而依赖包等都不会被包括在这个范围内，即项目的最终输出不会包含依赖包、模块等项目运行时所必须的包和文件。如果想在分发的包中包含这些依赖包和模块，需要使用maven assembly plugin。Maven Assembly Plugin的使用很简单，只需在pom.xml中添加如下配置 build> finalName>restfin

2017-04-09 21:53:34 2097

原创 MySQL - 从表中查询数据信息

SELECT语句是SQL中用来查询表中数据的语句。其基本的语法格式：SELECT what_to_selectFROM which_tableWHERE conditions_to_satisfy;what_to_select指明你想查看什么，可以是表中的列组成的列表或用*表示表中所有的列。which_table指明你想从哪个表中查询数据。where子句是可选的，如果有wher

2017-03-23 22:20:11 1873

原创 MySQL基本使用

一. 连接及断开连接MySQL服务器连接MySQL服务器有两种方式，一种是连接本地的MySQL服务器，另一种是连接远程MySQL服务器，分别需要使用MySQL的本地连接账号和远程连接账号。连接本地MySQLRossideMacBook-Pro:~ rossi$ mysql -u root -pEnter password:*******Welcome to the MySQ

2017-03-21 22:19:21 279

原创 CentOS7下firewalld使用

CentOS7默认的防火墙使用的是firewalld(http://www.firewalld.org/)，其相关的使用方法如下：1. firewalld的启动与停止停止：启动：查看运行状态：或2. firewalld命令行工具firewall-cmdfirewall-cmd是firewalld的主要的命令行工具查看firewalld

2017-03-11 23:42:56 2908

原创 CentOS7下使用Yum安装MySQL

一. 下载MySQL Yum仓库的RPM安装包1. 访问http://dev.mysql.com/downloads/repo/yum/ 选择对应的RPM包下载，我使用的是CentOS7，所以选择Linux7的RPM包。若使用命令行方式下载，可在shell下使用wget下载二. 安装MySQL RPM安装包安装完成后会将MySQL的Y

2017-03-11 18:21:40 21914 1

原创 Linux - du命令：显示磁盘使用情况

Linux - du命令：显示磁盘使用情况du功能：显示磁盘使用空间大小选项： -a Display an entry for each file in file hierarchy. 显示文件目录中所有文件占用空间大小 -d depth Display an entry for all files and di

2017-03-09 21:35:27 566

原创 MAC MySQL安装及配置

安装MySQL：使用brew安装MySQL。在shell下执行以下语句安装MySQLbrew install mysql安装完成后启动mysql，验证安装是否成功。mysql.server start系统返回SUCCESS!表示安装成功。最后停止mysql：mysql.server stop配置MySQL：首次配置MySQL需要进入安全模式，使用以下命令

2017-02-09 22:07:59 357

原创 Jenkins Slave前台运行robotframework测试用例

使用Jenkins Slave运行robotframework测试用例，如果是将Slave安装成windows service即在windows的服务里启动slave，jenkins默认使用system账号运行cmd命令。此时，通过Slave执行pybot.bat --include tagname TestCase，用例是在后台执行，即使登陆Slave的系统也看不到浏览器在运行用例，这使得调试或

2016-06-22 19:29:05 1765

原创 CentOS下安装Jenkins

一. 环境准备(通过yum安装所需的软件)1. 安装JDK在shell下执行语句"yum install java"由于机器上已经安装了java所以执行语句后并没有下载及安装java。2. 安装Maven在shell下执行语句"yum install maven"同样也是因为机器上已经安装过maven所以执行语句后也并没有下载及安装maven。如

2016-01-07 21:29:49 386

原创 Could not read Username Error for Git

在用使用Vundle安装neocomplete时失败，查看log提示could not read Username for 'https://github.com': Device not configured，经检查这里提示的Username是指neocomplete的作者Shougo。因为在.vimrc文件里将插件写成"hougo/neocomplete.vim"使得git找不到该用户无法cl

2015-12-25 16:17:40 1236

原创 MacVim使用Vundle安装NERDTree并配置

vim打开用户主目录下的.vimrc文件，由之前复制到vimrc的Vundle配置中的说明" plugin on GitHub repoPlugin 'tpope/vim-fugitive'可知, 在GitHub仓库中管理的插件用这种用户名/插件名的方式在vimrc文件中表示，所以要用Vundle管理NERDTree需在vimrc文件里添加以下语句Plugin 's

2015-12-19 20:45:13 1605

原创 MAC MacVim及Vundle安装

安装MacVim：从GitHub下载MacVim，当前最新版为MacVim-7.4.dmg，下载完成后双击dmg文件安装。MacVim下载地址：https://github.com/macvim-dev/macvim/releases安装Vim的插件管理工具Vundle：Bundle主页：https://github.com/VundleVim/Vundle.vim主页有其

2015-12-19 15:00:40 7095

原创 MAC GIT服务器搭建

前几天在MAC上鼓捣了一下GIT服务器的搭建，网上搜了些资料并按自己的实际总结如下：前提：已安装GIT(MAC安装Xcode的command line tool时已包含有GIT)升级GIT：在shell下执行语句"git clone git://git.kernel.org/pub/scm/git/git.git"升级成功后，需要在MAC上新建一个账号用于管理GIT：1.

2015-12-15 21:32:16 514

rossisy的博客