qq_37033670的博客

原创 Scrapy入门知识

scrapy入门架构图scrapyscrapy执行流程Scrapy各部分简介(暂不包括下载中间件和爬虫中间件)Scrapy Items在自定义的Item类中指定需要抓取的内容，Item对象类似python字典，通过 字段名=scrapy.Field() 的方式进行新字段的定义2 Spider) spider的parse()方法：定义从engine处拿到的从下载器中得到response对象，一般在parse（）中对response对象进行xpath解析，如果是url则需要继续交给eng