qq_43983465的博客

原创 使用Scrapy获取七夕某电商商品信息

我们获取一个页面的数据，某些需要的数据需要通过再次跳也才能查看，使用scrapy可以直接进行多重爬虫，举个例子，这里省略了BeautifulSoup多次request，而scrapy使用回调函数，只要页面存在，无限请求，代码如下： -- coding: utf-8 -- import scrapy from …items import ProductItem class CommoditySpider(scrapy.Spider): name = ‘commodity’ allowed_domains =