scrapy基于请求传参实现深度爬取

请求传参实现深度爬取

• 请求传参：

  • 实现深度爬取：爬取多个层级对应的页面数据
  • 使用场景：爬取的数据没有在同一张页面中
  • 在手动请求的时候传递item：yield scrapy.Request(url,callback,meta={'item':item})
    • 将meta这个字典传递给callback
    • 在callback中接收meta：item = response.meta['item']

  def parse(self, response):
li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')
for li in li_list:
title = li.xpath('./div[1]/a/@title').extract_first()
detail_url = 'https://www.4567tv.tv' + li.xpath('./div[1]/a/@href').extract_first()
item = MoviespiderItem()
item['title'] = title
# meta参数是一个字典，该字典就可以传递给callback指定的回调函数
yield scrapy.Request(detail_url, callback=self.parse_detail, meta={"item": item}) def parse_detail(self, response):
# 接收meta：response.meta
item = response.meta['item']
desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]/text()').extract_first()
item["desc"] = desc
yield item