scrapy实现数据持久化、数据库连接、图片文件下载及settings.py配置

# -*- coding: utf-8 -*-
import scrapy
from firstPro.items import FirstproItem class FirstbaiduSpider(scrapy.Spider):
name = 'firstBaidu' # 爬虫文件（应用）名
# allowed_domains = ['https://www.baidu.com/']#域名限定，一般直接注释
start_urls = ['https://www.baidu.com//'] # 起始url，创建应用时指定的，可修改 def parse(self, response): # 自动访问起始URL并获取结果后的回调函数，参数respons为起始请求的响应对象，可以直接调用封装好的xpath解析 # print(response.text)#获取字符串类型的响应内容
# print(response.body)#获取字节类型的相应内容 # 进行数据解析
a_list = response.xpath('//p[@id="nv"]/a') # 注意页面解析标签定位！！！浏览器看到的标签位置和实际爬去的页面内容位置可能不一样
for a in a_list:
# scrapy自带xpath解析获取文本或属性需要使用extract()或extract_first()
title = a.xpath('./text()').extract_first().replace('\xa0','') # extract_first()从结果列表获取第一个值
url = a.xpath('./@href')[0].extract() # extract()从解析结果中取出所有制，结果只有一个就是字符串，多个就是列表
# print(title, url) # 解析后的数据需要进行持久化存储：
# （1）items.py中定义相关存储字段；
item = FirstproItem()
# （2）实例化item对象将解析的数据进行封装；
item['title'] = title
item['url'] = url
# （3）使用yield将item对象提交给管道处理
yield item pass

# -*- coding: utf-8 -*- # Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html import scrapy class FirstproItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title=scrapy.Field()#存储标题
url=scrapy.Field()#存储连接
pass

# 注意：
# （1）要想使用管道进行数据持久化，必须在settings.py中进行开启配置
# （2）可以定义多个管道类进行处理，但是在每个process_item函数中必须return item 传递给其它管道使用
# （3）process_item参数item只接受爬虫文件提交来的item对象，参数spider是爬虫文件中类的实例化对象，可以进行数据传递；
# （4）如果要对数九持久化写入到数据库，需要在管道类中重写open_spider和close_spider方法,这两个方法只会被执行一次；
# （5）对于图片类（视频、音频等二进制）数据的下载有可以定义新的管道继承相关类既可以直接实现图片的下载 # 默认管道处理
class FirstproPipeline(object):
# item对象处理函数
def process_item(self, item, spider):
print(item)
return item

# (1)自定义的文件持久化管道
class TofilePipeline(object):
# 构造方法初始化一个属性文件句柄，也可以定义一个类变量：fp=None
def __init__(self):
self.fp = None # 打开文件句柄
def open_spider(self, spider):
print('开始写入数据...')
self.fp = open('a.text', 'w', encoding='utf-8') # 关闭文件进行系统资源回收
def close_spider(self, spider):
self.fp.close()
print('数据下载成功，爬虫结束！') def process_item(self, item, spider):
self.fp.write(f'{item["title"]}:{item["url"]}\n')
return item

# (2)自定义的基于mysql数据库持久化管道
import pymysql
class ToMysqlPipeline(object):
conn = None
cursor = None # 建立数据库连接
def open_spider(self, spider):
print('建立数据库连接...')
self.conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='spider') # 关闭数据库连接
def close_spider(self, spider):
self.cursor.close() # conn断开时也会自动断开
self.conn.close()
print('成功写入数据库！') def process_item(self, item, spider):
sql = f'insert into table1 values ({item["title"]},{item["url"]})'
self.cursor = self.conn.cursor() # 数据库事务操作
try:
self.cursor.execute(sql)
self.conn.commit()
except Exception as e:
print(e)
self.conn.rollback() return item

# (3)自定义的基于redis数据库持久化管道
import redis
class ToRedisPipeline(object):
conn = None # 建立数据库连接
def open_spider(self, spider):
print('建立数据库连接...')
self.conn = redis.Redis(host='127.0.0.1', port=6379) def process_item(self, item, spider):
self.conn.lpush('data', dict(item)) # 将item对象以字典形式存储在redis列表结构中
return item

# (4)自定义的基于mongodb数据库持久化管道
import pymongo
class ToMongoDBPipeline(object):
conn = None # 建立数据库连接
def open_spider(self, spider):
print('建立数据库连接...')
self.conn = pymongo.MongoClient(host='127.0.0.1', port=27017) # 关闭数据库连接(可以不写)
def close_spider(self, spider):
self.conn.close()
print('成功写入数据库！') def process_item(self, item, spider):
self.conn.Spider.col.insert_one({item["title"]:item["url"]}) #将title：url存入mongodb的Spider数据库中col集合（表）中
return item

# (5)自定义图片等文件的下载管道
#IMAGES_STORE='filepath'在settings设置文件中指定存储图片的下载路径
import os
import scrapy
from scrapy.pipelines.images import ImagesPipeline class ImageDownloadPipeline(ImagesPipeline):
#接收item且将item中存储的url进行请求发送
def get_media_requests(self, item, info): # 下载图片
url=item["url"]
yield scrapy.Request(url, meta={'item': item}) # 指定下载路径
def file_path(self, request, response=None, info=None):
item = request.meta['item']
img_name = request.url.split('/')[-1]
path='图片'#自动会创建文件夹，同时存放在settings.py中指定的IMAGES_STORE配置路径下
filename = os.path.join(path, img_name)
print(f'正在下载------{filename}...')
return filename # 将item传递给下一个即将被执行的管道类
def item_completed(self, result, item, info):
return item