Scrapy 使用 LinkExtractor 提取链接和使用 Exporter 导出数据

在爬取一个网站时，想要爬取的数据通常分布到多个页面中，每个页面包含一部分数据以及其他页面的链接，提取链接有使用 Selector 和使用 Linkextractor 两种方法。

1、使用Selector

因为链接也是页面中的数据，所以可以使用与提取数据相同的方法进行提取，在提取少量或（几个）链接或提取规则比较简单时，使用 Selector 就足够了。

2、使用 LinkExtractor

Scrapy 提供了一个专门用于提取链接的类 LinkExtractor，在提取大量链接或提取规则比较复杂时，使用 LinkExtractor更加方便。

3、使用 Exporter 导出数据

大家掌握了爬取带数据、封装数据、处理数据的相关技术。接下来我们来学习如何将爬取到的数据以某种数据格式保存起来，即导出数据。

在 Scrapy 中，负责导出数据的组件被称为Exporter（导出器），Scrapy 内部实现了多个 Exportter，每个 Exporter 实现一种数据格式的导出

支持的数据格式如下（括号中为相应的Exporter）：

（1）JSON(JsonItemExporter)

（2）JSON(JsonItemExporter)

（3）CSV(CsvItemExporter)

（4）XML（XmlItemExporter）

（5）Pickle（PickleItemExporter）

（6）Marshal（MarshalItemExporter）

其中，前 4 种是极为常用的文本数据格式，而后两种是 Python 特有的。在大多数情况下，使用 Scrapy 颞部提供的Exporter 就足够了

需要以其他数据格式（上述 6 中之外）导出数据时，可以自行实现 Exporter。

4、指定如何导出数据

在导出数据时，需向 Scrapy 爬虫提供一下信息：

（1）导出文件路径

（2）导出数据格式（即选择哪种 Exporter）

可以通过以下两种方式指定爬虫如何导出数据：

（1）通过命令行参数指定

（2）通过配置文件指定

1、命令行参数

在运行 scrapy crawl 命令时，可以分为 -o 和 -t 参数指定导出的文件路径以及导出数据格式

scrapy crawl books -o books.csv

其中， -o books.csv 指定了导出文件的路径，在这里虽然没有使用 -t 参数指定导出数据的格式，但 Scrapy 爬虫通过文件后缀名推断出我想以 csv 作为导出数据的格式，同样的道理，如果过将参数改为 -o books.json, Scrapy 爬虫就会以 json 作为导出数据格式。

需要明确的指定导出数据格式，使用 -t 参数，例如：

scrapy crawl books -t csv -o books1.data

scrapy crawl books -t json -o books1.data

scrapy crawl books -t xml -o books1.data

运行以上命令，Scrapy 爬虫会以 -t 参数中的数据格式字符串（如 csv、json、xml）为键，在配置字典 FEED_EXPORTERS 中搜索 Exporter，FEED_EXPORTERS 的内容由一下两个字典的内容合并而成：

（1）默认配置文件中 FEED_EXPORTER_BASE

（2）用户配置文件中的 FEED_EXPORTERS

前者包含内部支持的导出数据格式，后者包含用户自定义的翻出数据格式