scrapy之持久化存储

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

scrapy持久化存储一般有三种，分别是基于终端指令保存到磁盘本地，存储到MySQL，以及存储到Redis。

基于终端指令的持久化存储

scrapy crawl xxoo -o xxoo.csv

xxoo为爬虫文件名。

-o为输出的意思，output。

xxoo.csv为保存到本地的文件的名称，其中包含文件的后缀。其中，这种方式可以保存一下几种文件格式：json, jsonlines, jl, csv, xml, marshal, pickle。

未完待续。。。。