Scrapy学习篇（三）之创建项目

创建项目

创建项目是爬取内容的第一步，之前已经讲过，Scrapy通过scrapy startproject <project_name>命令来在当前目录下创建一个新的项目。

下面我们创建一个爬取博客园（'https://www.cnblogs.com/'）文章信息的项目

scrapy startproject cnblog

其中cnblog是你的项目的名字，可以自己定义。

其目录结构如下

cnblog/
scrapy.cfg cnblog/
__init__.py items.py pipelines.py middlewares.py settings.py spiders/
__init__.py


下面简单的讲解一下各目录/文件的作用：

• scrapy.cfg
  
  项目的配置文件，带有这个文件的那个目录作为scrapy项目的根目录
• items.py
  
  定义你所要抓取的字段
• pipelines.py
  
  管道文件，当spider抓取到内容（item）以后，会被送到这里，这些信息（item）在这里会被清洗，去重，保存到文件或者数据库。
• middlewares.py
  
  中间件，主要是对功能的拓展，你可以添加一些自定义的功能，比如添加随机user-agent, 添加proxy。
• settings.py
  
  设置文件，用来设置爬虫的默认信息，相关功能开启与否，比如是否遵循robots协议，设置默认的headers，设置文件的路径，中间件的执行顺序等等。
• spiders/
  
  在这个文件夹下面，编写你自定义的spider。

编写爬虫

编写spider文件

在项目中的spiders文件夹下面创建一个文件，命名为cnblog_spider.py我们将在这个文件里面编写我们的爬虫。先上代码再解释。

import scrapyclass Cnblog_Spider(scrapy.Spider): name = "cnblog"
allowed_domains = ["cnblogs.com"]
start_urls = [
'https://www.cnblogs.com/',
] def parse(self, response):
title = response.xpath('//a[@class="titlelnk"]/text()').extract()
link = response.xpath('//a[@class="titlelnk"]/@href').extract()
print(title)
print(link)

• 导入scrapy模块
• 定义一个spider类，继承自scrapy.Spider父类。

下面是三个重要的内容

• name: 用于区别Spider。 该名字必须是唯一的，不可以为不同的Spider设定相同的名字。这一点很重要。
• start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一。即这是爬虫链接的起点，爬虫项目启动，便开始从这个链接爬取，后续的URL则从初始的URL获取到的数据中提取。
• parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

修改settings.py文件

将settings.py文件里面的下列内容修改如下，其余的内容不动。

ROBOTSTXT_OBEY = False #不遵循robots协议#去掉下面的这个注释，以设置请求头信息，伪造浏览器headers，并手动添加一个user-agent
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
#user-agent新添加
'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}

运行我们的爬虫项目

至此，项目必要的信息已经全部完成了，下面就是运行我们的爬虫项目

进入带有scrapy.cfg文件的那个目录，前面已经说过，这是项目的根目录，执行下面的命令

scrapy crawl cnblog

cnblog是spiders/cnblog_spider.py文件里面我们定义的那个具有唯一性的name

你会发现打印出了博客园首页的文章列表和文章的url信息，如下所示。