Scrapy进阶知识点总结（一）——基本命令与基本类(spider,request,response)

name #爬虫名称，是定义Spider名字的字符串，在项目中唯一allowed_domains #允许爬取的域名，是可选配置，不在此范围的链接不会被跟进爬取start_urls #起始URL列表，没有实现start_requests()方法时，默认会从这个列表开始抓取custom_settings #spider专属设置，会覆盖全局设置crawler #crawler对象与spider的绑定，代表的是本Spider类对应的Crawler对象(有点懵的东西)setttings #运行此蜘蛛的配置。这是一个 Settings实例logger #指定Spider创建的Python logger name。可以使用它来发送日志消息

from_crawler(cls, crawler, *args, **kwargs)
#类方法，用于实例化某个对象（中间件，模块），将之绑定到spider类上start_requests(self)
#生成器，返回由 URL 构造的 Request，作为入口在爬虫启动时自动运行。实现了本方法，则忽略start_urls。当然，方法内使用start_urls另说。parse(self, response)
#默认 Response 解析函数（request默认回调函数）,此方法以及任何其他Request回调必须返回可迭代的Request和/或dicts或Item对象closed(self, reason)
#爬虫关闭时自动运行，实现了spider_closed信号绑定

scrapy/__init__.py# Declare top-level shortcuts
from scrapy.spiders import Spider
from scrapy.http import Request, FormRequest
from scrapy.selector import Selector
from scrapy.item import Item, Field

url( string ) #请求的URLcallback #回调函数，请求下载完成后，调用的方法，response对象为第一参数method（string） #请求的HTTP方法。默认为'GET'meta（dict） #元数据，表示要携带或者传递的信息，可用户自定义从Request到Response传递参数，这个参数一般也可在middlewares中处理body（str或unicode）#请求主体body，就是HTTP报文请求头后面的内容headers（dict）#请求头，字典格式cookie（dict或list） #cookie，字典或者多个字典的listencoding（string）#编码，默认utf-8priority（int）#请求的优先级（默认为0）。调度器使用优先级来定义用于处理请求的顺序。具有较高优先级值的请求将较早执行。允许负值以指示相对低优先级dont_filter（boolean）#如果需要多次提交表单，且url一样，那么就必须设置参数dont_filter = True，防止被当成重复网页过滤掉了,默认falseerrback（callable）#在处理请求时引发任何异常时将调用的函数flags（list）#发送到请求的标志，可用于日志记录或类似目的cb_kwargs（dict）#一个带有任意数据的字典，它将作为关键字参数传递给Request的回调。

url #请求urlmethod #请求方法headers #请求头，字典类型body #请求主体strmeta #可用户自定义从Request到Response传递参数，这个参数一般也可在middlewares中处理cb_kwargs #与参数一样copy（） #返回副本replace （参数） #替换对应参数，返回新的request

formdata（元组的dict或iterable） #是包含HTML表单数据的字典（或（key，value）元组的可迭代的），它将被url编码并分配给请求的主体。

return [FormRequest(url="http://www.example.com/post/action",
formdata={'name': 'John Doe', 'age': ''},
callback=self.after_post)]

import scrapydef authentication_failed(response):
# TODO: Check the contents of the response and return True if it failed
# or False if it succeeded.
passclass LoginSpider(scrapy.Spider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php'] def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login
) def after_login(self, response):
if authentication_failed(response):
self.logger.error("Login failed")
return # continue scraping with authenticated session...

data（JSON可序列化对象） #是任何需要JSON编码并分配给body的JSON可序列化对象。如果Request.body提供了参数，则将忽略此参数。如果Request.body未提供参数且提供的数据参数Request.method将'POST'自动设置。dumps_kwargs（dict） #将传递给基础json.dumps方法的参数，该方法用于将数据序列化为JSON格式。

data = {
'name1': 'value1',
'name2': 'value2',
}
yield JSONRequest(url='http://www.example.com/post/action', data=data)

Response
-TextResponse
-HtmlResponse
-XmlResponse

url #响应的url字符串，(不一定是请求的地址，需考虑重定向)status #响应的HTTP状态的整数。示例：200， 404headers #响应头，字典类型，若要获取特定的值用get('keyname') getlist('keyname')；get('keyname') ： 获取指定key的第一个value值 返回str；getlist('keyname') ： 获取指定key的所有value值 返回listbody #响应正文，字节对象request #返回请求此响应的Request对象meta #元数据,可以获取Request.meta中的数据。可以理解meta就是一个中继数据flags #包含此响应标志的列表

copy（） #返回一个新的Response，它是此Response的副本replace（[ url，status，headers，body，request，flags，cls ] ） #返回替换了对应参数的新对象urljoin（url ） #通过将Response url与可能的相对URL 组合来构造绝对URLfollow(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, cb_kwargs=None) #可以接收url或相对url的Request请求方法。常用于下一页请求。

text #响应文本，与response.body.decode(response.encoding)类似，但是text更方便encoding #HTTP 响应正文的编码，它的值可能是从HTTP响应头部或正文中解析出来的selector #Selector 对象用于在Response 中提取数据

xpath(query) #使用XPath选择器在Response中提取数据；它是 response.selector.xpath 方法的快捷方式css(query) #使用 CSS选择器在Response中提取数据；它是 response.selector.css方法的快捷方式。