【Scrapy】关于使用Scrapy框架爬虫遇到的问题1

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

class testScrapy(scrapy.Spider):
name = "testLogs"
allowed_domains=["cnblogs.com"]
start_urls=["http://www.cnblogs.com/qiyeboy/default.html?page=1"] def parse(self, response):
pass

问题：KeyError: 'Spider not found: testSpider.py'

原因：找不到爬虫

解决：scrapy crawl testLogs（这里使用的不是项目名称，而且爬虫代码中设置的name属性）成功爬取的内容显示为Unicode编码

问题：在pycharm导入items模块时，提示ImportError: No module named items

原因：找不到模块，因为我当时是直接打开了spiders/目录下的py文件，所以使用from testSpider.items import TestspiderItem导入时没发找到items.py

解决: 在pycharm重新打开项目，从项目中找到spiders文件夹，再打开你的spiderXX.py文件，这时再用from testSpider.items import TestspiderItem就能正常导入模块