使用Scrapyd部署Scrapy爬虫到远程服务器上

1、准备好爬虫程序

2、修改项目配置

找到项目配置文件scrapy.cnf,将里面注释掉的url解开来

本代码需要连接数据库，因此需要修改对应的数据库配置

其实就是将里面的数据库地址进行修改，变成远程数据库服务器地址，需要保证scrapy服务器能够连接数据库服务器

3、部署项目

在部署项目之前要保证scrapyd服务是开启状态。

进入本地爬虫工程的目录

执行对应的部署命令

4、调度爬虫

调度爬虫需要使用curl，以下的命令可以在dos窗口对应的项目目录下面执行，也可以在pycharm中的命令行执行

4.1、查看远程服务端上面的爬虫

curl http://node100:6800/listprojects.json

4.2、移除远程服务端上面部署的爬虫工程

curl http://node100:6800/delproject.json -d project=doubanSpider

4.3、启动爬虫

curl http://node100:6800/schedule.json -d project=doubanSpider -d spider=douban

4.4、取消爬虫

curl http://node100:6800/cancel.json -d project=doubanSpider -d job=000f47e035e911e9a8e90bb05244259f