gerapy 爬虫web调度可视化工具（基于scrapyd）

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

web

基于scrapyd
提供主机管理功能
1. 基于scrapyd管理已安装服务的主机。
2. 进入具体主机管理页面，会自动加载所有已知爬虫任务；
3. 可直接可以调度、运行、查看日志。
提供项目管理功能
1. 将已知项目放到project目录下，可进行爬虫项目单台机器、多台机器部署。
2. 提供项目代码在线编辑功能
提供任务管理功能
1. 基于项目-爬虫的管理，可以构建爬虫调度任务。
2. 目前支持三种类型调度，date、interval、cron（基本能满足日常需求）

Installation

注：从 Gerapy 2.x 开始，其定位发生改变，不再支持 Scrapyd，转而支持 Docker、Kubernetes 的部署，另外开发还会迁移到 Scrapy 可视化配置和智能解析方面，敬请期待

pip3 install -U gerapy

Initialization

gerapy init / gerapy init GerapySpace

Database Configuration

cd gerapy gerapy migrate

New User

gerapy initadmin 会初始化一个超级管理员账号， username： admin password： admingerapy createsuperuser 如果不想用admin,也可以根据提示，创建一个超级用户

Startup service

gerapy runserver如果想要在公网访问服务 gerapy runserver 0.0.0.0:8000如果想后台启动服务可以使用 gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

Docker

Pull gerapy

docker pull germey/gerapy

run docker

docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapydocker run -d -v <workspace>:/app/gerapy -p <public_port>:<container_port> germey/gerapy