部署Scrapyd

Scrapyd http方式管理爬虫

安装

pip install scrapyd
pip install scrapyd-client

配置deploy

在python环境下Scripts新建scrapyd-deploy.bat文件
修改内容为:

1
2
3
@echo off
"C:\Users\jojo\Anaconda3\python.exe" "C:\Users\jojo\Anaconda3\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

修改爬虫项目setting文件

修改项目文件 scrapy.cfg

1
2
3
[deploy:zh]
url = http://localhost:6800/
project = project_name

发布工程到scrapyd

scrapyd-deploy zh -p project_name

启动爬虫

curl http://localhost:6800/schedule.json -d project=PROJECT_NAME -d spider=SPIDER_NAME
在localhost:6800/jobs中即可看到状态

停止爬虫

curl http://localhost:6800/cancel.json -d project=PROJECT_NAME -d job=JOB_ID