Scrapy暂停与重启

Scrapy中途暂停爬虫保存状态

新建文件夹,然后在命令行直接运行 scrapy crawl spider -s JOBDIR=job/001即可
暂定使用Ctry+C,注意不要按两次,按两次为强制关闭,耐心等待保存爬虫状态即可.
再次启动同样使用scrapy crawl spider -s JOBDIR=job/001