scrapyd 管理爬虫的时候，如何批量启动爬虫

来源：16-1 scrapyd部署scrapy项目

笑看风云号

2017-08-14

curl http://localhost:6800/schedule.json -d project=RedisNews -d spider=spider1

curl http://localhost:6800/schedule.json -d project=RedisNews -d spider=spider2

……

curl http://localhost:6800/schedule.json -d project=RedisNews -d spider=spider100

假如有 100 个爬虫，总不能这么一条一条启动，这样的效率太低了，如何写一个 bat 文件，通过调用 cmder 程序来执行多条的 curl 命令呢？能否麻烦老师写个参考代码呢？谢谢。

写回答

1回答

bobby

2017-08-15

已采纳

为什么要用bat脚本来完成呢？直接写一个python脚本然后在bat中启动python脚本不就行了么？比bat灵活多了， bat想对shell来说还是差不少的。

笑看风云号

非常感谢！

2017-08-20

共8条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1