用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

首页课程实战体系课手记专栏慕课教程

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

来源：1-4 【讨论题】：爬虫工程师该何去何从？

慕慕7513118

2022-07-01

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

写回答

1回答

小布_老师

小布_老师

2022-07-13

部署scrapyd吧，再套个管理界面，就可以了。

默认可以同时启动的爬虫是4或者8个

0

0

Python高级爬虫实战-系统掌握破解反爬技能挑战高薪

加密破解、逆向重构、分布式框架及海量存储方案

494 学习 · 105 问题

相似问题

scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

回答 1

老师请教一个问题

回答 1

自我任务爬虫

回答 1

老师，分布式的理解是什么

回答 1

老师最近使用多进程爬虫，利用进程池pool(64)

回答 1

打开慕课网App查看更多内容