scrapyd 这个在实际工作中也是很常用吗?是不是都是这样部署的?还有神马其他方式部署吗?

来源:16-1 scrapyd部署scrapy项目

SingleVergil

2017-10-06

scrapyd 这个在实际工作中也是很常用吗?是不是都是这样部署的?还有神马其他方式部署吗?

写回答

1回答

bobby

2017-10-09

目前scrapyd是用的比较多的 但是一般如果爬虫比较多的话 爬虫的管理就会比较重要, scrapyd是用来部署的 但是爬虫的监控这些需要自己去做, 一般用django+scrapy来做爬的管理比较方便, 但是即使是用django去管理爬虫很多人也是通过scrapyd命令去启动和停止爬虫的

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程