为何要使用scrapyd部署

来源：16-1 scrapyd部署scrapy项目

xmzls

2017-07-29

老师好，学了了这一节，有一个疑问是，为何要使用scrapyd部署，使用scrapyd部署的目的或者说优势是体现在哪里，我们使用crawl，或者直接pycharm也可以运行起来爬虫（当然我说的是Windows下），那到底出于什么目的要使用scrapyd来运行爬虫？望解答

写回答

1回答

bobby

2017-07-31

当然直接crawl爬取是我们看起来用起来最简单的方法了，但是如果爬虫过多后期维护成本就会比较大，比如部署出去的多个爬虫是否都在正常运行，如果某一个运行失败了错误日志是什么？这些scrapyd都能帮我们完成，我们为何不用呢对吧

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 2

回答 1

回答 1

回答 1