scrapy redis部署和scrapy的部署有什么不同？

来源：16-1 scrapyd部署scrapy项目

蜥蜴

2017-06-06

老师，看了你讲了scrapy的部署，但是我想知道像scrapy的分布式部署是否相同？

写回答

1回答

bobby

2017-06-07

scrapy的分布式部署比较简单启动scrapy就行了，因为scrapy-redis会一直从redis中取数据，如果redis队列空会一直等待数据的

bobby

慕姐0186508

直接在yield request的之后在request里面添加headers参数啊， https://doc.scrapy.org/en/latest/topics/request-response.html

2017-06-12

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1