想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

首页课程实战体系课手记专栏慕课教程

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

来源：10-7 scrapy-redis源码剖析- pipelines.py、 queue.py-

慕前端5101329

2020-06-02

写回答

1回答

bobby

bobby

2020-06-03

一般会使用scrapy-redis 因为配置性更好一些，中间过程可用性更好

0

2

bobby

回复

慕前端5101329

一般用分布式的时候少主要是因为scrapy-redis可控性更高一些

2020-06-05

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

scrapyd部署scrapy后无法关闭爬虫

回答 1

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

回答 2

redis-scrapy 分布式爬虫之缓存问题

回答 3

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

scrapy-redis怎么做增量爬取

回答 1

打开慕课网App查看更多内容